표준이라고 표현하긴 좀 애매하고, 분야도 내가 이걸 잘 몰라서 같은 분류로 묶는게 맞는지 모르겠는데


어쨋든 트릭들을 이용해서 argmax , top-k 연산을 미분가능하게 하는 것들 중에서


제일 수치적으로 안정적이고 기본빵으로 해볼만한 거가 뭐가 있음?



gumbel softmax / concreate distribution 이거는 이제 너무 오래 된 거 같고


softargmax 의 경우 나는 ∫xp(x) 가 필요한게 아니라서 적절하지 않은 듯


작은 temperature 써서 softmax(logit/t) 한 다음 logit 그 자리에 -infty 박아넣는 iteration 돌리는게 제일 기본적인 트릭인 거 같던데


어떤게 해볼만함?



neural nearest neighbor, diff topk, Smooth Loss Functions for Deep Top-k Classification, neural sort 이런 것들이 인용수가 제일 많은 거 같던데