저번에 contrastive learning에서 uniformity를 따로 분리하는 논문 보던 게이인데
rbf kernel의 역할은 그냥 데이터간의 차이를 e승만큼 벌리기만 하는거고
Wasserstein distance는 distribution간의 support가 맞지 않더라도 대충 분포 차이 알려주는 measure이니까
아주 간단한 N(0, \sigma * I)랑 N( \mu, \Sigma) 간의 Wasserstein distance를 metric으로 사용해서
metric이 성립되는 조건(Borel measure)만 맞추고 metric space가 uniformly distributed 되도록 한거였네
나는 rbf 커널 기반 metric을 바로 쓰는 방법과 simpler normal distribution 제시->Wasserstein metric이 같은 역할을 하는줄 알았음
Borel measure는 갑자기 왜 나옴 metric 정의랑 완전 상관없을뿐더러 애초에 우리가 생각하는 분포들이 다 Borel measure들인데
그냥 논문을 한번 봐야겠다 아카이브 아이디 뭐임 그거
https://arxiv.org/pdf/2005.10242
그니까 그 논문에서 uniformity라는 measure를 떼어냈는데, 그게 measure로써 성립가능한지 Borel measure 성립 여부로 확인한거라구
https://arxiv.org/pdf/2403.00642
아 이거랑 좀 섞여서 쓰였네 .. Borel measure 체크한건 2005.10242, Wasserstein distance 사용한건 2403.00642 임
뭐 다른 수학분야에선 모르겠다만 최소한 이쪽분야에선 확률분포가 보렐메져인지 여부는 체크할 필요가 전혀없는 상식이고 실제로 논문에서도 안했네
그래?? measure로 사용가능한지 엄밀히 확인하려면 Borel measure 인지 체크해야하는거 아님?
니가 생각하는 메져는 뭔가 accuracy나 mAP같은걸 생각하나본데 저 메져는 그 메져가 아님;;
https://en.m.wikipedia.org/wiki/Measure_(mathematics)
본문보면 Metric도 비슷하게 오용해서 쓰는거같고
https://en.m.wikipedia.org/wiki/Metric_space
잘 모르는 페이퍼긴 한데 저기서 유니포미티 쪽 분석할 때 보는 분포가 하이퍼스피어 표면상의 확률분포니까 보렐 메져 여부는 고려할 필요 없는거 아님?? 걍 저 로스를 옵티마이즈 했을 때 그게 하이퍼스페이스의 유니폼한 폼이 유니크한 최적해인가를 보인다고 할 때 하이퍼스피어 메니폴드 상의 메저에서 증명을 시작하면서 보렐메져 나온거 아냐???
윗게이가 언급한것처럼 위키피디아에서 기초적인 개념이라도 보고 이해하는것부터 해봐. Wasserstein distance는 논문에도 가볍게 A1 어떤의미인지 적어넣어놨네. 이 분야를 몰라서 대충 읽어봤는데, 처음에 제시한 메트릭은 생각보다 strong(? 구체적 이유 언급안됨..) collapsing이 일어나서 조금 더 weak한 메트릭을 찾아본게 wasserstein metric wasserstein metric 자체는 존나게 어려운 optimal transport 문제를 풀어야함 (예를들어 sinkhorn algorithm 등) 되는데 이 논문에서 다루는 케이스는 가우시안으로 근사가능해서 이 경우에 잘 알려진 closed form 해로 간편하게 계산가능하다. 이거임