o1 preview 모델로 공부중인데
예를 들어 https://openreview.net/pdf?id=3pf2hEdu8B (RETHINKING THE UNIFORMITY METRIC IN SELFSUPERVISED LEARNING) 이 논문에서
이렇게 나와있는말이 잘 이해가 가질 않아서 물어봤거든? Y = [y_1, y_2, ... , y_n]일 때 y_1 = [1, u_1, u_2, ... u_m] where u_i ~ unif() 라는거니까?
근데 z~N(0, \sigma^2 * I) 에서 dimension이 커지면 커질수록 더 skew 되어서 Y도 I로 수렴하지 않나? 싶어서 물어보니까
뭐 이렇게는 얘기해주는데... identity matrix로 가버려서 uniform에 수렴해버리면 아무 의미가 없지않나?? correlation이 0이잖아 one hot vector는
아무튼 제목이랑 내용이랑 완전 다른 질문같긴 한데 이학쪽으로 약간 섞어서 질문하면 잘 대답한건가? 채팅기록도 올렸음
ChatGPT - High Dimensional Cosine Similarities
Shared via ChatGPT
chatgpt.com
잘함. 근데 너가 질문을 잘해야함. 진짜 딱 질문한 만큼만 대답하는거라서 너가 부족하다고 생각하는 부분은 또 질문해
이론 섞어서 질문하면 나도 모순점같은거 검증하기 어려우니까... 궁금해서