[일반] AI학자들도 트랜스포머의 원리를 모른다는게 사실임?

[천재까마귀(ztnp9v9lnt31)]

스케일이 어느정도 커진 순간부터 생기는 emergent ability의 이유를 모른다는 게 사실임?

진짜 스케일이 전부 인거아니냐….

[익명(182.209)]

그 모른다는게 어떤 방식이냐면 니가 무한으로 자가복제하는 톱니바퀴를 만들었다 해보자 닌 톱니바퀴와 톱니바퀴가 맞물려서 전체 톱니바퀴가 움직인다는 기본적 원리는 알겠지만 톱니바퀴를 1시간정도 증식시키면 61번째로 복제된 톱니바퀴가 몇번째 톱니바퀴와 맞물리는지와 같은 회로에 대한 정확한 지식은 알기 힘들겠지? 그런 방식의 무지임 ㅇㅇ

[천재까마귀(ztnp9v9lnt31)]

자세한 설명 ㄱㅅ

[익명(defense1888)]

60번째랑 62번째 사이에서 도는거 아님?

[익명(182.209)]

ㄴ톱니바퀴가 있는 차원이 최소 2차원이니 그건 모르지 공간축이 2개인데

[익명(shore1232)]

ㅇㅇ 사실임. 창발은 커녕 왜 오버피팅이 괜찮은지조차 아직 모름. 고전적인 SVM이나 트리 방법론 설명하는 교재들 보면 오버피팅은 그다지 괜찮지 않다고 가르치고 이게 상식이었는데

[익명(shore1232)]

2010년대 중반부터 양성 오버피팅 사례가 점점 늘어나더니 대형모델들은 아예 사이즈를 키우는 족족 성능이 폭증하기 시작했음. 왜 이런지 아직 모름

[익명(defense1888)]

오비피팅이 뭐임

[익명(shore1232)]

Ai 학습시킬때 학습데이터를 100% 때려박으면 오히려 성능 떨어지는 현상임

[lIlIllIlIIlIlIllIlIl(kimfesu)]

ㅇㅇ 모름

[익명(175.206)]

ㅇㅇ...위에서 다른 애들이 다 말해주긴 했지만 아예 모르는 건 아니고, 약간 전기의 완벽한 작동원리 몰라도 전기제품은 잘 만들어 쓰는 느낌이랄까.

[뜨콜(thkol)]

ㅇㅇ 블랙박스 API ㅎㅎ - dc App