ai에게 원래 익숙한(훈련된) 문제로 존나 훈련시키면
다른 유형의 익숙한(훈련된) 문제 풀때는 높은 정확도를 보이지만
새로운(테스트용)문제를 풀때는 낮은 정확도를 보인다.
근데 이 훈련량이 많아져서 임계점을 넘어가면, 익숙한(훈련된) 문제로 훈련시키는 것임에도 불구하고
새로운(테스트용)문제를 풀때도 높은 정확도를 보인다.
-> 즉 학습만으로 새로운 능력이 나타났다??
매우 흥미진진한 주제인데 갤은 의외로 이 떡밥이 별로 없네
gpt-4 때 처럼 존나 불탈줄 알았는데
ai 연구 관련 글 올라오면 이해하는 사람 10%도 없을듯 연구원들도 호들갑 떨정도로 대단한거 아니면
매우 흥미로운 주제이긴 한데, 그거랑 범용성을 갖추는 거랑 크게 상관없어서 불타지 않은거 아님?
는
내 댓글 보셈 - dc App
그니까 실제로 AI가 “이해”하고 있다는 증거로 생각할 수 있잖아. 그건 곧 의식과 같은 창발적 특성이 저런 식으로 출현할 수 있다는 걸 시사하기 때문에 매우 흥분되는거임 - dc App
학습량이랑 모델 크기만 늘리면 AGI가능할 거라는 쪽에 힘을 실어주는거지 - dc App
일단 연구진들이 원인 규명중이라니까 기다려봐야지
연구원들 반응은 시간이 오래지나면서 전체 공간을 모조리 쥐잡듯 들쑤고 다니다 우연히 global minimum에 도달한 거거나, shuffle을 반복하다 train set이랑 test set이 스까져서 생긴 문제라거나 이런 반응임. 걍 평소에 만날일 없는 신기한 현상이지 뭐 일반화 성능을 미친듯이 올릴수있는 혁신적인 방법을 우연히 찾았다 이런건 아닌듯.
그런거면 좀 슬픈데 - dc App
그냥 일반화되긴 어려운 문제 적합하다가 우연히 학습된거지 새로운 능력은 무슨...