특붕이들은 기억할것이다.. 2024년 갑자기 모델 나오는게 더뎌지면서 "경량화, 압축, 디스틸" 쪽으로만 모델이 나오던 시기를...
거의 특갤은 멸망상태였고 항상 흔한갤을 유지하며 파딱들이 간간히 희망찬 글을 써주며 어떻게든 유지하던 때가 있었지.. 조상 특붕이들에 비하면 배부른거지만..

암튼 이것이 5월에 4o나오고 9월에 o1 프리뷰가.. 나오기까지의 일이었다


근데 나는 혹시 이때 무지성 스케일링과 프리트레이닝의 한계를 마주하고 하염없이 헤매던중 한줄기 빛을 본게 아닌가 싶다
그것은 바로 구글이 2016년 알파고로 선보인 강화학습 그리고 최신 개념인 cot를 결합하여 추론 모델을 만든것이다
하지만 강화학습 자체는 너무 오래된 개념이다... 이것만으로 모델의 성능이 올라갈지언정 agi에 도달하진 않을거 같다는 생각이 든다..

이제 이 다음 패러다임으로 생각해볼건


르쿤이햄이 강조하는 월드모델쪽이 아닐까싶다 노암 브라운도 멀티모달 llm을 강조하는거보면 말이다
앞으로 한동안 그림 영상 음성 이런쪽으로 모델 업데이트가 늘어나면 아마 빼박이 아닐까싶다
근데 이건 그만큼 앞으로 딥러닝으로 할만한게 없어졌다는 반증이기도 하다 이것은 문제이다..
만약 내 가설이 사실이라면 이제는 진짜로 새로운것을 만들 때이다 이제부터는 진짜 어려워질수도 있다

일단 t-agi 개념과 시간축 스케일링의 효과 또한 괄목한만한게 나오지 않은듯하니..
앞으로가 궁금해지는 밤이다..