GPT-3.5부터 여러 모델을 써 봤지만
특정 분야에 편중된 코딩이나 STEM 지능 같은 거 말고
센스와 인간다움, 알잘딱, 판단력, 감각
이런 것들을 가지고 있다고 느껴진 진보들은
항상 RL보다는 스케일링에서 왔던거 같음
물론 젬2.5나 초기 젬3프로, Opus 4.6 같은 데서 느껴진
언어력도 있긴 한데… 그것들도 결국 대형모델이고
경량모델에서 그 급의 인비저블 썸띵을 느낀적은 없음
그래서 개인적으로 현재의 기술로
GPT 4.5 보다도 훨씬 더 크게 깎아내고
RL과 사후학습까지 덧붙인 초 스케일링 모델을 보고싶음
1000배
AGI
체급차이 ㄹㅇㅋㅋ
순수체급차이는 역전불가 ㄹㅇㅋㅋ
페이블보다 100~1000배정도 하면 agi임 그게 28~30년도
AGI는 존나 돼지였던거구나
나도 모델 크기가 영향이 있긴 한거 같긴 한데... 젬마나 딥시크를 보면 또 애매하기도 하고...
젬마도 구글특으로 언어력에서 좀 잘깎은거지 결국 다양한 태스크 주면 세계이해도나 센스 떨어지는거 티남
당연히 스케일링이 좋지만 지금 가장 큰 병목은 컴퓨팅임 스케일링해서 체급높일수록 메모리 부족해서 최상위 몇명만 쓸 수 있게 전유물이될수도있음
그래서 하드웨어 병목이 아쉬움