스케일링의 법칙은, 크기 키우면 성능이 계속 올라간다는거임.
지수적으로 오른다거나, 키운 만큼 오른다는 게 아님. 로그 기울기든 뭐든 오른다는 걸 말하는 거임. 이게 중요한 게 어쨌든 어떤 순간이든 AGI에 도달하면, 스스로 개선 시키면 될테니까.
다만, 가성비는 이미 안 나오고 있었음.
그래서 작년 여름에 GPT4가 한계다 어쩐다
스케일링법칙이 여전히 유효하면 왜 GPT4를 못 넘냐 GPU 때려 박으면 넘는 거 아니냐
이 소리를 선쌤들이 하루종일 했던거임.
물론 가성비도 중요하긴 함. AGI 달성하는 데 100조 X 100조가 필요하다면, 스케일링 법칙이 틀리진 않았어도 의미가 없잖음? 그 돈이 어딧어.
근데 그래서 작년 o1부터 '추론모델'이 대세가 된거임. GPU의 개수, 모델의 크기가 아니라 추론 '시간'을 투입할 수록 성능이 '많이' 오르더라.
즉, 다른 종류의 스케일을 키웠더니 모델 크기 키우던 시절의 가성비가 나오기 시작한거임.
그러니까
지금 그록의 GPU가 몇갠데 성능 향상이 어쩌구.....하는 건 이미 작년에 끝난 말이다.
이걸로 특이점이나 AGI를 의심하는 건 특갤에선 철지난 이야기임.
아마도?
니말대로라면 사실상 스케일법칙은 깨졌다는거임
모델 크기 스케일의 법칙은 의심을 받더라도, 추론 시간 스케일의 법칙은 여전히 유효하단거임. 그리고, 추론 시간은 GPU 많아야 더 오래, 빠르게 시킬 수 있으니까 GPU 많을수록 성능 향상되는 것도 맞는거임.
그걸 깨진거라곤 안 하지. 굳이 비유하면 식물인간에 가까운거지 죽었다곤 안 하지. 그리고, 시간 지나서 경량화 기법이나, 다른 아키텍쳐나 뭔가 나온다면 다시 메인으로 다뤄질 수도 있지.
1차 스케일링 법칙도 여전히 중요함
ㅇㅇ 그래서 일리야도 지구 전체를 발전소랑 데이터센터로 덮는 상상을 말한 거고. 그리고, 경량화든 뭐든 기술 발전 이뤄내면 1차 스케일링 법칙도 다시 더 중요해질거라고 봄.
ㄹㅇ 안올라야지 깨진거지 오르긴 오름
이미 한물간 스케일링에 그록 저정도 벤치상으로 보면 입증했다고 봐도 됨
솔직히 스케일링 때문에 성능향상이 있던건지, 다른 기법들이 더 유효해서 성능 향상이 된 건지를 모르겠어서 확신은 못 하겠음. 하지만, 작년만해도 모델 크기 GPT4보다 더 키워도 성능 향상이 거의 없던 경우가 있던 걸로 기억해서 그록이 스케일링으로 성능 향상을 저정도만 이끌었다고 해도 분명 잘한거라곤 생각하마.