다들 잘못 생각하는게 스타게이트도 결국 실사용자를 위한 Gpu가 대다수이지 학습을 위한 Gpu가 아님.
당장 우리나라도 Gpu개수 겁나 적은데 수백B짜리 모델은 어렵지 않게 만들어낸다.
대신 Gpu가 많으면 학습도 빨리 가능하고 여러실험을 동시다발적으로 자주 할수있는 이점이 있는거지
다들 잘못 생각하는게 스타게이트도 결국 실사용자를 위한 Gpu가 대다수이지 학습을 위한 Gpu가 아님.
당장 우리나라도 Gpu개수 겁나 적은데 수백B짜리 모델은 어렵지 않게 만들어낸다.
대신 Gpu가 많으면 학습도 빨리 가능하고 여러실험을 동시다발적으로 자주 할수있는 이점이 있는거지
걍 파운데이션 모델 업글 없이 파인튜닝+라우터 통합만 조진거라서 ㅇㅇ
chatgpt 사용자 수가 7억임 지금 ㅈ만한 GPU로 그걸 감당하는게 어려워서 제 성능이 안 나오고 있다는 말임
뭔 개소리임 컴퓨팅은 지금 존나 부족해요
컴퓨팅 자원이 늘면 더 많은 연구를 할 수 있는건 맞음 다만 최근 논문들 보면 혁신이 더이상 없어서 수학으로 최적화하거나 소프트웨어로 유저 편의, 실용성 증대하는 방향으로 온몸비틀기 하는 경향이 있음 양자컴 나오는거 아니면 ai 자체에 큰 변화는 없을 가능성이 클 듯
그 혁신자체가 한정된 컴퓨팅 자원 안에서 똥꼬쇼를 하니까 한계가있다는거임 지금시점에서는 컴퓨팅이 제일 큰 문제 맞음