최근 본 유튜브 영상에서도 비슷한 사례 있다곤 하더라.
20년전인가, 인터넷 열풍 때문에 데이터 센터 구축, 전력 등등 부족해질거라 심각한 문제에 빠질거라고 했었는데
이걸 해결한 게 무어의 법칙이랬나. 밥 먹으면서 대충 봐서 잘 모르겠네.
아무튼, 기술 발전이 그 파멸로 가는 계산을 막았다는건데.
GPT4를. 내 기억에 작년 11월인가, 올1월인가. 알트만 인터뷰에서 3.5는 경량화 성공했지만, 4는 거의 못 했다고 하긴 했거든.
근데 4o에서 해낸 걸 보면, 모델 커지면서도 경량화가 계속 진행된다면....아주 심각한 문제는 아니고.....중요한 문제 정도일 수도.
익명(175.206)2024-05-30 23:39
답글
경량화가 진행되는 동시에 엔비디아에서도 1년마다 5배의 성능을 높인 gpu를 발표하겠다 공언했으니 블랙웰로 훈련한 gpt6가 정말 기대됨 agi까지 정말 얼마 안남은거같음
효율이 느는거지 총 비용이 주는게 아니라
그게 그거아닌가? 박통이라 잘 몰루겟음
성능이 세배 좋아질 때 전기를 두배만 먹으면 효율은 좋아도 전력량은 늘거든
최근 본 유튜브 영상에서도 비슷한 사례 있다곤 하더라. 20년전인가, 인터넷 열풍 때문에 데이터 센터 구축, 전력 등등 부족해질거라 심각한 문제에 빠질거라고 했었는데 이걸 해결한 게 무어의 법칙이랬나. 밥 먹으면서 대충 봐서 잘 모르겠네. 아무튼, 기술 발전이 그 파멸로 가는 계산을 막았다는건데. GPT4를. 내 기억에 작년 11월인가, 올1월인가. 알트만 인터뷰에서 3.5는 경량화 성공했지만, 4는 거의 못 했다고 하긴 했거든. 근데 4o에서 해낸 걸 보면, 모델 커지면서도 경량화가 계속 진행된다면....아주 심각한 문제는 아니고.....중요한 문제 정도일 수도.
경량화가 진행되는 동시에 엔비디아에서도 1년마다 5배의 성능을 높인 gpu를 발표하겠다 공언했으니 블랙웰로 훈련한 gpt6가 정말 기대됨 agi까지 정말 얼마 안남은거같음
정보와 지식은 진심으로 공짜가 되고 싶어한다