[📪정보] "GPU 2000개로 최신 모델 훈련...오픈AI 훈련 비용의 3%"

[익명(182.230)]

https://www.aitimes.com/news/articleView.html?idxno=165378

중국의 인공지능(AI) 스타트업 01.AI가 단 300만달러(약 42억원)로 최신 AI 모델을 훈련했다고 밝혔다. 이는 오픈AI나 앤트로픽 등이 1억달러를 쓰는 것에 비해 3% 수준에 불과한데, 미국의 수출 규제로 GPU에 대한 접근이 제한적인 상황에서 거둔 성과로 주목받고 있다.

톰스하드웨어는 14일(현지시간) 01.AI가 2000개의 GPU를 활용해 단 300만달러로 최신 AI 모델 ‘이-라이트닝(Yi-Lightning)’을 훈련했다고 보도했다.

리 카이푸 01.AI CEO는 오픈AI가 'GPT-4' 훈련에 8000만~1억달러(약 1100억~1400억원)를, 'GPT-5'에는 최대 10억달러를 투입했다고 전했다. 하지만 자신들은 300만달러만으로 모델을 훈련했다고 강조했다.

성능도 크게 떨어지지 않는다. 이 모델은 인간 선호도 벤치마크 LMSYS에서 6위에 랭크됐다.

오픈AI는 'GPT-3' 훈련에 1만여개의 엔비디아 'A100' GPU를 사용했다고 알려졌으며, GPT-4 및 GPT-4o 모델을 훈련시키는 데는 더 많은 'H100' 프로세서를 투입한 것으로 알려졌다.

반면, 01.AI는 혁신적인 솔루션을 통해 2000개의 GPU를 활용해 모델을 훈련했다고 밝혔다. 

또 제한된 GPU 자원으로 모델의 추론 성능을 개선하기 위해 계산 부담을 메모리 중심 작업으로 전환하고, 다층 캐싱 시스템을 구축했으며, 속도와 리소스 최적화를 위한 전문 추론 엔진을 설계해 병목 현상을 줄였다고 설명했다.

그 결과, 추론 비용은 100만 토큰당 10센트로 비슷한 모델보다 약 30분의 1 수준으로 낮다.

하지만 카이푸 리 CEO는 지난해 향후 1.5년 동안 로드맵을 소화할 충분한 GPU를 보유하고 있다고 언급했다. 이를 감안하면 300만달러는 과장이 심하다는 지적이다.

H100 한개의 가격이 약 3만달러(약 4200만원)인 것을 고려할 때, 2000개의 GPU를 사용했다면 총 비용은 약 600만달러(약 84억원)가 된다. 이번 훈련에 사용한 칩이 어떤 기종인지는 밝히지 않았다.

하지만 중국의 AI 기업들이 첨단 GPU 접근에 어려움을 겪는다는 것을 감안하면 이번 결과는 주목할만 하다는 지적이다.

중국에서는 자국산 저성능 칩을 조합하고, 데이터센터 여러곳으로 분산된 GPU를 연결하는 등 갖가지 아이디어를 짜내고 있다.

[익명(family5589)]

대 짱 개