중국은 더욱 큰 AI 모델을 만들기 위한 경쟁에서 국가, 대학, 민간 부문 간의 협력이 거대한 AI 모델의 가능성을 가지고 있음을 보여주고 있다. 연구진은 '두뇌 스케일' AI에 대해 말하고 있다. 그들의 정의에 따르면 이들은 100조 이상의 파라미터를 가진 AI 모델이다.


칭화대, 알리바바 그룹, 저장랩, 베이징 인공지능학원 연구진은 새로운 논문에서 MoE(Mixed-of-Experts) 아키텍처를 사용하여 대형 AI 모델을 훈련할 수 있는 프레임워크인 BaGuaLu를 제시한다.


첫 번째 테스트에서, 연구원들은 1조 9300억 개의 모델을 그들의 프레임워크로 훈련시켰고, 구글의 스위치 트랜스포머를 능가했다. 또한 프레임워크가 14조 5천억 및 전체 174조 개의 매개변수를 가진 모델을 가능하게 한다는 것도 입증했습니다.



Artificial Intelligence: China researches "brain-scale" AI (mixed-news.com)