[📪정보] 전 세계 90% 사용 언어 포함 오픈 소스 모델 '바벨’

[한가운데(centerofworld)]

알9리바바가 전 세계 인구의 90%가 사용하는 언어를 포함하는 오픈 소스 대형언어모델(LLM) ‘바벨(Babel)’을 발표했다. 인공지능(AI)이 전 세계 기업들에 본격 보급됨에 따라, 이처럼 다국어 능력을 강조하는 모델들이 잇달아 출시되는 추세다.

바벨은 지속적인 사전 훈련 대신 ‘레이어 확장(layer extension)’이라는 방법을 도입했다. 이는 모델의 성능을 향상하기 위해 모델의 크기를 키워서 매개변수를 늘리는 방식으로, 기존 모델 구조를 유지한 채 원래 레이어와 같은 구조를 가진 새로운 레이어를 추가하는 방법을 활용한다.

두가지 버전으로 출시됐다. 첫번째는 ‘바벨-9B’로, 다국어 이해 능력을 유지하면서도 속도를 최적화한 모델이다. 두 번째는 ‘바벨-83B’로, 대형 상용 모델과 견줄 수 있도록 성능을 확장한 버전이다.

벤치마크 평가에서 바벨은 기존 다국어 LLM보다 우수한 성능을 기록했다.

바벨-9B는 평균 63.4점을 기록하며 비슷한 크기인 'GLM4-9B(59.2)'와 '젬마2-9B(59.5)'를 뛰어넘었다. 또 'MGSM'과 같은 추론 과제에서 43.4점, 'Flores-200'과 같은 번역 과제에서 55.1점으로 우수한 성과를 보였다.

바벨-83B는 다국어 모델 사상 최고점인 평균 73.2점을 기록, '큐원2.5-72B(69.8)'와 '라마3.1-70B(66.9)'를 능가했다. 특히 저자원 언어 처리에서 5~10% 향상된 성능을 보여 기존 모델보다 더 넓은 언어 범위를 지원할 수 있음을 입증했다.

또 100만 개 이상의 대화형 데이터셋으로 학습된 바벨의 지도 미세조정(SFT) 모델은 GPT-4o와 같은 상용 AI 모델과 비슷한 성능을 발휘했다.

https://www.aitimes.com/news/articleView.html?idxno=168586

[멘토스(gblzvhbddpj2)]

덤벨은 없음?

[ㅇㅇ 1(175.198)]

어어 이름이 왜 바벨이노

[수직(player5319)]

[익명(noble5932)]

바벨탑을 쌓지말거라

[할랄라루와이(overlap4546)]

진짜 바벨탑 나왔노 ㅋㅋ

[익명(course2187)]

[난모르것다(farewell1592)]

이름이 왜케 불길하냐 ㅋㅋ

[ㅇㅇ 2(116.123)]

층을 쌓아가는 다국어 모델 바벨...

[ㅇㅇ 3(112.161)]

아니 이름을 지어도 꼭