[📪정보] 메타 "라마 4는 추론 강화한 멀티모달 모델"

7ceb847eb58b07f739e78fe642ee766cd4d4b5c5f57cdda3278ff91a262ffd19fd

마크 저커버그 메타 CEO는 30일(현지시간) 3분기 실적 발표를 통해 라마 4 모델에 대한 설명을 내놓았다.

그는 우선 "버전 4는 다른 사람들이 하는 것보다 더 큰 클러스터에서 훈련 중"이라고 밝혔다.

여기에서 말하는 '다른 사람'이란 멤피스에 GPU 10만개로 구성된 슈퍼컴퓨팅 클러스터 '콜로서스'를 구축한 일론 머스크 CEO의 xAI를 뜻한다.

이와 관련, 지난 9월에는 디 인포메이션이 소식통을 인용해 메타가 미국 모처에 엔비디아 'H100' 10만개 이상을 투입한 슈퍼 컴퓨팅 클러스터를 구축 중이라고 보도했다.

여기에는 칩 구입에만 20억달러(약 2조7000억원)가 넘는 비용이 들어갔으며, 저커버그 CEO의 말에 따르면 이미 완공된 것으로 보인다.

이어 저커버그 CEO는 라마 4가 "새로운 모달리티를 갖췄으며, 더 강력한 추론과 훨씬 빨라진 성능 등을 기대한다"라고 설명했다.

메타는 지난 9월 '커넥트' 행사에서 처음으로 LMM 모델인 '라마 3.2'를 출시했다. 이는 앞으로 플래그십 모델은 LMM으로 출시할 것을 의미한다.

특히 얀 르쿤 메타 수석과학자는 대형세계모델(LWM)을 개발 중인데, 여기에는 LMM 개발이 필수적이다. LWM은 물리적인 세상을 보고 이해하는 모델로, 인공일반지능(AGI)으로 가는 과정으로 여겨진다.

또 추론 강화는 지난 9월 오픈AI의 'o1' 출시 이후 프론티어 모델의 기본 요소로 자리 잡았다. 구글도 추론 중심의 모델을 개발, 향후 '제미나이'에 통합할 것으로 알려졌다.

이처럼 이날 저커버그 CEO의 발언은 그동안 소문으로 알려졌던 사실을 확인해 준 셈이다.

댓글 4