[📪정보] 메타, '라마 3' 대형 버전 매개변수는 1400억개

7ce88870bc8107f739ef81e040ee776b6958dd64a2a48e623d7ba55162e96d8b0339

메타의 오픈 소스 대형언어모델(LLM) '라마 3'가 3가지 버전으로 출시된다. 그중 소형 버전 2개는 다음 주 출시될 것으로 예측됐다.

디인포메이션은 8일(현지시간) 익명의 메타 직원을 인용, 라마 3의 소형 버전 2가지가 다음 주 출시될 것이라고 보도했다.

이에 따르면 가장 작은 모델은 모바일 기기를 위한 온디바이스 AI용으로 알려졌다. 이 모델은 메타의 '레이밴 스마트안경'에 탑재, AI 비서 기능을 지원할 예정이다.

또 중간 크기의 모델은 최근 트렌드에 맞춰 저렴한 실행 비용과 빠른 실행 속도에 초점을 맞췄다. 두 모델의 매개변수는 구체적으로 알려지지 않았다.

하지만 올여름 출시할 가장 큰 버전은 매개변수가 1400억개(140B) 이상으로 알려졌다. 이는 '라마 2'의 최대 2배에 달하는 크기다.

지난해 7월 출시된 '라마 2' 역시 3가지 버전으로 출시됐으며, 매개변수는 각각 700억개(70B)와 130억개(13B), 70억개(7B)로 구분됐다.

특히 라마 3 140B는 'GPT-4'의 성능을 따라잡는 데 초점을 맞춘 것으로 알려졌다. 따라서 텍스트를 넘어 이미지까지 이해하는 멀티모달모델(LMM)이라는 설명이다. 반면 소형 모델 2가지는 멀티모달은 아닌 것으로 확인됐다.

또 메타는 기존 라마 2가 너무 보수적이라고 판단, 라마 3는 논쟁의 여지가 있는 질문에도 개방적으로 대답할 수 있도록 조정한 것으로 알려졌다. 이는 라마 3가 페이스북이나 인스타그램 등을 통해 서비스 중인 메타 AI 챗봇에 작용하기 때문이다.

한편 크리스 콕스 메타 최고 제품 책임자도 런던에서 열린 행사를 통해 라마 3 출시를 계획 중이라고 확인했다.

그는 "다음 달 내, 실제로 더 빠른 시간 내에, 바라건대 매우 짧은 기간 내에 라마 3의 새로운 제품군을 출시하길 바라고 있다"라며 "올해 앞으로 다양한 기능을 갖춘 다양한 모델이 출시될 예정이며 곧 시작될 것"이라고 말했다.

하지만 '제미나이' 사태 이후 대부분 회사가 이미지 생성 기능 노출을 꺼리는 추세에 맞춰, 메타 역시 이미지 생성 기능 포함에는 신중한 모습을 보였다.

콕스 책임자는 "이미지 생성은 정확성과 안전을 위한 충분한 테스트가 매우 중요하다"라며 이미지 생성 도구인 '에뮤(Emu)'를 포함하지 않았다고 밝혔다.

댓글 7