[📪정보] 메타, '다중 토큰 예측' 코드 생성 모델 출시

https://www.aitimes.com/news/articleView.html?idxno=161325

메타, '다중 토큰 예측' 코드 생성 모델 출시...메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등 대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로 사전 훈련한 70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다. 다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리,www.aitimes.com

7ceb8175b78707f739eb85e343ee756d533e57875f128cc8fa219f6cabfb02c097c0

메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등 대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.

벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로 사전 훈련한 70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다.

다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리, 여러 토큰을 동시에 예측함으로써 모델의 속도와 정확도를 향상할 수 있는 방법이다.

대형언어모델(LLM)을 훈련하는 일반적인 방법은 ‘다음 토큰 예측(next-token prediction)'이다. 이는 모델에 일련의 토큰이 주어지고 다음 토큰을 예측해야 하는 자기 지도 학습 기술이다. 예측한 토큰을 입력에 추가, 한번에 토큰 하나씩 프로세스를 반복하는 식이다.

7ceb8175b78707f739eb85e340ee756c9e6c9dbdcfd88fde11b5d6639dd64aa218

다중 토큰 예측은 기존의 트랜스포머 아키텍처를 기반으로 하지만, 단일 출력 대신 여러 독립적인 출력 헤드를 통해 여러 토큰을 동시에 예측하는 것이 특징이다.

추론 과정에서는 기본적인 다음 토큰 예측을 유지하면서, 추가적인 출력 헤드를 사용해 디코딩 속도를 빠르게 할 수 있다. 이를 통해 실행 시간을 최대 3배까지 단축한다.

코딩 관련 휴먼이밸 및 MBPP 벤치마크에서는 단일 토큰 예측 기반 모델 보다 각각 12%, 17% 이상 정확도가 향상됐다.

메타는 “다중 토큰 예측 기술은 추가 비용 없이도 기존 모델보다 더 강력하고 빠른 트랜스포머 모델 훈련 방법”이라며 “앞으로 이 기술의 다양한 응용 가능성을 탐구할 계획”이라고 말했다.

메타는 다중 토큰 예측 기술을 먼저 코드 생성 모델에 적용했다. 이는 최근 코드 생성 AI 시장의 성장 추세를 반영한 선택으로 보인다.

현재 멀티-토큰-프리딕션 모델은 허깅페이스에서 비상업적인 연구 목적으로 무료 사용할 수 있다.

https://huggingface.co/facebook/multi-token-prediction

facebook/multi-token-prediction · Hugging Facefacebook/multi-token-prediction · Hugging Facehuggingface.co

[📪정보] 메타, '다중 토큰 예측' 코드 생성 모델 출시

댓글 2

다른 게시글