[📪정보] 메타 AI, 혁신적인 확장형 모델 아키텍처인 메가바이트 출시

[익명(asdf045)]

https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture

Meta AI Unleashes Megabyte, a Revolutionary Scalable Model Architecture

메가바이트 모델: 게임 체인저

메타 AI가 도입한 메가바이트 모델은 일련의 입력과 출력을 개별 토큰이 아닌 "패치"로 구분하는 독특한 아키텍처를 선보입니다. 각 패치 내에서 로컬 AI 모델은 결과를 생성하고, 글로벌 모델은 모든 패치의 최종 결과를 관리하고 조율합니다.

이 방법론은 오늘날의 AI 모델에 만연한 확장성 문제를 해결합니다. 메가바이트 모델의 패치 시스템은 단일 피드포워드 네트워크가 여러 토큰을 포괄하는 패치에서 작동할 수 있도록 합니다. 연구원들은 이 패치 접근 방식이 자기 주의 확장 문제에 효과적으로 대응할 수 있다는 사실을 발견했습니다.

패치 모델을 통해 메가바이트는 계산을 병렬로 수행할 수 있으며, 이는 기존 트랜스포머가 계산을 직렬로 수행하는 것과는 완전히 대조적입니다. 기본 모델에 더 많은 매개변수가 있는 경우에도 상당한 효율성을 제공합니다. 실험 결과, 15억 개의 파라미터 모델을 사용하는 메가바이트는 3억 5천만 개의 파라미터로 작동하는 트랜스포머 모델보다 40% 더 빠르게 시퀀스를 생성할 수 있는 것으로 나타났습니다.

연구원들은 이 접근 방식의 한계를 파악하기 위해 여러 테스트를 통해 메가바이트 모델의 최대 용량이 120만 토큰을 초과한다는 사실을 발견했습니다. 비교를 위해 OpenAI의 GPT-4는 32,000개의 토큰으로 제한되어 있고, Anthropic의 Claude는 100,000개의 토큰으로 제한되어 있습니다

[Tnk(a1778untethered)]

얘네들은 최적화원툴이네 풀파워 3.5도못내는버러지들이

[익명(14.40)]

최적화도 현재 ai의 중요한 해결상황이긴 함