[🔨활용] 특이점이 온다 마이크로소프트 롱넷 10억 토큰 AI

일단 내가 특겔을 LK99땜시 첨 알아서 오게된지 얼마 않됬는데 (참고로 난 초슬람!) 이거 중복인지 모르겠음. 폰으로 검색해봐도 않뜨길레 직접 올려봄.

GPT-4 사용하면서 취미로 인디게임 만드는데 코딩에 많이 쓰고있고 평소에 AI에 엄청난 관심이 있지만 이쪽 전문가는 아님.

한달전쯤 마이크로소프트에서 LongNet 이라는 논문을 발표함.

링크는 요기.

LongNet: Scaling Transformers to 1,000,000,000 TokensScaling sequence length has become a critical demand in the era of largelanguage models. However, existing methods struggle with either computationalcomplexity or model expressivity, rendering the maximum sequence lengthrestricted. To address this issue, we introduce LongNet, a Transformer variantthat can scale sequence length to more than 1 billion tokens, withoutsacrificing the performance on shorter sequences. Specifically, we proposedilated attention, which expands the attentive field exponentially as thedistance grows. LongNet has significant advantages: 1) it has a linearcomputation complexity and a logarithm dependency between any two tokens in asequence; 2) it can be served as a distributed trainer for extremely longsequences; 3) its dilated attention is a drop-in replacement for standardattention, which can be seamlessly integrated with the existingTransformer-based optimization. Experiments results demonstrate that LongNetyields strong performance on both long-sequence modeling and general languagetasks. Our work opens up new possibilities for modeling very long sequences,e.g., treating a whole corpus or even the entire Internet as a sequence.arxiv.org

이게 실제로 얼마나 가능성이 있는지는 전문가가 아니라 몰루.

근데 해외유튜버들 영상보면 이게 실현되면 AGI 가능성이 상당히 높아짐.

일단 특겔 수준에 다들 토큰이 뭔지는 당연히 알거같지만 혹시 모르니 집고넘어가자면 LLM의 기억력의 단위로 이해하면 편함.

지금 GPT-4의 토큰이 8,192임. 이말은 GPT-4 와 주고받는 대화 내용의 8천단어 정도까지를 기억한다는 것임. 개인적으로 게임 만드는 코딩 주고받을때 8천 토큰은 전체적 코딩도움을 받기는 턱없이 불가능하고 부분적 코딩만 도움을 받을수 있음. 이미 그정도로도 개인적으로 소름돋을때가 많은데 기억력이 10억토큰이 된다면??? (GPT-3.5는 16k 토큰 모델도 있음)

이 논문에서는 토큰을 늘리는 방법이 정보의 zoom out 같은 방식으로 설명을 하고 있음. 예를들어서 우리가 4K 해상도의 그림을 보았을때 그림의 전체적인 의미를 이해하기위해 모든 픽셀의 정보를 외우지 않아도 그림의 전체적 정보를 파악할수 있는것과 같음. 모든 픽셀을 토큰화시켜 전부 기억하지 말고 멀리 떨어져서 전체적 정보를 토큰화시켜 보자는 것임. 이 원리를 Transformer에 적용하면 실제 토큰의 양이 10억토큰까지 늘어날 수 있다는게 이논문의 대략적인 내용임. 영어좀 되면 밑에 유튭봐바라 설명 쉽게해준다. (난 외국살아서 영어좀 됨)

https://youtu.be/R0wBMDoFkP0

지금 내가 개인적으로 느끼는 GPT-4는 영화 메맨토의 하루단기기억 상실증걸린 주인공처럼 느껴짐. 그런데 토큰을 획기적으로 늘리기에는 컴퓨팅이 딸리니깐 지금까지는 백터데이타로 정보를 저장한후 LLM이 프롬프트 들어올때마다 백터메모리를 읽고 출력을 하려는 쪽의 연구가 더 활발했었음. 근데 이역시 토큰이 제한되어 한계가 있고 이거는 마치 메맨토의 주인공이 최소한의 기억 연결점을 위해 벽에 포스트지 붙이거나 자신의 몸에 문신세기는 것 정도의 제한적 메모리만 제공함. 결국 메맨토 주인공이 마지막에 헛짓거리를 하게된다는걸 보면 이쪽으로는 LLM도 기억력의 문제를 해결할수 없다고 생각됨.

10억 토큰은 한사람이 평생 읽을수있는 택스트의 양과 비슷함. 지금 LLM도 뉴론숫자와 트레이닝 데이터를 늘리다보니 어느순간 이해력이 올라간 순간이 온건데 이걸 Emergent라고 표현하고 있음. Emergent 이후에 트레이닝 하지 않았던 언어를 하게되거나 수학적 논리사고가 가능해 지는데 ChatGPT도 이 Emergent가 발생해서 결국 대중에 뜬거임. 개인적으로 토큰의 증가가 또다른 Emergent 를 야기시킬거라고 생각됨. 지금 LLM의 가장큰 문제는 홀루시네이션 인데 결론적으로 토큰양이 많아지면 의식의 흐름이 생기고 홀루시네이션도 없어질거 같음. 지금 GPT-4도 기억력 부분만 제외하고 보면 이미 대부분 인간의 90프로 이상보다 똑똑하다고 봄. 여기에 기억력까지 해결되면 그때야말로 진정한 AGI의 발현이 가능하지 않나 생각됨!

요약하자면

지금 LLM은 토큰 숫자가 적어 메맨토 주인공 하루 단기 기억상실증 걸린 환자보다 개똥망멍충 따라서 맨날 헛소리함 (홀루씨네이션)

마이크로소프트에서 롱넷이란 논문발표 이론적으로 토큰을 10억개 까지 늘릴수있다고 발표

이거되면 AGI온다!

- dc official App

[🔨활용] 특이점이 온다 마이크로소프트 롱넷 10억 토큰 AI

댓글 5

다른 게시글