세로축은 Artificial Analysis 쪽에서 만든 지능 벤치점수. 그냥 지능이라고 보면됨.


가로축이 컨텍스트 창 크기임.


제일 큰건 구글 젬프 2.5, 2.5 플래시, MiniMax M1(중국기업), GPT-4.1, 라마 4인데


GPT-4.1이 백만토큰? 뭐꼬? 하는 사람들 많을거임.


4.1 API 한정으로만 백만토큰, 웹에선 같은 4.1이어도 플러스티어는 3만2천, 프로티어는 128k 임


근데 그나마도 능지가 많이 딸려서 많이 안쓰는거임


이런거 보고 샘이 어제 컨텍창 아직까지 그리 중요한거 아님 이라고 주장한 모양임


=====


추가 팁


1. 컨텍스트 창은 프롬프트 입력하는 길이를 말함.


컨텍스트 윈도우가 128k면 해당 대화에선 AI가 입력 토큰 수 12만8천개까지 기억하고 그 안에서 맥락을 읽고 대화함. 그래서 맥락 창(컨텍스트윈도우)라 하는거임.


2. 컨텍스트 윈도우는 단기기억. 인간으로 치면 해마라고 보면됨.


대규모 사전훈련이 장기기억이라고 보면됨.


나중엔 이 컨텍스트 윈도우가 점점 더 커지면서 일종의 장기기억처럼 될 수 있음. 그렇게 되면 사전훈련처럼 대규모로 미리 준비해서 훈련하지 않아도 대화 속에서 알아서 학습하게 되고 좀 더 간편하게 파인튜닝이 가능해지는 것임.


3. 제미나이 1.5 때 구글이 제출한 논문 보면 백만토큰이 아닌 천만토큰을 넘어서는 순간부터 모델이 컨텍스트 내에서 학습하는 것 같다는 추측이 나오기도 함.


4. 그럼 왜 OAI나 앤트로픽, xAI는 구글 백만 컨텍스트 창을 못따라가고 있나?


 -4.1. 우선 구글만의 자체칩 TPU 규모가 타사가 따라올 수 없는 수준임.(1년 전에 구글이 OAI 컴퓨팅의 10배였음) 경쟁사들이 백만 컨텍창 따라하다간 순식간에 파산임

 -4.2. 구글의 엔지니어들은 세계 최고급임. 여기서 말하는 엔지니어는 AI 연구자가 아니라 제프딘같은 실제로 배포라인까지 구상하는 엔지니어들을 말함.

 -4.3. 희소 MoE, 타이탄 아키텍처같은 중간에 저장하면서 RAG 데이터 가져오는 방식으로 효율적인 계산이 가능함


5. 그럼 무조건 긴게 장땡아님?


아직은 아님. 타이탄을 쓰든 sparse MoE를 쓰든 컨텍스트가 길어질수록 원본 그 자체를 가져오는게 아니라 압축해서 가져오는거니까 거기서 나오는 성능 저하는 어쩔 수 없음.


6. 그럼 GPU만 있으면 무한 컨텍스트 바로 가능임?


그것도 아님. 컨텍스트가 늘어날수록 컴퓨팅은 그 제곱에 비례해서 늘어남. 하지만 5번에서 말한 타이탄, sparse MoE 말고도 구글에서 발표했던 링어텐션 같은 기술들을 통해 '선형'에 근사하게 늘릴 수 있음. 하지만 이것도 5번에서 말한 것처럼 길어질수록 모델이 전체 컨텍스트를 이해하고 활용하는 정도가 낮아지는 단점이 있어서 일종의 트레이드오프임.


7. 그래도 컨텍스트윈도우 자체는 해결이 그렇게 어렵지 않음. 다른 기술들에 비해.


다만 xAI, 앤트로픽이나 OpenAI에서 이쪽에 집중하지 않는건 구글만한 클라우드 자원, TPU, 엔지니어링 여유가 없기 때문임. 물론 지금도 따라가려면 따라감. 니들이 '쓰는 만큼 내든가'의 API에서는 메타도 백만토큰임.