[📪정보] Long Context에 대한 부분 정답? Kimi Linear의 성능.

[귀가있는로봇의..(function8845)]

https://x.com/DillonUzar/status/1992315794693226854?t=r7KKCb8kd2jfPW4XzZW5KA&s=19

Context Arena Update: Added kimi-linear-48b-a3b-instruct [11-08] and kimi-k2 (Thinking) [11-06] to the MRCR leaderboards.

The Linear 48b results are fascinating! It actually outperforms the new Gemini 3.0 Pro Thinking on 4-needle and 8-needle tasks at higher context lengths… pic.twitter.com/HoOMl6VNRV

— Dillon Uzar (@DillonUzar) November 22, 2025

퍼오기 귀찮아서 말로 설명함

부분적으로 선형적인 어텐션을 사용해서 메모리 사용량을 n^2에서 n에 가깝게 줄인 중국 모델이

더 적은 메모리를 사용함에도 long context 관련 벤치에서 제미니3을 부분적으로 능가함

구체적으로는 짧은 컨텍스트에서는 처참하게 패배하지만 더 긴 컨텍스트게서는 분명하게 우위를 점함

덤으로 이건 액티브 파라미터 3B짜리 모델임

중요한건 개선중이라는 거겠지

[익명(jnlf8576)]

linear가 긴 컨텍에서 이겨야 하는 건 당연하게 목적이라서

[귀가있는로봇의노래(function8845)]

오히려 구조적으로는 메모리를 적게 먹을 뿐 롱 컨텍스트에서 좋은 성능을 보일 근거가 크지 않음

[ㅇㅇ 1(14.38)]

소형모델이면 이미 비슷하게 고컨텍 성능 좋았던거 이미 있었을 것 같은데

[귀가있는로봇의노래(function8845)]

이건 linear인데 고성능이라는게 인사이트를 보여주는 거지 단순히 softmax를 안 쓰기에 롱컨텍에서 정보 희석이 적다? 그것만으로는 고성능을 내기 어려움. 오히려 정보량이 적어지는데에서 오는 단점이 크다고 생각함.

[레알팜(lottohelp)]

[익명(shore1232)]

이걸 Linear attention이..? 사장된거 아니었나

[귀가있는로봇의노래(function8845)]

물론 특정 벤치의 특정 컨텍스트에서만 우위를 점하는 거긴 함 실험적인 시도가 부분적인 성과를 거뒀다... 정도로 생각해야지

[익명(compact5711)]

컨텍스트 아레나 가서 보니 MRCR 8니들 딸린다는 것도 32K 구간까진 GPT-5 띵킹이랑 비슷한 수준이던데 큰 발전 아닐까

[익명(compact5711)]

저렴하면서 어느정도 성능과 컨텍유지력까지 나오면 메이저 회사들 개빨리 달릴 듯 ㅋㅋㅋ

[디시콘발사대(fcbjsjmu1t9f)]

젬3.5에 반영 드가자잇

[익명(14.53)]

저성능 기기에선 퀀텀 점프 가능해보임

[asi2026(dart5404)]