LLM구조 관련한 얘기임.

메타 이 새끼들 그 많은 돈이랑 인력 가지고 어떻게 망했을까 항상 의문이었는데, 오늘 그록4 보면 컨텍스트길이가 128k더라. 생각보다 짧지?


이거 보고 라마가 원래 10M 지원하겠다고 했었던게 생각남.

사실 지금 제미니도 100만 200만 토큰 수준이고. 메타 혼자 10배에 달하는 토큰 길이를 제공하겠다고 나선거임.


메타는 Reasoning 1등 이런것보다 성능 SoTA랑 비빔 + 저렴한 Long Context지원으로 사용성 확대를 방향성으로 잡았던 것 같음. 근데 문제가 이거 1000만 토큰까지 가버리면 학습하기도 ㅈㄴ어렵고, 추론할때도 메모리 쪽에 부담이 너무 심해지고 성능이 엄청 느려짐.


그래서 Window Attention등 좀 Attention 계산할 때 메모리랑 연산에 최적화된 llm 구조를 강제로 사용할 수 밖에 없음.

(실제로 llama4는 window attention 기반이었던 것 같음)

MoE 구조도 이런 비용 절감을 위해서 들어갔을거고.


그런데 이런 비용 절감하는 아키텍처를 여기저기서 끌어모아서

컨텍스트길이로 승부보려다가 학습이 잘 안되는 문제에 당착한거지. 이런 구조가 작은 모델에서는 잘 되는데 SoTA급 초거대모델 학습에서는 뭔가 한계가 발생했을 것 같음.


실제로 llama3까진 나름 성능이 동급 규모의 llm중엔 sota였던 적도 많은데, 그땐 window attention이랑 moe같은거 없었음.


아마 이런 아키텍처 주도한 새끼가 llm팀 고위직이었을 것 같은데, 책임지고 사퇴하면서 분위기 망해서 팀 싹다 나간거고, 그래서 아예 새로 뽑은듯