단순 retrieval 태스크조차 100k 넘어가면 쭉쭉 떨어지고 실제로 뭔가 다단계 retrieval 이후 추론 같은 워크로드는 그보다 전부터 쭉쭉 떨어지잖아 이건 오픈AI나 클로드도 마찬가지고. 모델 제작사들이 홍보하는 context length는 걸러들어야 한다고 본다 실질적으로 걍 구라잖냐 아 불만이면 제미니 3.0은 titans든 atlas든 압도적 개선해서 들고오라고 ㅋㅋ
제미니 실제 한계는 15만 ~ 20만인것 같음 여기까진 봐줄만하고 이거 넘어가면 딱 보기에도 상태 나빠지는게 그냥 보이더라
작업 난이도에 따라 다르겠지만 좀 복잡한거 시키려면 그보다도 더 앞에서 떨어짐.. 일단 이거 해결돼야 진정한 의미의 코더 대체가 시작될것이라고 본다
ㅇㅇ 1M 반의 반도 가기전에 느려터지고 말귀못알아듣고 횡설수설해서 못써먹음 그래도 제미나이가 다른 모델들보가 컨텍한계 훨씬 높은건 사실이니까... 지금으로서는 가장 애용하고 있음 - dc App
유튜브 토큰 커도 잘 분석하는거 보면 난 상당히 의미있다고 봄
20만 넘으면 걍 대화기록 export 한다음에 새 세션에서 하는게 낫더라
멀티턴으로는 그렇긴 한데, 유튜브 영상 분석 뽑는거 보면 그래도 젤 낫긴 해
롱컨텍 음성에서 빠짐없이 전사하는거보면 라마4같은 수준이 아니라 실제로 의미있는 컨텍길이임 벤치도 그렇고
단순한건 20만도 비비긴 하는데 솔직히 stem은 5만만 쌓여도 체급 떨어지는게 느껴짐 3만쯤 됐겠다 싶으면 갈아탐