"이론상" 128k 사용 가능 단, 대략 16k기준으로 장기기억력이 절반 가까이 떨어짐 특히 토큰을 꽉 채웠을때 기준 중간 부분에 있는 내용을 기억하지 못하는 현상이 있음 잼미니쪽이 이를 어느정도 해결했다는 주장이 있어서 주목받는중 gpt도 4.5에선 이에 대한 개선이 이루어질 가능성이 높음
존나 애미없는 현상인거같음
4.5 ->5 정정해주새요
gpt5면 저건 당연하고 수학 능력도 대폭 상승해야지
claude에서 프롬프트 한줄 추가하는 원샷튜닝으로 기억력 200k까지 98% 유지 시켰다고 최근에 발표한거 아님? gpt-4는 비슷한거 없나?