[일반] 장기기억 llm으론 달성방도가 없는거냐

[익명(116.44)]

무지성 스케일링으로도 해결이 안되면 뭐 월드모델이라고 개발해야되나

트렌스포머 뛰어넘는게 없담서

[큼쪽(tidy7958)]

얀르쿤의 선견지명 - dc App

[ㅇㅇ 1(116.44)]

아오

[ㅇㅇ 2(59.29)]

근데 openAI,구글,앤트로픽 셋 다 AGI는 이미 달성 가능하다고 말하는 거 보면 내부적으로 해결을 했든, 해결할 가능성이 높다고 보든 하는 거 같음.

[ㅇㅇ 1(116.44)]

3년 더 돈다이 하면 뭐가 나오긴 하겠네

[ㅇㅇ 2(59.29)]

@ㅇㅇ1(116.44) 아마 구글에 컨텍스트 관련 연구원이 2,3달전 인터뷰에서 컨텍스트 길이가 1천만은 사실상 달성. 다만 서비스 시기 조율 중. 1억은 아직 안 되지만 지금 추세면 1,2년 내로 달성. 1억 정도가 되면 더 늘리는 것, 거의 무한의 컨텍스트 창을 갖는 건 사실상 당연한 수순이라고 말하더라. 딱 '장기기억' 이렇게 달성을 하든, 혹은 다른 아키텍쳐로 하든, 컨텍스트 창이 길어져서 '장기기억'같은 효과가 생기든 뭐 연봉 수십억 받는 분들이 잘 만들어줄 것 같음.

[ㅇㅇ 1(116.44)]

@ㅇㅇ2(59.29) 그 1천만 컨텍 아틀라스인가 그거잖음 근데 아틀라스 트랜스포머가 아닌 다른 아키텍쳐라는 소릴 어디서 들었는데 아닌가? 아틀라스 고점이 트렌스포머보다 낮다는데

[ㅇㅇ 2(59.29)]

@ㅇㅇ1(116.44) 아틀라스가 긴 컨텍에서 성능이 좋다는 건 아는데, 구글 연구원이 천만 컨텍을 아키텍쳐로 달성했다는 말인지는 모르겠음. 아키텍쳐에 관한 언급을 아예 안 했거든. 그냥 자기들이 컨텍스트 길게 만들었다. 천만, 1억...이렇게 커지면 왠만한 프로젝트 코드는 전부 넣을 수 있어서 AI 활용의 격이 달라질거다. 이렇게 언급했음.