[일반] 근데 장기기억 해결 못하면 지금 대답 좀 잘하는거 의미 없는거 아님?

[익명(126.156)]

이걸로 연구 하거나 업무에 쓸려면 좀 연속적으로 추론이 가능해야 하는데

지금은 토큰도 너무 작고 기억력 병신이고

장기기억 해결 할려면 꽤 오래 걸릴것 같은데

트랜스포머 논문이 2017년 나온거 생각하면

장기기억은 2029년에도 해결 못하는거 아님?

[익명(218.144)]

난 대답 잘 하는 게 더 중요하다고 생각함. 대답을 잘 하고 문제가 없어야 그걸 장기기억으로 쌓는 의미가 있는거지. 대답 가끔 문제 생기면 그걸 검증하는 것도 일이고, 성능에 치명적이게 됨. 장기기억이 얼마나 난이도가 높은 지는 모르겠지만, 만약 지금 추론 성능보다 낮다면 후순위로 미룰 만 하고. 난이도 높다면 걱정은 되겠지만, 제대로 답변하는 AI가 생기면 이걸 연구에 활용해서 빠르게 개선할 수도 있을거고.

[ailover(photo7512)]

지금도 o1이 대답 잘하니까 distilled data 쳐먹여서 deepseek같은거 나오잖어. 경량화가 겁나 잘 된다는거임. 장기기억도 금장 나올것임. ms 쪽에서 실마리 잡은거 같으니까.