[일반] 지금 AI는 단기기억 능력조차 없음.

[갉달비(secure2924)]

저번에도 말했지만 지금의 모델들은 기억력이 사실상 Zero임.

그냥 context에 넣어서 정보 자체를 input으로 새로 넣어주는 느낌이지 기억이라고 볼 수 없음.

단기기억이든 장기기억이든 기억 모듈이 필요하다고 본다. 이를 위해서는 구글의 Titans가 희망이다.

학습이 끝난 시점에서도 Neural memory라는 모듈을 통해, 필요한 정보를 기억해둘 수 있음.

컨텍스트에 때려박지 않아도 필요한 정보를 기억하는 게 가능해진다는 말.

[ㅇㅇ 1(14.38)]

뭐 gpt 공홈에서 하는 것처럼 외부 메모리 둬서 비슷하게 구성은 될 수 있지만 llm 자체가 메모리 있으려면 이런 아키텍쳐가 필요하긴 할듯