AI 장기기억, 딱 두 가지로 정리함.
1. 컨텍스트 기반 기억

  • 정체: 대화창(컨텍스트) 안에 있는 정보만 보고 답변하는 방식임.

  • 작동 원리: 답변할 때마다 이전 대화록 전체를 통으로 다시 읽고 뱉는 거.

  • 문제점:

    • 대화 길어지면 컨텍스트를 올바르게 활용하지 못함. 현재 상용모델 대부분 200k 이상에서는 성능이 급감하는 문제.

    • 모델마다 정해진 컨텍스트 창 크기를 넘어가면 세션 사용 불가능, 정보를 일부분 지우는 방식이 필요함

  • 결론: 이건 진짜 기억이라고 할 수 없고, 정보를 매번 통으로 입력으로 넣어주는 기억력 zero 방식.




2. 가중치 변경 기반 기억 (진짜 기억)

  • 정체: 새로운 정보를 들으면 뇌 구조(모델의 가중치) 자체가 실시간으로 영구히 바뀌는 방식.

  • 작동 원리: 인간이 경험으로 배우고 뇌세포가 변하는 거랑 똑같은 원리. 한번 배우면 컨텍스트 없어도 계속 기억함.

  • 문제점:

    • 현재 상용 모델엔 이런 기능 없음. 구글의 타이탄이 이런방식이긴한데, 상용화는 아직 안됨.

    • 개인 서비스 어려움, 현재 서비스 하는 모델은 파라미터가 다 같아서 개인마다 같은 모델을 쓰고 있고, 시스템 프롬프트나 다른 입력으로 개인화를 하고 있지만 실시간으로 가중치를 바꾸는 방식이 되면, 서비스를 어떻게 할지 전혀 감이 안옴

  • 결론: 이게 진짜 '학습'이고 '기억'이라고 보고, 이걸 해결해야할 것 같음. 







'무한 컨텍스트'는 무식한 힘겨루기라 실용적, 비용적 한계가 명확함. 

결국 AI의 기억력 개선은 '실시간 가중치 변경'이라는 진짜 학습 능력을 어떻게 구현하고 서비스하느냐에 달려있다고 봄.