인간의 뇌처럼 다양한 유형의 메모리를 활용합니다. 단기 기억, 장기 기억, 메타 메모리 등을 구현하여 뇌의 작동 방식을 모방합니다. [4, 5]

테스트 시간 (추론 시간)에 메모리를 학습합니다. 기존 모델은 사전 훈련 단계에서만 학습했지만, 타이탄 모델은 사용자가 프롬프트를 입력할 때 모델이 학습하고 메모리에 저장합니다. [2, 6-8] 이는 모델이 새로운 정보를 즉시 학습하고 반영할 수 있도록 합니다.

놀라움(surprise) 메트릭을 사용하여 기억할 정보를 선택합니다. 인간은 예상치 못한 사건을 더 잘 기억하는 것처럼, 타이탄 모델도 예상과 다른 입력에 대해 더 높은 놀라움 값을 부여하고 이를 기억합니다. [9-13]

적응형 망김 메커니즘을 통해 불필요한 정보를 잊습니다. 놀라움 정도와 가용 메모리 용량을 고려하여 어떤 정보를 잊을지 결정합니다. [14, 15]

이러한 특징들을 통해 타이탄 모델은 기존 트랜스포머 모델보다 긴 컨텍스트 윈도우에서도 높은 정확도를 유지하며 효율적인 정보 검색이 가능합니다. [16, 17] 또한 2백만 토큰 이상의 컨텍스트 윈도우 크기를 지원하며, 기존 모델보다 우려할 만한 개인 정보 노출 위험도 적습니다. [7, 11]


타이탄 모델은 장기 기억 능력과 효율성을 크게 향상시킴으로써 인공지능 모델의 발전에 크게 기여할 것으로 기대됩니다. [18]


난천 딱 대 ㅋㅋ 닭장련 ㅋㅋ