현재의 AI 모델은 기본적으로 생각기계임 얘는 입력이 있으면 출력하는거 밖에 못함.
그리고 이 '입력'에는 우리가 타자로 치는 프롬포트, 인풋, 그 외 기타 등등이 모두 포함됨.
OAI의 메모리 기능도 사실 회사 차원에서 지원하는 프롬포트이기 때문에 입력단에 들어감.
그런데 입력이 존나 길어지면, ai 모델 성능의 한계가 있기 때문에 얘가 잘 못받아들임. 이걸 컨텍스트 소화량이라고 부름.
따라서 현재의 장기기억 실마리는 주로 세가지 유형임.
1. 모델 성능을 강화해서 자체적인 컨텍스트 소화력을 올린다.
2. '메모리'를 어떤 방식으로든 최대한 압축시켜서 (요약 등) 인풋의 크기를 줄인다.
3. 모델이 사용자에 따라서 실시간으로 학습하게 한다.
바다기린(hancomputer)2025-02-27 10:01
지금 llm이 기억하는 방식은 방금 자다 깬 사람한테 대화내역 한뭉치 던져주고 다음 글 이어쓰게 하는 방식임
결론적으로이 새끼가 뭐가 중요한지 안 중요한지 몰라
현재의 AI 모델은 기본적으로 생각기계임 얘는 입력이 있으면 출력하는거 밖에 못함. 그리고 이 '입력'에는 우리가 타자로 치는 프롬포트, 인풋, 그 외 기타 등등이 모두 포함됨. OAI의 메모리 기능도 사실 회사 차원에서 지원하는 프롬포트이기 때문에 입력단에 들어감. 그런데 입력이 존나 길어지면, ai 모델 성능의 한계가 있기 때문에 얘가 잘 못받아들임. 이걸 컨텍스트 소화량이라고 부름. 따라서 현재의 장기기억 실마리는 주로 세가지 유형임. 1. 모델 성능을 강화해서 자체적인 컨텍스트 소화력을 올린다. 2. '메모리'를 어떤 방식으로든 최대한 압축시켜서 (요약 등) 인풋의 크기를 줄인다. 3. 모델이 사용자에 따라서 실시간으로 학습하게 한다.
지금 llm이 기억하는 방식은 방금 자다 깬 사람한테 대화내역 한뭉치 던져주고 다음 글 이어쓰게 하는 방식임