[일반] 장기기억이 힘든 이유가 GPU가 모자라서임?

[만창(donnie0)]

그냥 여태까지 내가 입력했던 프롬프트들 싹다 저장해놓고

ex) 이 소설의 주인공은 채식,주의자에 게이입니다

이 설정을 결말까지 기억하고 스토리 300p분량으로 작성해주세요

반영하면 되는 거 아닌가?

근데 사용자 수천만~억명 것을

다 저장하는 게 말도 안되는 연산이들어서 그런거임?

[u2em(u2em10)]

5080으로 로컬 24b 모델만 돌려봐도 context 4096부담됨

[만창(donnie0)]

흠 그럼 사람수준의 장기기억을 텍스트 형태로 보존한다치면 context가 어느정도는 되야할까?

[ㅇㅇ 2(218.54)]

@만창 이건 사람 수준이 어느정도냐에 따라 다른데 내가 계산해본 결과 그냥 지금 단계에선 불가능임.. 사람 수준의 기억량을 컨텍스트로 이룩하려면 한명분의 기억량도 만들수없을거임

[익명(aquarium0201)]

그건 이제 본인이 잘 기억한다기 보다는 노트에 설정을 적어놓고 책을 매번 펼쳐 보면서 정보를 참고해서 쓰는거에 가까움. 장기기억은 그런 외부 메모리 없이 스스로 중요한 핵심사항을 알아서 잘 기억해서 ai가 어떤 외부장치 도움 없이 스스로 자기 뇌에 기억을 저장해나가는걸 말함. 말하자면 시험칠때 교과서 펴놓고 오픈북으로 치는게 아니고 직접 스스로 머리에 암기해서 자기 기억력으로 시험치는걸 말함 - dc App

[만창(donnie0)]

아아 이해했음

[ㅇㅇ 1(27.100)]

ai 켜서 llm작동 기본 원리 설명해달라고 하고 롱 컨텍스트 사용 어려운 이유도 같이 물어보셈 설명 잘해줌