[일반] llm은 대화를 기억하는 능력이 없어서

[익명(118.235)]

이 새끼 가지고 어케 agi를 만든다는 건지 이해가 안감. 매번 프롬프트 입력할 때마다 대화 기록 전체 재입력해야하는 시스템인데 이걸로 어케 agi를..? 데이터셋 밖 내용들은 매번 재입력해야한다는 거잖아. 사실상 세상을 연속적으로 인지할 수 있는 능력 자체가 없다는 거 아녀 ㅋㅋㅋ 한 번 답변하고 초기화, 한 변 답변하고 초기화..

- dc official App

[익명(220.123)]

챗gpt 메모리기능 모름? - dc App

[익명(118.235)]

ㅋㅋㅋ 그게 인간 기억 같은 건 줄 아니.. 걍 기존 custom instructions 을 좀 더 편리하게 만든거다.. - dc App

[익명(1.247)]

클로드는 다른 LLM보다 기억력 높긴했는데 채팅 대화수 제한 걸려있고 대화 쌓일때마다 속도 저하오더라. - dc App

[익명(118.235)]

그게 기억력 같은 게 아니라 걍 첨부터 끝까지 대화를 재입력하는 거임 - dc App

[익명(118.235)]

쓰레드에 대화 추가할 때마다 이전 내용 싹다 복붙하는 방식인 거 - dc App

[익명(119.202)]

그 입력한 대화가 걔 기억인 거지. 무한 컨텍스트를 다룰 수 있게 되면 해결될 일

[익명(118.235)]

무한 컨텍스트를 어케 만드는데? ㅋㅋ 결국 매 대화마다 초기화되고 다시 기존 내용 싹다 입력하고. 매일 사용한다는 전제하에 한 달만 되어도 버벅거림. 말도 안되게 비효율적이고 지속가능하지가 않음 - dc App

[익명(119.202)]

지금 할 수 있냐 없냐가 아니라 나중에 할 수 있게 발전 가능하냐가 문제잖아. 지금은 처음부터 끝까지 텍스트 또는 이미지 형태로 그대로 컨텍스트를 재입력을 해야 하지만 나중엔 차원이 압축된 토큰 형태로 컨텍스트를 줄 수도 있고, 어쨌든 효율은 개선하면 될 일임. 본질적으로 컨텍스트를 기억으로 쓸 수 있다는 사실은 변하지 않음

[익명(118.235)]

입력횟수가 쌓일 수록 매번 입력되는 데이터양이 증가하게 되는데 이걸로 사이보그 로봇 만든다고 생각해보셈. 인간이 명령 한 번 할때마다 기존 대화 내용을 모두 재입력하는 시스템으로는 나중에는 처리해야할 데이터의 양은 네가 상상을 아득히 초월할 거임. 이걸 싹다 압축해서 사실상 무한에 가까운 컨텍스트를 다룬다? 그야말로 특이점와야 가능한 소리임. 차라리 llm 갖다버리고 얀르쿤처럼 매커니즘 자체를 새로 만드는 게 더 현실성 있는 소리 - dc App

[익명(119.202)]

어떤 아키텍쳐를 쓰든 기억이라는 걸 인간 수준으로 구현하기 위해선 근본적으로 내제된 정보량이 상상을 초월할 수밖에 없음. 대화 내용을 재입력하든, 메모리 아키텍쳐를 만들어서 거기에 따로 저장하든 그건 문제가 아님. 즉 컨텍스트를 압축하는 기술은 어떤 방식을 쓰든 필요함. 근데 그런 기술이 있다면, 지금 방식으로도 안될 이유가 없음. 매번 모든 데이터를 입력해야 하니 비효율적이다? 기억을 다른 곳에 따로 저장한다 해도 일일이 탐색해야 하는 건 똑같음. 필요한 부분만 탐색하는 기술이 있으면 된다? 같은 원리로 필요한 컨텍스트만 먹이는 기술이 있으면 됨.

[익명(119.202)]

이러니 저러니 해도 기억을 구현하는 데 있어 어려운 점은 LLM의 한계에서 나오는 게 아니고, 생각해 볼 수 있는 방식들은 LLM 기반 구조에도 어떻게든 적용해 볼 수 있음. 그리고 벌써 인피니티 어텐션 같은 것들 나오고 있는데 특이점이 와야 가능한 비현실적인 기술이라는 건 너무 비관적인 듯.

[람냥(qorwhddlrz)]

파인튜닝 같은 기능은 아직 편의성도 구리지만 머지않아 해결될거임 벡터 저장소 활용하는 장기기억 기술도 있던데 요건 잘 모르게씀 ㅎㅎ;

[익명(223.38)]

수파메모리하면 인간처럼 기억 ㄱㄴ

[익명(121.157)]

솔직히 llm은 agi랑 거리가멀지 스스로 생각은 커녕 인간이 싸질러논거중에 가장 그럴듯한거 긁어오는게 전분데 ㄹㅇ

[예아_(ai315)]

그래서 구글이 이번에 인피니 어텐션 내놓긴 했는데 결국 선형 압축이라 데이터가 찐빠나는건 어쩔 수 없더라 - dc App