[일반] 생각해보니 장기기억력 해결은 조금도 안 되었는데 무슨 agi여 ㅋㅋ

[익명(59.17)]

장기기억력 해결만 해도 내 입맛대고 고쳐쓸 수 있는데 ㅋㅋ

장기기억력 해결된 거 단 하나라도 있음?

[ㅇㅋ(ijh2005)]

조금도 안되었음?

[ㅇㅋ(ijh2005)]

터보 쓸일이 없어서 안쓰는데 걔 장기기억 어떰? 진짜 가운데부분 누락심하나?

[익명(59.17)]

논문 나온거도 없음 ㅋㅋ

[익명(219.249)]

ai에서 장기기억은 프롬프트를 까먹는거랑 관련없고 새로운걸 학습시켰을때 기존 지식을 까먹는걸 의미함

[ㅇㅋ(ijh2005)]

프롬프트 누락율이 거의 없어지면 프롬프트로 메모리역할하면 되잖아? rag가 그방식아니었음?

[ㅇㅋ(ijh2005)]

장기적으로는 ai의 참고지식의 정밀통제를 위해 rag형태로 장기기억 처리하는 그림으로 갈거로 생각하는데 아님?

[익명(219.249)]

rag써봤자 파라미터 업데이트가 없으니 참조할 지식만 늘고 모델 지능이 오르진않지 사람으로 치면 오픈북 테스트한다고 머리가 좋아지진 않음

[ㅇㅋ(ijh2005)]

어니지 지식부분은 파라미터 업데이트에 기여하면 안되지 명제논리같은 재귀적논리추론에 대한 처리엿역만 최대한 신경망에 남기면서 지식부분은 rag형태로 관리해야지 지식이란건 쌓여가면서 정리,축약,발전되는 속성때문에 gpt가 관리하게하면 알아서 정리해놓을 일인거고

[ㅇㅋ(ijh2005)]

오픈북테스트하면 성적이 더 좋아지지ㅋㅋ 수능시험칠때 정리노트 펼쳐서 읽게하면 동일문제 대비문제해결력 당연히 올라갈거잖아

[익명(219.249)]

장기기억, 연속학습에서 기대하는건 그런게아님 영원히 gpt4 쓸거도 아니고 어차피 모델은 계속 새로운 향상된 버전을 제공해야할건데 기존 weight 활용이 안되고 rag 지식 트리도 새로 만들어야되면 지속적,연속적 개선이 전혀 안되잖음

[ㅇㅋ(ijh2005)]

당연히 기존 가중치는 rag파인튜닝 할수록 추론영역쪽으로 점점 재구축되겠지 그과정에서 컨텍스트길이 늘릴여지를 추가로 받을수도 있고 ㅇㅇ rag지식트리개선은 gpt가 브라우징하면서 스스로 채워나가야지 ㅇㅇ 그정도는 되잖아? 그럼 그 업데이트되는 지식 기반으로 향상된 모델구조 추론및 적용해낼수있는거고 ㅇㅇ

[익명(219.249)]

모든 지식을 외부 메모리에 의존하는건 load가 너무큼. 걍 비효율적이고 느림. 당장 코드를 짜야되는데 새 라이브러리를 공부해서 쓰지않고 쓸때마다 매번 지식트리를 참조해야되면 성능도 더떨어짐. 당장 gpt4 비판 중 하나가 2023년에 나온 최신 라이브러리는 알려줘도 전혀 활용을 못한다는거임

[익명(219.249)]

컴퓨터로 치면 캐쉬 메모리를 없애버리는셈임

[ㅇㅋ(ijh2005)]

그래서 체계적으로 구조를 구성해야지 도서관분류체계처럼ㅇㅇ 그게 니가말하는 캐쉬메모리 역할하는거고

[ㅇㅋ(ijh2005)]

그리고 시간걸려봤자 얼마나 걸리겠냐 인간보단 수백수천배는 빠를거임 뉴로모픽이랍시고 아예 하드웨어단위로 퍼셉트론구조 적용한게 나오네 마네 하는데 앞으로 획기적으로 속도빨라질 일만 남았지 느려지진 않음

[익명(219.249)]

커스터마이즈랑 직결되는건 아니지만 장기기억은 해결전혀 안되긴했음