[일반] 장기기억 이야기인데 그냥 대화에 가중치둬서 학습시키는건 어떨까?

[익명(73vywtdmuhv1)]

그냥 대화내용을 학습시키면서 가중치둬서 과적합 걸리게 하면 어떨까?

ms가 학습된거 지우는거 개발해서 발표도 했는데 그거랑 묶어서

[ㅇㅋ(ijh2005)]

뭔소리임 좀더 구체적으로 설명해봐

[익명(73vywtdmuhv1)]

그냥 모델에 기억을 집어 넣는건 어떨까 하는 단순한 개소리야 ㅇㅇ

[ㅇㅋ(ijh2005)]

어... 그러니까 그게 무슨소리냐고 이미 컨텍스트벡터로 기억은 처리되고있잖아 lstm식으로 다시 선회해보잔거임?

[익명(73vywtdmuhv1)]

아니 모델을 학습시키고 머지시켜서 그냥 모델 자체가 기억하게 하는건 어떨까하는 그냥 비전,공자의 망상이라고

[ㅇㅋ(ijh2005)]

모델자체가 기억하게 한다는게 뭔소리여 신경망 말하는거? 아니면 벡터db마냥 신경망으로 기억을 압축시켜보자는거?

[익명(73vywtdmuhv1)]

간단하게 대화내용으로 로라 만들어서 모델 로딩시 로라도 같이 로딩하자고

[ㅇㅋ(ijh2005)]

ㅇㅎ 그게 엄밀히말하면 rag방식의 원목표지

[ㅇㅋ(ijh2005)]

그래서 나는 오픈ai가 rag와 컨텍스트길이로 장기기억 대체하려나보다 생각하고있음

[꿈꾸는세일러(thor2018)]

실시간 학습이 안됨.

[익명(73vywtdmuhv1)]

llm 학습(이라 말하고 파인튜닝) 해본 입장에서 그냥 우리가 하는 대화수준은 금방 됨

[응애(122.153)]

그걸 전국민 대상으로 서비스하긴 빡셀거같은데

[꿈꾸는세일러(thor2018)]

그럼 인공 두뇌를 2개로 나눠서 장기기억과 단기기억 따로 돌리고, 단기기억으로 대화를 기억하고 단기기억에서 특정 조건을 만족하면 장기기억으로 입력으로 넣어서 장기기억에 학습시키면 될듯?

[익명(73vywtdmuhv1)]

그러니깐 나만의 ai 만들어야지 ㅋ 그래서 오픈소스 로컬 llm 발전 응원하고 있음

[익명(175.202)]

그림 ai에서 로라쓰듯이 대화내역을 모델에 추가로 얹는게 있었던거 같은데 로컬이어야 써볼만 할거 같음 머지 따로 할필요없이 로드 했다가 말았다가 할 수 있던걸로 기억함

[익명(73vywtdmuhv1)]

아 구지 머지 안하고 로라로 얹어도 되겠긴 하겠네

[익명(218.147)]

그 가중치를 사람이 정해야 하는데? AGI가 개발 온료된 게 아니니깐. 지금 수준은 AI가 가중치 셀프 선정할 능력이 안됨.