그냥 생각나는대로 쓴거라 개같을수있음
이거 llm으로 구현하기 어렵지 않을 것 같다
뇌는 기억을 뇌 자체를 변화시켜서 넣잖아?
그리고 몇십년이 지나도 그 이야기를 하면 기억이 나고
내가보기엔 이거 지속학습만 구현되면 어렵지 않을 것 같음
잘 모르긴 하는데 내가 알고있는 바론 지속학습이 내용을 자기 가중치에다가 실시간으로 업데이트하잖아
그럼 거의 인간뇌급으로 기억 가능하지 않을까?
Llm에 방대한 정보, 파라미터를 다 때려박아도 아인슈타인을 처음에 넣었다고 오래되서 까먹지 않고 물어보면 잘 알려주잖아
이것처럼 아예 내용을 파라미터에다가 저장하는 식이면
장기기억 자체가 완전히 해결될것같은데
몇십년이 지나도 그 이야기를 하면 기억이 난다. 요것은 점화priming에 대한 이야기인데, 작업기억(단기기억)에 올라온 특정한 자극이 그 자극과 연관되는 개념을 장기기억에서 끌고 작업기억으로 내려오는 거임.
좀 더 익숙하게 이야기하자면 Input 값에 따라서 모델이 가지는 특정(링크의) 가중치가 높아지는 일인데
물론 뿐만 아니라 편향값이 조절되어야 하기도 할 것이고
그러니까 인간은 매순간 bias나 weight가 유기적으로 조절하는 프로세서임 근데 이거 되면 머... 님 말대로 지속학습이 가능하겠지 메모리야 즈그 개인컴에서 땜빵치면 되는거고 가중치하고 편향 조절만 모델이 알아서 할 수 있으면 되니까
bias나 weight가 → bias나 weight를 그리고 그런식으로 전개한다면 어텐션 패러다임에 실시간으로 bias weight에 따라서 가중치랑 bias를 조절하는 패러다임이 추가적으로 필요하겠지 만약 둘이 양립할 수 없다면 아예 새로운 패러다임이 필요할 거고