[일반] gpt-3 수준에 기억력만 붙으면 인공지능 친구 가능한데

[익명(218.238)]

영화 Her 에 나오는 거처럼.

문제가 파라미터가 기억 저장소가 아니라는데 잇는거 같음.

즉 gpt-3 그 존나 파라미터가 많다면서 정작 기억력은 쥐좆인거 보면 파라미터에 기억 내용이 있는게 아닌거란거.

심지어 codex에서도 기억량은 꼴랑 14KB로 gpt-3의 4KB 보다 3배 정도 늘었다곤 해도 역시 쥐좆인건 마찬가지고.

아님 그냥 파라미터가 아직 인간처럼 기억하기엔 존나게 부족해서 지금처럼 기억을 쥐좆 밖에 못하는걸까?

[스월빙(wkd48632)]

ㄴㄴ 맞음 신경 구조에 저장되는 기억(편의상 습관)이 아닌 작업기억은 저장 못하는 거 맞음 그래서 순환 신경망이 필요한거임 - dc App

[스월빙(wkd48632)]

지금은 그냥 데이터 박아놓고 인공지능 적당히 연결해서 쓰고있다 들었는데 근본적인 해결책은 아닌 듯 - dc App

[익명(221.158)]

순환신경망이 뭐임? - dc App

[스월빙(wkd48632)]

신경망 출력을 다시 스스로 입력하는 신경망임 번역쪽에서 많이 쓰인다하더라 - dc App

[익명(49.172)]

순환신경망은 그냥 퇴물임 번역쪽도 gtp모델의 기반이 Transformer가 잡아먹음,그리고 기억력을 가지고 있는 챗봇은 있음 blenderbot2.0계열 찾아보셈 완벽하지는 않은데 기억력을 가지고 있음

[익명(49.172)]

아님 RNN과 transformer은 계열이 다름

[스월빙(wkd48632)]

배워간다 ㄱㅅ 옹졸하게 변명하자면 순환적인 요소가 있어야 기억이 된다 말하고 싶었다. - dc App