[일반] 기억 오래하는 거(장기기억) 어려운 게 컴퓨팅 탓임?

[익명(61.79)]

컴퓨팅 탓이 가장 큼, 아니면 오버스펙이나 과적합되는 탓이 큼?

왜 어려운 거지? 난관아 무엇인 것임

[ㅇㅇ 1(218.54)]

걍 모르는거임. 현재 컨텍스트는 단기기억인데, O(N²) 공식에 따라 1m을 2m으로 늘리면 두배가 아닌 4배의 연산력이 필요함. 이러니 대부분 llm이 단기기억으로도 컨텍스트를 많이 못늘리는거임 장기기억을 위해 여러 방법이 지금 나와있는데, 아직 상용화 될정도의 기술은 아님

[ㅇㅇ 1(218.54)]

단기기억으로 승부볼수있음. 지금 1m를 지원하는 제미나이가 대강 천조에서 백경배 정도 연산량을 늘리면 인간 한명의 기억력을 가질수 있음. 이수치는 내가 계산한것이므로 추정치임 인간기억력 총합 100tb~1PB내라고 가정시

[ㅇㅇ 1(218.54)]

@ㅇㅇ1(218.54) 그리고 트랜스포머 어텐션 구조는 이론상 O(N²)가 맞으나 지금 제미나이 써봤을거 아님? 1m다 활용 못하고 200k정도만 가도 오링 나잖음. 내생각에 컨텍스트 구조가 문제임. 여러가지 병목이 있는데, 내생각에 학습 데이터임. 수천~수만 토큰의 학습데이터가 주류니까 긴 토큰이상에서 병목이 오는거임. 이건 학습 데이터량을 늘리면 해결될 문제같기는 한데... 절대량은 이걸로 못늘리니 두고봐야할듯함. 그래서 제미나이3 토큰이 얼마로 나올지가 좀 궁금함

[익명(61.79)]

@ㅇㅇ1(218.54) 뇌가 매우 대단한 거구나 솔직히 다른 내용은 못알아듣겠음ㅈㅅ

[ㅇㅇ 1(218.54)]

@ㅇㅇ(61.79) 쉽게설명: 지금 방식으로 컴퓨팅 늘려도 해결 어렵다. 새로운 발견이 필요하다

[익명(61.79)]

@ㅇㅇ1(218.54) ㄱㅅ

[익명(115.86)]

아예 원리를 모름

[익명(61.79)]

음 그게 가장 간단한 이유긴 하네 어렵게 생각할 거 없이

[개발용더미(sy1mn1t4y83k)]

이미 장기기억을 흉내내는 장치들은 많이 있는데 그냥 퀄리티가 구린것...

[익명(61.79)]

걍 안되는거구나 과적합 이런 거 전에 구현아 안된다는 소리지?

[냥쓰(kalstein)]

지금은 학습할때 배웠던 weight만 알고있고...거기에다가 stateless로 쿼리합니다. 즉, 고정되어있는 함수라고 보시면 되요. 내가 앞에 했던 얘기 기억하던데? -> 아니요. 기억하는게 아니고 매번 쿼리 날릴때마다 이전에 넣었던 글이 그대로 다시 들어가는겁니다.

[익명(61.79)]

이해가 쏙쏙돼요 ㄱㅅㄱㅅ