[일반] 지속학습 해결되면 장기기억은 그냥 해결임

[203847년..(awful6856)]

우리 뇌가 기억하는 방식은 지속학습이랑 똑같음

지속학습 뚫으면 뇌 기억력급 이상의 기억력 구현가능 ㅇㅇ

[ㅇㅇ 1(222.119)]

원리는 존나 간단하지 2만토큰 까지 코드를 짜면 2만 토큰 치의 코드를 압축된 논리적 맥락으로 가중치에 업데이트 하고 그 상태에서 다시 써내려가고 이 것을 무한반복하면 이론상 무한장기기억임

[OpenAl(skirt8272)]

그냥 트랜스포머 구조상 이게 구현이 안되서 그런거 아님? 장기기억이 가중치로 구현된다는건 다 알것 같은데 - dc App

[203847년걸리겠죠(awful6856)]

@OpenAl 곧 해결될듯

[ㅇㅇ 1(222.119)]

@OpenAl 뭔솔 이미 TTT 로 구현했고 구글 리서치 가보면 벤치도 나와있는데

[ㅇㅇ 1(222.119)]

@OpenAl 역전파의 파괴적 망각을 이야기하는거면 이미 극복된지 오래임 다만 이것을 상용서비스로 서빙하는것에 대한 기술적 난해함이 있어서 서비스를 못하는거지

[OpenAl(skirt8272)]

@ㅇㅇ1(222.119) 그래서 결론적으로 서비스는 못하고 있다는거네 ㅇㅅㅇ - dc App