[일반] 현재 지속학습/재귀개선의 병목이 뭐임?

[익명(114.207)]

해결을 위한 유의미한 연구들 이미 나왔음?

이걸 대규모 컴퓨팅 기반으로 실험하고 적용하는 문제가 남은건가?

문과라 감이 안오네..

[행복한천국으로(adjust7431)]

[ㅇㅇ 1(211.185)]

근데 앤드류 응의 말처럼, 언론이나 커뮤에서 알려질 정도가 되면, 이미 실리콘밸리 내부에선 물고 뜯고 씹고 다 하고 남은 부스러기라고 함. 즉, 다른 분야랑 다르게, 대학 조차도 최전선이 아님. 그러니 ㅁㅁ는 돌파구를 찾긴 한건가? -> 모름. 찾았어도 공개 안 할 가능성이 높고, 못 찾아서 공개 안 새어나올 수도 있고. openAI도 프로젝트팀들마다 서로 다른 팀이 정확히 무얼 하는 지는 비밀로 할 정도라는데. 지속학습의 돌파구를 찾았어도 전세계에 그 팀 내부에서만 공유 중일 가능성이 높지.

[ㅇㅇ 2(121.174)]

환각

[ㅇㅇ 3(39.116)]

지속학습의 병목=트랜스포머 그 잡채. 모델이 파라미터를 조정하는게 아니라 모델 자체를 변경할 수 있는 방법을 찾아야되는데 지금 딥러닝 모델들은 그정도 기술이 안됨

[ㅇㅇ 4(175.127)]

지속학습을 한답시고 모델 가중치를 살짝 바꾸면, 모델이 이전에 갖고 있던 능력을 상실하게 되는 '파멸적 망각'이라는 현상이 있음

[야하이잇(dignity123)]

지속 학습: 지속 학습하면 기존에 학습된 내용을 잘 유지 못함. 재귀 개선: 대부분의 task는 뭘 목적 함수로 설정해서 개선이 이루어질지 모호함. 일단 수학, 코딩에 집중하는듯