실시간 학습
특갤러들은 다 알겠지만 현재의 AI는 학습과 출력이 완전히 분리되어있음
학습이 완료된 llm이 학습이 완료된 상태로 지적으로 고정된 이후에 우리는 사용하고 있음
이는 사실 생체지능을 생각하면 이상한 일임. 인간을 비롯한 어떠한 생명체, 심지어 기초적인 신경삭이 있는 저지능 동물조차 학습과 학습내용의 출력 이런 식으로 진행되지 않음
당장 지금 화제되고 있는 클로드의 포켓몬의 경우에도 클로드가 실시간으로 포켓몬을 하며 얻은 데이터를 스스로 학습하는데 사용했다면 지금처러 이상한 모습이 되지는 않았을 것임
이러한 실시간 학습은 AGI 나아가서는 재귀개선 전에 가장 중요한 기술적 진보가 아닐까 생각함
사실 스스로 자신이 처한 상황을 학습하고 해당 툴에 대해서 이전보다 더 나아졌다면 그 자체로 재귀개선이기도 하고
ㄹㅇ임
장기기억+실시간 학습 필수다
타이탄즈 기다리자
실시간 학습이 아니라 지속학습이라고 하더라고
그게 장기기억이잖아
실시간 학습은 일부러 막아둔걸텐데. 내 정보를 학습해서 다른 사람 응대할 때 사용하면 좆되잖아. 사용자에 맞춰서 학습하라는 건 말이 안 되는거고.
실시간 학습을 그냥 실시간 학습으로 퉁쳤지만, 계속학습, 능동학습, 강화학습 등으로 나뉘는데 현재로서는 모두 기술적으로 불가능함. 원인은 여러가지가 있는데 그 중 하나가 재앙적 망각임.(새로운 내용을 학습시키면 이전 내용을 망각하는 것) 사생활 문제도 물론 있지만 애초에 현재로서는 아예 기술적으로 불가능함.
중요하게 안다뤄지는게 아니라 힘든거지 그게
그리고 continual learning같은 경우는 이미 예전부터 있던 분야임. 비전에서는 활발하게 연구되었고.
빅테크에서 중요하게 다뤄지는건 알고 있음 근데 특갤과 같은 ai커뮤에서는 별로 중요하게 안다뤄져서 말했음
아하 내가 이해를 잘못한듯 ㅈㅅ
개인적으로 agi 말하기 전에 현재 기술레벨에서 다음단계는 실시간 학습 같은데 AGI, 재귀개선만 말이 나오니까 한말임. 꼭 서울에서 부산가는데 대전 지나가는 건 이야기 안하는 느낌이라
catastrophic forgetting 때문이잖아. 하나를 학습하면 다른 걸 다 까먹어버리는데 무슨 실시간 학습이야.
기본적으로 역전파 구조가 실시간 학습에 취약해. 오류를 모든 뉴런에 균등히 분배하는 제도라서 빡세고 균형있게 훈련하는 것만 먹힌다. 근데 역전파는 현재 AI의 근본중의 근본이라 이걸 뛰어넘는 알고리즘은 아직 나오지도 않았다. 실시간 학습을 하려면 기존의 역전파 구조로는 안돼. 혁신이 필요하다. 즉, 시기상조야.
컴퓨팅 감당이 가능한가? 훈련이 추론보다 훨씬 비싼걸로 아는데 파인튜닝 느낌으로 하는건가?