알파고의 재귀개선은 바둑같은 규칙과 승패가 명확한 게임이 아니면 성립되기 어려운데 현실세계에서는 어떻게 접근해야 할지 의문이라는거고
llm은 더 많은 데이터와 더 많은 gpu를 투입해서 연관성을 학습하더라도 결국 데이터 내부의 무언가로 수렴할 뿐이지 뛰어넘을 수는 없다는거
작은 크기의 모델로도 높은 성능을 내는건 더 효율적으로 수렴한다는건데 고점에 다다를수록 다들 고만고만해질거고 뛰어넘는건 다른 차원의 문제라고 들은거 같기도
알파고의 재귀개선은 바둑같은 규칙과 승패가 명확한 게임이 아니면 성립되기 어려운데 현실세계에서는 어떻게 접근해야 할지 의문이라는거고
llm은 더 많은 데이터와 더 많은 gpu를 투입해서 연관성을 학습하더라도 결국 데이터 내부의 무언가로 수렴할 뿐이지 뛰어넘을 수는 없다는거
작은 크기의 모델로도 높은 성능을 내는건 더 효율적으로 수렴한다는건데 고점에 다다를수록 다들 고만고만해질거고 뛰어넘는건 다른 차원의 문제라고 들은거 같기도
결국 바둑은 완성된 세계에서 경우의수를 두는것이라 기발한수가 가능한데 새계는 모르는 부분도 많고 복잡하니 안된다는 거아님? 이건 결국 현실세계 데이터 최대한때려 박으면 나오는거 아닌가?
그렇게 되면 좋을듯
데이터의 잠재분포로 수렴 <- 이거 이론상 맞말이긴 한데 한계를 알수가 없음. 예를들어 데이터내 잠재분포로 수렴할 뿐이므로 언어 습득은 힘들거라는 말도 충분히 가능함. 주어진 문서를 학습했을 뿐인데 사용자와 자유로운 대화가 가능하겠음?
하지만 실제로는 문법규칙을 알려주지 않아도 예시 때려박으면 문법을 이해하는 모습을 보여주고 이걸 넘어서 사용자와 자유롭게 대화가 가능함. 이때 사용자의 말은 당연히 학습데이터에 없음에도 불구하고..
ㅇㅇ 고점이 어디까지인지는 아직 모르니까