내가 이렇게 생각하는 이유가 뭐냐 하면 이번에
머스크의 전기에서 공개된걸 보고 놀랬기 때문임
1백만개의 비디오 클립을 학습하기전 까지는 뉴럴넷을
통한 자율주행은 되지 않았지만 이걸 백만개를 넘어
천만개로 학습을 시켰더니
사람이 일일이 주행 방법에 대한 코딩을 하지 않아도
뉴럴넷이 알아서 차가 멈춰야 되는 지점 방지턱 구분
피해야되는 물체등등을 모두 인식하고 주행을 했다는 점이야
이건 언어 모델에서도 파라미터와 데이터를 늘렸더니
여러 능력이 나와서 놀랜걸 신기하게 똑같이 자율주행이라는 물리적 실체가
있는것에 적용 시켰더니 같은 현상이 일어난거임.
즉 스케일링이 법칙에 따라 더 큰 규모의 모델이 나오면 또 다른
능력이 나타날 수 있다는 말임
얘전에 안드레 카파시.가 agi로 가는데 있어 테슬라봇이 역할을
할것이라 했는데 이 말은 실제 현실 세계의 데이터를 존나게 때려박고
모델 규모를 키우고 이걸 돌릴 수 있는 연산력을 확보 한다면
agi로 갈 수 있다는 말로 난 이해가 됐음
난 여러 학습 알고리즘의 지속적 발전과 신경망 규모의 크기와 데이터
이를 돌릴 수 있는 연산력이 확보가 된다면 agi가 올거라고 봄
그런면에서 테슬라가 다른 업체들과 다르게 로봇이나 자율주행에서 얻는
실제 현실 세계의 데이터를 갖고 있다는 점도 강점이라고 보는데
정확한건 아님
일리야 수츠케버는 텍스트만으로도 월드 모델을
구축할 수 있다고 봤으니 여튼 어느 쪽이든 현재의 방향성대로
쭉 밀고 나간다면 agi는 나온다고 봄
다리오 아모데이도 25년쯤에 지금보다 100배가 넘는 비용이 들어간
모델이 나올거라고 했지
그럼 유튜브를 가지고 있는 구글이 유리할지도?
딥마인드가 지속적으로 로봇에 대한 강화학습 기술들을 개발중이고 이를 발표하고 있는데 제미니가 그런면에서 기대되는 부분임
그러면 AGI는 오직 하드웨어 성능에 달린것임.. 즉 우리의 미래는 엔비디아와 암드에 달렷다는것이다..
결국 시간이 답이다
Scale is all you need.
마침 그래픽카드가 필요하긴 한데
SCALE IS ALL YOU NEED
이글 좋다 - dc App
나도 비슷하게 생각하긴 하는데 스케일만 업한다면 agi가 나오긴 하지만 인간을 위한 agi는 오지 않을 수도 있다는 생각
그건 맞는데, 그것도 크게 볼 때 작게 볼 때 로그스케일이라 구린 구조면 백날 천날 데이터, 파라메터만 늘려봐야 더 좋은 구조에 비하면 개 쓰레기임. 요점은 "좋은 알고리즘의 아키텍처 모델의 파라메터와 그의 데이터 수"를 늘려야함. 빛의 속도의 99.9%에까지 다다르는 거 그냥 에너지 열라 쏟아부으면 다 되겠지. 그런데 그걸 그냥 백날 천날 말과 소가 미는 것과 그만큼으로 핵폭탄으로 한번에 미는 것과의 차이가 있음. 즉 동일한 수준의 에너지를 부여한다고 했을 때, 어떤 방식과 과정으로 부여하느냐에 따라 전달 속도의 효율이 달라지는 거지.