가중치 스케일링이랑 ttc 스케일링은 어쨌든 사전학습, 전이학습, 다운스트림 태스크에 파인튜닝이라는 큰 틀 안에서 어떤 하나의 축으로 자원을 더 늘여나가는 방식으로 개선을 시킨거잖음 “산을 오르고 있다”라는 것도 규모를 키운다는 얘기로 생각해서 난 사전학습 > 지도학습 > 강화학습이라는 큰 틀은 지킨 채 세 번째 스케일링 축을 발견한거라고 생각했거든? “기술 자체가 새로운 데이터를 생성하거나(합성데이터), AI가 여러 답을 평가해 최적 결과를 선택하는 방식”도 말만 들어서는 사전학습으로 구축한 모델에 이미 적용하고 있는 기술들같이 들리고..
근데 “사전학습 패러다임이 끝”이라는 얘기를 기준으로 기존 발언을 재고해보니 그런게 아닌거 같음 기존의 파운데이션 모델 구현 방식을 아예 폐기시키는 패러다임 쉬프트를 모색하는 거같아 “인간데이터에 의존하지 않고 말하고 그림그리는 법을 배우는 인공지능 개발의 첫 삽” or “인컨텍스트 러닝으로 학습과 추론이 구분되지 않는, 실시간으로 배워나가는 인공지능” or 둘 다 같은 느낌인데 성공하면 알파고 쇼크랑 지피티 쇼크 받고 더블로 가는 엄청난 사회적 충격을 가져올듯..
애초에 저번에 흘러나온게 "새로운 방법으로 하고 있고 초기단계이며 유망하다" 이런내용이었음
근데 그것만 봐서는 새로운 방식으로 확장하는 것의 초기단계로 해석할 여지도 있었음
합성데이터는 OAI도 언급해서 뭔지 알겠는데 사전학습의 시대가 끝났다는 말은 더 밝혀져야 뚜렷할듯 진짜 사전학습으로 스케일링하는것 자체가 끝났다면 완전 새로운 돌파구를 만들어냈단건데
ㄹㅇ 합성데이터로 사전학습 시키기 and 인공지능이 여러개 답안 생성해서 하나 고르기를 존나 효율적으로 하는 방법 발견 같은 건가라고 막연히 생각했는데 만약 사전학습 스케일링을 초월하는 거면 그런 범부의 수가 아니라는 건데 진짜 궁금함
일단 구글이 보고서로 적은 경험의 시대 읽어보면 너가 써놓은대로 하려는거같긴 한데 될지는 봐야겄제
근데 일리야도 그렇게 생각하는지는 잘 모르겠음 인터뷰가 보통 추상적이고 트윗질도 잘 안하고 결과물도 아직 없어서리
그것도 걍 강화학습무새들인 딥마인드 연구진들 희망사항이라고 생각했는데 일리야 얘기 들어보면 전화기 발명이나 미적분 발견 때처럼 딥마인드랑 ssi가 비슷한 방법을 독자적으로 따로 발견해놓고 입터는건가 싶은 느낌도 듦
사전학습 패러다임은 이제 끝이 맞지 사람으로 치면 사전학습은 DNA 설계하는 부분인거임. 이제는 진정한 강화학습 경험의 시대로 가는거임 물론 DNA 사전학습도 완성된건 아니지만
이 전부터 AI가 더 똑똑해지려면 추론시간을 늘려야한다, 몸을 가져야한다 와 같은 내용을 여기 갤에 퍼지기전에 미리 추측했었던 나의 추측으로는, 이제 일랴뿐만아니라 패러다임은 사람의 시점으로 봤을때 성장에 필요한 친구, 가족, 각 교사등에 해당하는 전문적인 롤과 성능을 가진 모델들을 각 분야의 전문가들이 만들고 그걸 가지고 성장시킬 AI에게 인간사회를 모방한 가상 시뮬레이션세계를 만들어주고 거기서 AI들을 서로 교류시키고 성장시키는거와 같은 시스템 환경 같은것들을 구축하지 않을까 싶음.