지금 xAI에서 우주의 비밀이고 자시고 하는 목표보다도 아래의 목표 하나만 달성하면 됨.
"경사하강법 이외의 로스함수 최적화 새로운 수학의 발견"
일단 이것만 발견하면 300억 3조 파라메터 이 지랄 안하고도 우리집 쓰레기 노트북 한 대에서 10만 몇만 파라메터로 GPT4, 5 개빠르게 학습시키기 가능
특이점은 단지 양자컴퓨터가 먼저 나오냐, 저 새로운 수학이 먼저 나오냐의 경쟁일 뿐이야.
양자컴퓨터가 충분한 성능을 보장하기만 하면 300억 3조 파라메터의 모델을 10만 파라메터로 압축해서 한 큐에 최적화 가능한데(모든 경우의 수 중 가장 최적의 경로를 찾는 것에 특화, 모델 최적화 문제는 양자컴퓨터의 최고 전문임),
양자컴 없이도 일단 현대의 GPU방식 내에서 극강의 새로운 최적화 공식을 먼저 발견한다면 그것만으로도 성능 스케일 양자 도약하듯 도약해버리니
그 전까지 못했던 모든 것들 다 하게 되면서 폭발적으로 특이점이 오겠지
댓글 0