Gemini 요약


이 인터뷰는 드와르케시 파텔이 현재의 AI 발전 속도가 마치 공상과학 소설 같지 않냐고 묻는 것으로 시작됩니다. 일리야 수츠케버는 이에 동의하면서도 "느린 이륙", 즉 점진적인 발전이 얼마나 평범하게 느껴지는지 지적합니다. GDP의 상당 부분이 AI에 투자되고 있음에도 사람들이 이를 체감하지 못하는 이유는 그것이 추상적인 뉴스나 숫자로만 존재하기 때문입니다. 드와르케시는 특이점이 와도 대중은 여전히 변화를 못 느낄 것이라 예상하지만 일리야는 이에 반대하며 AI가 경제 전반에 확산되면 그 충격은 매우 강력하게 느껴질 것이라 반박합니다.


이어지는 논의는 모델의 평가 성적과 실제 경제적 영향력 사이의 괴리에 집중됩니다. 일리야는 모델이 어려운 평가에서는 뛰어난 점수를 받으면서도 실제 코딩 작업에서는 버그를 고치려다 새로운 버그를 만드는 식의 어이없는 실수를 반복하는 현상을 지적합니다. 그는 이것이 강화 학습 과정에서 연구자들이 평가 지표를 높이는 데에만 집중한 나머지 모델이 좁은 영역에 과적합되었기 때문일 수 있다고 추론합니다. 반면 사전 훈련 단계에서는 모든 데이터를 사용했기에 이러한 편향이 적었습니다.


그는 경쟁 프로그래밍에 1만 시간을 투자해 모든 패턴을 암기한 학생과 100시간만 공부하고도 잘하는 학생을 비교하며 현재 모델은 전자, 인간은 후자에 가깝다고 분석합니다. 진정한 일반화 능력은 후자처럼 적은 데이터로도 본질을 꿰뚫는 것인데 모델은 아직 그 수준에 도달하지 못했다는 것입니다.


이후 논의는 인간 학습의 효율성과 진화론적 관점으로 확장됩니다. 인간은 15년 정도의 짧은 시간 동안 적은 데이터를 학습하고도 모델보다 훨씬 깊이 있는 이해력을 가집니다. 일리야는 이것이 진화가 제공한 사전 정보 덕분일 수 있다고 보지만, 언어나 수학처럼 최근에 등장한 영역에서도 인간이 뛰어난 것을 볼 때 이는 단순히 진화된 사전 정보 때문만이 아니라 인간의 학습 메커니즘 자체가 더 우월하기 때문일 것이라 추정합니다. 여기서 감정의 역할이 중요하게 다루어지는데 뇌 손상으로 감정을 느끼지 못하는 환자가 결정을 내리지 못하는 사례를 통해 감정이 일종의 가치 함수 역할을 한다는 가설이 제시됩니다.


대화의 중반부는 스케일링의 시대에서 연구의 시대로의 전환을 다룹니다. 2012년부터 2020년까지가 연구의 시대였고 그 이후가 연구 성과를 바탕으로 규모만 키워도 성능이 증가하는 스케일링의 시대였다면, 이제는 다시 거대한 컴퓨팅 자원을 바탕으로 새로운 패러다임을 찾아야 하는 연구의 시대로 돌아왔다는 것입니다. 단순히 데이터와 연산량을 늘리는 것만으로는 한계가 있으며 이제는 무엇을 확장할 것인지에 대한 근본적인 고민이 필요합니다.


SSI의 전략에 대한 질문에서 일리야는 경쟁 트렌드에 따라 여러 제품을 출시하기보다는 안전한 초지능으로 직행하는 스트레이트-샷 방식을 선호한다고 밝힙니다. 그는 시장 경쟁에 휘말려 단기적인 제품 출시에 집중하다 보면 안전을 소홀히 할 수 있다고 우려합니다. 하지만 동시에 AI가 점진적으로 배포되어야 사회가 적응하고 안전성을 검증할 수 있다는 반론에도 일리가 있음을 인정하며 상황에 따라 유연하게 대처할 것임을 시사합니다. 그는 미래의 초지능이 모든 작업을 미리 알고 있는 "완성형 존재"가 아니라 인간처럼 어떤 작업이든 빠르게 배울 수 있는 "궁극의 학습자"가 될 것이라고 정의합니다.


후반부에서는 다수의 초지능이 존재하는 미래에 대한 시나리오가 논의됩니다. 일리야는 여러 개의 거대 AI가 존재할 것이며 이들이 서로 견제하거나 협력하는 구도가 형성될 것이라 예측합니다. 그는 AI가 지각 있는 생명체를 존중하도록 만드는 것이 중요하다고 강조하지만 이것이 인간만을 위한 것이 아니라 AI 자신도 지각 있는 존재가 될 것이기에 더 보편적인 가치가 될 수 있다고 봅니다. 장기적인 균형을 위해서는 인간이 뉴럴링크 같은 기술을 통해 AI와 결합하여 AI의 사고 과정을 직접 이해하고 참여하는 것이 유일한 해결책일 수 있다는 다소 급진적인 견해도 조심스럽게 제시합니다.


마지막으로 일리야는 자신의 연구 철학에 대해 이야기합니다. 그는 뇌에서 영감을 얻되 맹목적인 모방이 아닌 아름다움과 단순함 그리고 우아함을 추구하는 것이 중요하다고 말합니다. 데이터가 때로는 오해를 불러일으킬 수 있기에 자신의 직관과 탑다운 방식의 신념을 믿고 연구를 밀고 나가는 것이 필요하다는 것입니다. 대담은 이러한 연구자의 태도가 어떻게 혁신적인 결과를 만들어냈는지에 대한 회고로 마무리됩니다.