1ebec223e0dc2bae61abe9ec58c12a3a96c94109c6fe673757c8b9a4



지난달 인터뷰인데 전문은 없는 것 같아 번역기 돌려봤다.


드와케쉬 파텔 00:00:52


첫 번째 질문입니다. 신경과학 배경이 있으신데, 지능에 대해 어떻게 생각하시나요? 구체적으로, 지능이 하나의 상위 수준의 일반적인 추론 회로라고 생각하시나요, 아니면 수천 개의 독립적인 하위 기술과 휴리스틱의 조합이라고 생각하시나요?


데미스 하사비스 00:01:05


흥미로운 점은 지능이 매우 광범위하고 우리가 그것을 사용하는 용도가 매우 일반적으로 적용 가능하다는 것입니다. 이는 뇌가 우리 주변의 세계를 처리하는 방식에는 일부 고수준의 공통적인 것들, 공통적인 알고리즘적 주제가 있어야 함을 시사합니다. 물론 특정 기능을 수행하는 전문화된 뇌 부분들도 있지만, 이 모든 것을 뒷받침하는 몇 가지 기본 원리가 있을 것이라고 생각합니다.


드와케쉬 파텔 00:01:37


그렇죠. 그런데 이러한 LLM에서, 특정 도메인에 많은 데이터를 제공하면 해당 도메인에서 비대칭적으로 더 좋아지는 경향이 있다는 사실을 어떻게 이해하시나요? 우리는 모든 다른 영역에서 일반적인 개선을 기대하지 않을까요?


데미스 하사비스 00:01:51


먼저, 특정 도메인이 개선되면 다른 도메인에서도 놀라운 개선이 때때로 실제로 일어난다고 생각합니다. 예를 들어, 이러한 대형 모델이 코딩 능력이 향상되면 일반적인 추론 능력도 실제로 향상될 수 있습니다. 따라서 어느 정도 전이가 일어난다는 증거가 있습니다. 또한 인간의 뇌도 그렇게 학습합니다. 체스나 창의적인 글쓰기 등을 많이 경험하고 연습하면, 우리는 일반적인 학습 기술과 일반적인 학습 시스템을 사용하여 해당 영역에서 전문화되고 더 나아지는 경향이 있습니다.


드와케쉬 파텔 00:02:31


네. 이런 종류의 전이 중에서 가장 놀라웠던 사례는 무엇인가요? 언어와 코드 또는 이미지와 텍스트 같은 건가요?


데미스 하사비스 00:02:37


네, 아마도 그럴 겁니다. 저는 앞으로 이런 연쇄 전이를 훨씬 더 많이 보게 되기를 희망하지만, 코딩과 수학 능력이 향상되면서 일반적인 추론 능력도 향상되는 것 같아요. 이것이 우리 인간 학습자에게 작용하는 방식이죠. 하지만 이러한 인공 시스템에서도 그런 모습을 보는 것이 흥미롭습니다.


드와케쉬 파텔 00:02:55


그리고 언어와 코드의 예에서, 신경망의 어느 부분이 언어와 코드 모두에서 향상되고 있는지 기계적인 방식으로 볼 수 있나요? 아니면 너무 세부적인가요?


데미스 하사비스 00:03:07


네, 우리의 분석 기술이 아직 그것에 집중할 만큼 정교하지는 않다고 생각합니다. 이러한 시스템이 구축하는 표현에 대한 기계론적 분석이 훨씬 더 많은 연구가 필요한 영역 중 하나라고 생각합니다. 저는 때때로 이를 가상 뇌 분석이라고 부르곤 합니다. 어떤 면에서는 실제 뇌에 fMRI나 단일 세포 기록을 하는 것과 비슷합니다. 우리가 현재 구축하고 있는 이러한 인공 마음을 위한 유사한 분석 기술은 무엇일까요? 이에 대해 많은 훌륭한 연구가 진행 중입니다. 크리스 올라와 같은 사람들, 저는 그의 연구를 정말 좋아합니다. 그리고 많은 계산 신경과학 기술들이 이러한 현재 시스템 분석에 활용될 수 있다고 생각합니다. 사실 저는 제 계산 신경과학자 친구들에게 그 방향으로 생각하기 시작하고 그들의 노하우를 대형 모델에 적용하도록 격려하려고 합니다.


드와케쉬 파텔 00:03:58


네. 신경과학 배경이 있는 당신이 인간 지능에 대해 어떤 통찰력을 가지고 있는데, 다른 AI 연구자들은 이해하지 못하는 것이 있나요?


데미스 하사비스 00:04:06


신경과학은 많은 것을 보탰다고 생각합니다. 적어도 우리가 연구해온 지난 10-20년을 보면, 제가 이에 대해 생각해온 것은 30년 이상입니다. AI의 새로운 물결 초기에는 신경과학이 많은 흥미로운 방향성 단서를 제공했다고 생각합니다. 예를 들면 강화학습과 심층학습을 결합하는 것, 우리가 그 분야에서 선구적인 연구를 수행한 것들, 경험 재현 같은 것들, 심지어 주의력 개념조차도 매우 중요해졌죠. 이러한 원래의 영감 대부분은 뇌가 어떻게 작동하는지에 대한 일부 이해에서 비롯됩니다. 물론 정확한 세부 사항은 아닙니다. 하나는 설계된 시스템이고 다른 하나는 자연 시스템입니다. 그래서 특정 알고리즘의 일대일 매핑이 중요한 게 아니라, 영감을 주는 방향성이나 아키텍처 또는 알고리즘적 아이디어나 표현적 아이디어에 대한 몇 가지 생각들이 더 중요합니다. 그리고 뇌는 일반 지능이 가능하다는 것을 실존적으로 증명하기 때문에, 저는 인간의 노력의 역사가 일단 무언가가 가능하다는 것을 알게 되면, 그 방향으로 더 열심히 밀어붙이기가 쉬워진다고 생각합니다. 그것이 노력의 문제이지, 가능 여부의 문제가 아니기 때문이죠. 그리고 그것은 당신이 훨씬 더 빨리 진전을 이룰 수 있게 해준다고 생각합니다. 그래서 신경과학은 적어도 소프트한 방식으로 오늘날 우리가 있는 곳에 대한 사고의 많은 부분에 영감을 주었다고 생각합니다. 하지만 앞으로 나아가기 위해서는, 계획에 관해 해결해야 할 많은 흥미로운 것들이 여전히 있다고 생각합니다. 그리고 뇌는 어떻게 올바른 세계 모델을 구성하나요? 예를 들어, 저는 뇌가 상상력을 사용하는 방법을 연구했는데, 이는 정신적 시뮬레이션이라고 생각할 수 있습니다. 그래서 우리는 더 나은 계획을 세우기 위해 어떻게 세상에 대한 매우 풍부한 시각-공간적 시뮬레이션을 만들어내는 걸까요?


데미스 하사비스 00:05:56


네, 실제로 그것이 LLM과 어떻게 연계될지 궁금합니다. 분명히 DeepMind는 AlphaZero 등의 시스템으로 여러 해 동안 최전선에 있었는데, 이러한 에이전트들은 목표에 도달하기 위해 다양한 단계를 생각해볼 수 있죠. LLM 위에 이런 종류의 트리 검색을 올릴 수 있는 길이 있을까요? 이에 대해 어떻게 생각하시나요?


데미스 하사비스 00:06:15


제 의견으로는 그것이 매우 유망한 방향이라고 생각합니다. 우리는 거대 모델을 계속 개선해야 하고, 그것들을 점점 더 정확한 세계 예측기로 만들어 가야 합니다. 사실상, 그것들을 점점 더 신뢰할 수 있는 세계 모델로 만드는 것이죠. 그것은 AGI 시스템의 분명히 필요한 구성 요소이지만, 충분한 조건은 아닐 것입니다. 그리고 그 위에, 우리는 AlphaZero와 같은 계획 메커니즘을 연구하고 있는데, 이는 세계에서 특정 목표를 달성하기 위한 구체적인 계획을 세우기 위해 그 모델을 활용하고, 어쩌면 사고를 연결하거나 추론의 흐름을 연결하며, 검색을 사용하여 방대한 가능성의 공간을 탐색하는 것입니다. 저는 이것이 현재 우리의 거대 모델에서 누락된 부분이라고 생각합니다.


드와케쉬 파텔 00:07:01


이러한 접근 방식이 필요로 하는 엄청난 양의 계산을 어떻게 극복할 수 있을까요? AlphaGo 시스템조차도 트리의 각 노드에서 LLM을 실행해야 했기 때문에 상당히 비용이 많이 드는 시스템이었죠. 이를 어떻게 더 효율적으로 만들 수 있을까요?


데미스 하사비스 00:07:18


음, 한 가지는 무어의 법칙이 도움이 된다는 것입니다. 매년 더 많은 계산 능력이 도입되고 있지만, 우리는 효율적이고 샘플 효율적인 방법과 기존 데이터의 재사용에 많은 초점을 맞추고 있습니다. 경험 재현과 같은 것들, 그리고 더 효율적인 방법을 모색하는 것에도 주력하고 있죠. 세계 모델이 좋을수록 검색이 더 효율적일 수 있습니다. 제가 바둑, 체스 등 모든 게임을 하는 AlphaGo 시스템을 예로 들면, 그것은 이 모든 게임에서 인간 세계 챔피언 수준보다 더 강력하지만 체스를 두기 위해 Deep Blue와 같은 무차별 탐색 방법보다 훨씬 적은 검색을 사용합니다. Deep Blue나 stockfish와 같은 전통적인 시스템은 다음에 어떤 수를 둘지 결정할 때마다 수백만 개의 가능한 수를 살펴볼 수도 있습니다. 반면 AlphaGo는 다음 수를 결정하기 위해 수만 개의 가능한 포지션만 살펴보았죠. 그러나 인간 그랜드마스터나 세계 챔피언은 다음에 둘 매우 훌륭한 수를 결정하기 위해 아마 수백 개의 수만 살펴볼 것입니다. 이는 무차별 탐색 시스템이 게임에 대한 휴리스틱 외에는 실제 모델이 없다는 것을 보여줍니다. AlphaGo는 꽤 괜찮은 모델을 가지고 있지만, 최고의 인간 선수들은 바둑이나 체스에 대해 훨씬 더 풍부하고 정확한 모델을 가지고 있습니다. 그래서 그들은 매우 적은 검색으로 세계 수준의 결정을 내릴 수 있는 것이죠. 그래서 저는 그 사이에 일종의 상충 관계가 있다고 생각합니다. 모델을 개선하면 검색이 더 효율적이 될 수 있고 따라서 검색으로 더 멀리 갈 수 있습니다.


드와케쉬 파텔 00:09:00


네, 그에 대해 두 가지 질문이 있습니다. 첫째, AlphaGo는 결국 이 바둑 게임에서 이기느냐 마느냐라는 매우 구체적인 승리 조건을 가지고 있었죠. 그리고 그것에 대해 강화할 수 있습니다. LLM이 생각을 내놓을 때, 그것이 좋은 것인지 보상할 만한 것인지를 판별하는 능력이 있을 거라고 생각하시나요?


데미스 하사비스 00:09:19


물론, 그것이 우리가 DeepMind가 검증 기반으로 게임을 사용하는 것으로 유명해진 이유이며, 부분적으로는 그 영역에서 연구하는 것이 효율적이기 때문입니다. 하지만 다른 이유는 대부분의 게임에 내장된 게임에서 승리하거나 점수를 향상시키는 것과 같은 보상 함수를 지정하는 것이 매우 쉽기 때문이죠. 이것이 실제 시스템의 과제 중 하나인데, 올바른 목적 함수, 올바른 보상 함수, 올바른 목표를 어떻게 정의하고, 일반적인 방식으로 명시하지만 시스템을 올바른 방향으로 이끌 만큼 구체적인지를 정의하는 것입니다. 그리고 실제 문제의 경우 그것은 훨씬 더 어려울 수 있죠. 하지만 사실 과학적 문제에서조차도 여러분이 추구하는 목표를 지정할 수 있는 방법이 보통 있습니다.


드와케쉬 파텔 00:10:07


그리고 인간의 지능에 대해 생각할 때, 방금 말씀하신 것처럼 이러한 생각에 대해 생각하는 인간들은 매우 샘플 효율적이에요. 아인슈타인이 상대성 이론을 생각해냈을 때 말이죠? 방정식의 수천 가지 순열 조합이 있을 뿐인데요. 그것도 이런 식의 다른 휴리스틱의 감각이라고 생각하시나요? "이 접근법 대신 이것을 시도해 볼 거야." 아니면 AlphaGo가 다음 수를 계획하는 것과는 전혀 다른 방식으로 해법에 접근하는 건가요?


데미스 하사비스 00:10:29


글쎄요, 저는 그것이 다르다고 생각합니다. 우리의 뇌는 몬테카를로 트리 검색을 하도록 만들어지지 않았거든요. 그냥 우리의 유기적인 뇌가 작동하는 방식이 아닙니다. 그래서 저는 그것을 보완하기 위해 아인슈타인 같은 사람들은 그들의 직관을 사용했고, 우리는 직관이 무엇인지에 대해 이야기할 수 있겠지만, 그들은 일종의 지식과 경험을 사용하여 아인슈타인의 경우 이러한 정신적 시뮬레이션을 포함하여 물리학에 대한 매우 정확한 모델을 구축했다고 생각합니다. 제가 아인슈타인이 어떻게 그런 것들을 생각해냈는지에 대해 읽어보면, 그는 이러한 물리적 시스템이 어떨지 시각화하고 실제로 어떤 느낌일지를 상상했는데, 그냥 수학뿐만 아니라 현실에서 그것들이 어떨지에 대한 매우 직관적인 느낌을 가졌다고 합니다. 그리고 그것이 그로 하여금 당시에는 매우 기이한 생각을 할 수 있게 해주었죠. 그래서 저는 그것이 우리가 구축하고 있는 세계 모델의 정교함이라고 생각하는데, 만약 여러분의 세계 모델이 여러분이 검색하고 있는 트리에서 특정 노드까지 갈 수 있게 해준다면, 그리고 나서 그 노드, 그 잎 노드 주위에서 약간의 검색만 하면 이러한 독창적인 장소에 도달할 수 있습니다. 하지만 분명히 그 모델에 대한 여러분의 판단이 매우 매우 좋다면 검색으로 어떤 잎 노드를 확장해야 할지를 훨씬 더 정확하게 선택할 수 있겠죠. 그래서 전반적으로 훨씬 적은 검색을 하게 됩니다. 어떤 인간도 그 어떤 중요한 공간에 대해서도 일종의 무차별 검색을 할 수 있는 방법은 없습니다.


드와케쉬 파텔 00:11:54


네. 지금 큰 열린 질문은 RL이 이 모델들이 데이터 병목 현상을 극복하기 위해 셀프 플레이 합성 데이터를 사용할 수 있게 해줄 것인가 하는 점입니다. 그에 대해 낙관적이신 것 같네요.


데미스 하사비스 00:12:04


네, 저는 그것에 대해 매우 낙관적입니다. 음, 우선 아직 사용할 수 있는 데이터가 훨씬 더 많다고 생각하는데, 특히 다중 모드와 비디오 같은 것들을 보면 말이죠. 그리고 분명히 사회는 계속해서 더 많은 데이터를 추가하고 있습니다. 하지만 저는 합성 데이터를 만드는 것에 많은 여지가 있다고 생각합니다. 우리는 부분적으로 시뮬레이션을 통해, 예를 들어 매우 사실적인 게임 환경을 사용하여 현실적인 데이터를 생성하는 등 여러 가지 방법으로 그것을 연구하고 있지만, 셀프 플레이도 마찬가지입니다. 그래서 그것은 시스템들이 서로 상호작용하거나 대화하는 곳인데, AlphaGo와 AlphaZero에서 우리에게 매우 잘 작동했습니다. 우리는 시스템들이 서로 대결하게 하고 실제로 서로의 실수에서 배우고 그런 식으로 지식 기반을 구축하게 했죠. 그리고 저는 그것에 대해 몇 가지 좋은 유추가 있다고 생각합니다. 일반적인 세계를 구축하려면 조금 더 복잡하지만 말이에요.


드와케쉬 파텔 00:12:58


데이터에 관해서, 이 모델들이 셀프 플레이로 출력하는 합성 데이터가 그들이 이미 데이터셋에 갖고 있는 것의 단순 반복이 아니라 이전에 보지 못한 무언가가 되는, 실제로 능력을 향상시키는 지점까지 어떻게 도달할 수 있을까요?


데미스 하사비스 00:13:12


네. 그래서 저는 데이터 큐레이션과 데이터 분석에 대한 전체 과학이 필요하다고 생각하고, 우리는 아직 초기 단계에 있다고 봅니다. 데이터 분포에서 빈 곳을 실제로 분석하는 것이 바로 그것인데, 이는 공정성과 편향성 등을 위해 중요합니다. 시스템에서 그것을 제거하는 것은 여러분이 학습하려는 분포를 데이터 세트가 잘 나타내도록 하는 것입니다. 거기에는 데이터의 특정 부분에 과대 가중치를 주거나 반복하는 것과 같은 많은 트릭이 있습니다. 또는 데이터 세트의 빈 곳을 발견하면 그 부분에 합성 생성 능력을 활용할 수도 있겠죠.


드와케쉬 파텔 00:13:47


네. 요즘 사람들은 DeepMind가 여러 해 전에 했던 RL 관련 연구에 주목하고 있습니다. 초기 연구 방향이나 과거에 이뤄졌지만 사람들이 주목하지 않았던 것 중에서 앞으로 큰 일이 될 거라고 생각하시는 게 있나요?


데미스 하사비스 00:14:02


그렇죠?


드와케쉬 파텔 00:14:03


사람들이 스케일링에 주목하지 않았던 때가 있었죠. 지금은 어떤 것이 완전히 저평가되고 있나요?


데미스 하사비스 00:14:07


글쎄요, 사실 지난 20여 년의 역사를 보면 여러 가지가 유행을 타고 사라졌다고 생각합니다. 그리고 한 5년 좀 넘게 전, 우리가 AlphaGo로 선구적인 일을 하고 있을 때, 그 이전에는 DQN이 있었는데 그것은 아타리에서 작동하는 최초의 시스템이었죠. 10년 넘게 전 일입니다. 그것은 Q 학습과 강화 학습 기법을 확장해서 딥러닝과 결합하여 심층 강화 학습을 만들고, 그것을 이용해 아타리 게임을 픽셀만으로 플레이하는 것과 같은 꽤 복잡한 작업을 완료하고 숙달하는 데까지 확장했죠. 저는 그런 아이디어들 중 많은 부분이 다시 돌아올 필요가 있다고 생각합니다. 그리고 앞서 이야기했듯이 대형 모델과 대형 멀티모달 모델의 새로운 발전과 결합하는 것 또한 분명 매우 흥미롭습니다. 그래서 저는 그런 오래된 아이디어 중 일부를 새로운 것들과 결합하는 데 많은 잠재력이 있다고 생각합니다.


드와케쉬 파텔 00:15:00


AGI가 결국 순수한 RL 접근법에서 나올 가능성이 있을까요? 우리가 이야기하는 방식으로 보면 LLM이 올바른 사전 지식을 형성하고 그 위에 일종의 트리 탐색이 이뤄질 것 같은데요. 아니면 완전히 그것에서 벗어날 가능성도 있나요?


데미스 하사비스 00:15:15


이론적으로는 완전한 알파제로 방식으로 갈 수 없다고 볼 이유가 없다고 생각합니다. Google과 DeepMind, 그리고 RL 커뮤니티에는 그런 식으로 연구하는 사람들이 있죠. 완전히 사전 지식이나 데이터를 가정하지 않고 모든 지식을 처음부터 구축하는 거죠. 그리고 저는 그것이 가치 있다고 생각합니다. 물론 그런 아이디어와 알고리즘은 어느 정도 지식이 있을 때도 작동해야 하니까요. 하지만 그렇다고 해도 아마도 AGI에 도달하는 가장 빠른 방법이자 가장 그럴듯한 방법은 웹 같은 곳에 현재 존재하는 모든 지식을 활용하는 것이라고 봅니다. 우리는 그 모든 정보를 수집할 수 있는 트랜스포머와 같은 확장 가능한 알고리즘을 갖고 있죠. 그리고 저는 일종의 사전 지식으로 모델을 시작하고 그것을 기반으로 학습을 돕는 예측을 하는 것이 왜 안 되겠어요. 그것을 활용하지 않는 건 말이 안 된다고 생각합니다. 그래서 제 생각에는 최종 AGI 시스템은 이런 대형 멀티모달 모델을 전체 솔루션의 일부로 갖게 되겠지만 그것만으로는 충분하지 않을 거예요. 거기에 추가로 계획 수립과 검색이 필요할 겁니다.



드와케쉬 파텔 00:16:31


알겠습니다. 제가 드리려는 질문에 대한 답변 같네요. 오랫동안 이 분야에 계셨고 다양한 트렌드의 변화를 지켜보셨는데, 스케일링 가설의 강력한 버전이 맞다고 생각하시나요? 그리고 그것이 잘못 짚은 부분은 무엇일까요? 충분한 계산력을 충분히 넓은 데이터 분포에 투입하면 지능이 생긴다는 아이디어 말입니다.


데미스 하사비스 00:16:47


네. 제 생각에 이것은 지금 경험적인 문제입니다. 처음 스케일링 가설을 연구한 사람들을 포함해 거의 모든 사람에게 그것이 얼마나 멀리 왔는지 꽤 놀라운 일이었다고 봅니다. 어떤 면에서 저는 오늘날의 대형 모델들을 보면서 그것들이 거의 불합리할 정도로 효과적이라고 생각합니다. 제 의견으로는 개념, 추상화 같은 속성들이 나타나는 것이 꽤 놀랍습니다. 5년 이상 전에 이야기했다면 아마 그렇게 하기 위해서는 추가적인 알고리즘적 돌파구가 필요할 거라고 말했을 것 같아요. 뇌가 작동하는 방식과 더 비슷하게 말이죠. 명시적인 추상 개념, 깔끔한 개념을 원한다면 여전히 그렇다고 생각하지만, 이 시스템들이 그것을 암묵적으로 학습할 수 있는 것 같습니다. 또 다른 정말 흥미롭고 예상치 못한 점은 이 시스템들이 일종의 현실감각(grounding) 가지고 있다는 것인데, 비록 그들이 멀티모달로 세상을 경험하지는 않지만, 적어도 최근에 멀티모달 모델이 나오기 전까지는 그랬죠. 그리고 언어만으로 구축할 수 있는 정보와 모델의 양이 놀랍습니다. 저는 왜 그런지에 대해 몇 가지 가설이 있습니다. RLHF 피드백 시스템을 통해 우리가 일종의 현실감각을 얻는다고 생각하는데, 분명히 인간 평가자들은 현실감각이 있는 사람들이기 때문이죠. 우리는 현실에 바로 맞닿아 있습니다. 그래서 우리의 피드백도 현실감각이 있습니다. 아마도 거기에서 어떤 현실감각이 들어오고 있는 것 같아요. 그리고 언어가 우리가 생각했던 것보다, 또는 언어학자들이 이전에 생각했던 것보다 더 많은 현실감각을 포함하고 있을 수도 있습니다. 그래서 사실 아직 사람들이 제대로 파고들지 않은 매우 흥미로운 철학적 질문들이 있습니다. 이루어진 발전을 보면 앞으로 어디로 갈지 생각해보는 것이 꽤 흥미롭습니다. 하지만 대형 모델에 대한 질문과 관련해서는 우리가 스케일링을 최대한 밀어붙여야 한다고 생각하고, 우리가 여기서 하고 있는 일이 그것입니다. 그것이 점근선이나 벽에 부딪힐 것인지는 경험적 문제이고, 이에 대해 의견이 다른 사람들이 있습니다. 하지만 사실 우리는 그냥 시험해봐야 한다고 생각합니다. 아무도 모른다고 봅니다. 하지만 그 사이에 우리는 혁신과 발명에도 박차를 가해야 합니다. 이것은 구글 리서치, 딥마인드, 구글 브레인이 지난 10년 동안 많은 것들을 개척해 온 것입니다. 그것은 우리의 주요 업무입니다. 우리 노력의 절반은 스케일링과 관련되어 있고, 나머지 절반은 점점 더 커지는 모델이 오고 있음을 알면서 다음에 필요할 아키텍처와 알고리즘을 발명하는 것과 관련되어 있습니다. 지금 제 생각으로는 두 가지 모두 필요할 것 같습니다. 하지만 두 가지 모두 최대한 밀어붙여야 한다고 봅니다. 그리고 우리는 그렇게 할 수 있는 운 좋은 위치에 있습니다.


드와케쉬 파텔 00:19:27


네. 현실감각에 대해 더 여쭤보고 싶습니다. 현실감각을 더 어렵게 만들 수 있는 두 가지 변화를 상상해볼 수 있습니다. 하나는 이 모델들이 더 똑똑해짐에 따라 우리가 충분히 많은 인간 레이블을 생성할 수 없는 영역에서 작동할 수 있게 된다는 것입니다. 우리가 충분히 똑똑하지 않기 때문이죠. 예를 들어 모델이 백만 줄짜리 풀 리퀘스트를 한다면 우리가 어떻게 이것이 우리의 도덕성과 원하는 최종 목표의 제약 조건 내에 있는지 아닌지를 알려줄 수 있을까요? 다른 하나는 지금까지 우리가 해온 것이 다음 토큰 예측이었는데, 어떤 면에서는 가드레일 역할을 한다는 것입니다. 인간처럼 말하고 인간처럼 생각해야 하기 때문이죠. 이제 추가 계산이 목표에 도달하기만 하면 되는 강화학습 형태로 이뤄진다면 어떻게 거기에 도달했는지 추적할 수 없습니다. 이 두 가지가 결합되면 현실감각이 사라질까 봐 얼마나 걱정되시나요?


데미스 하사비스 00:20:12


음, 제대로 현실감각이 탑재되지 않으면 시스템이 그러한 목표를 제대로 달성할 수 없을 것이라고 생각합니다. 어떤 의미에서는 실제 세계에서 목표를 달성하기 위해서는 현실감각 또는 적어도 그 일부가 있어야 합니다. 저는 실제로 Gemini와 같은 이러한 시스템들이 점점 더 멀티모달해지고 우리가 텍스트 데이터뿐만 아니라 동영상과 시청각 데이터 같은 것들을 수집하기 시작하면서 시스템이 그러한 것들을 서로 연관시키기 시작한다고 생각합니다. 저는 그것이 일종의 적절한 현실감각이라고 생각합니다. 우리 시스템들이 실제 세계의 물리학을 더 잘 이해하기 시작할 거라고 봅니다.


그러면 그것의 능동적 버전은 매우 사실적인 시뮬레이션이나 게임 환경에 있는 것으로 상상할 수 있는데, 거기서는 여러분의 행동이 세계에 어떤 영향을 미치는지, 그것이 세계 자체에 어떤 영향을 미치는지 뿐만 아니라 여러분이 얻게 될 다음 학습 에피소드에 어떤 영향을 미치는지 배우기 시작합니다. 우리가 항상 연구해 왔고 개척해 온 AlphaZero나 AlphaGo와 같은 이러한 RL 에이전트들은 실제로 능동적 학습자들입니다. 그들이 다음에 무엇을 할지 결정하는 것은 그들이 얻게 될 다음 학습 데이터나 경험에 영향을 미칩니다. 그래서 이런 매우 흥미로운 일종의 피드백 루프가 있습니다.


그리고 물론 우리가 로보틱스와 같은 분야에서 잘하고 싶다면 실제 세계에서 어떻게 행동해야 하는지 이해해야 할 것입니다.


드와케쉬 파텔 00:21:35


네. 능력이 발전할 수 있을지 여부, 우리가 원하는 일을 할 수 있을 만큼 현실과 충분히 연결될지 여부에 대한 현실감각이 있습니다. 그리고 운이 좋다면 그들이 인간의 사고에 대해 훈련했기 때문에 인간처럼 생각할 수도 있다는 점에서 또 다른 현실감각이 있습니다. 훈련을 위한 계산의 더 많은 부분이 인간처럼 다음 토큰을 진행하는 것이 아니라 단순히 올바른 결과를 얻었는지에 의해 결정될 때 이것이 어느 정도 사실일까요? 제가 드리고 싶은 더 넓은 질문은, 이것은 제가 Shane에게도 물어본 것인데요, 인간보다 더 똑똑하고 이해할 수 없는 개념으로 생각하는 시스템을 정렬시키려면 무엇이 필요할까요? 백만 줄의 풀 리퀘스트 전체를 이해할 수 없기 때문에 모니터링할 수 없고 레이블을 줄 수도 없는 상황 말입니다.


데미스 하사비스 00:22:13


보세요, 이것은 Shane과 저, 그리고 여기 있는 많은 사람들이 DeepMind를 시작하기 전부터 우리 마음 앞에 두고 있던 것입니다. 우리는 성공을 위해 미친 듯이 계획했거든요. 2010년에는 아무도 AI에 대해 생각하지 않았고 AGI는 더더욱 아니었죠. 하지만 우리는 이미 이러한 시스템과 아이디어로 진전을 이룰 수 있다면 창조될 기술이 믿을 수 없을 정도로 혁신적일 것이라는 걸 알고 있었습니다. 그래서 우리는 이미 20년 전부터 그것의 결과가 긍정적이고 부정적일 수 있다는 걸 생각하고 있었습니다. 물론 긍정적인 방향은 놀라운 과학, AlphaFold 같은 것들, 건강과 과학, 수학, 과학적 발견에서의 엄청난 돌파구입니다. 하지만 또한 우리는 이러한 시스템들이 이해 가능하고 통제 가능하도록 해야 합니다.


그리고 저는 여러 가지가 있다고 생각하는데, 이는 그 자체로 하나의 큰 토론거리가 될 것입니다. 하지만 훨씬 더 엄격한 평가 시스템부터 시작해서 많은 아이디어들이 있습니다. 저는 시스템이 우리를 속일 수 있는지, 자신의 코드를 유출할 수 있는지와 같은 바람직하지 않은 행동들에 대해 우리에게 충분히 좋은 평가와 벤치마크가 없다고 생각합니다. 그리고 실제로 AI, 아마도 좁은 AI들, 일반 학습 AI가 아니라 특정 영역에 특화된 시스템들을 사용해서 우리 인간 과학자들이 더 일반적인 시스템이 하고 있는 일을 분석하고 요약하는 것을 돕는 아이디어들이 있습니다. 일종의 좁은 AI 도구들이죠.


저는 사이버 보안 조치로 강화된 샌드박스나 시뮬레이션을 만드는 데 많은 가능성이 있다고 생각하는데, AI를 안에 두기 위해서일 뿐만 아니라 해커들을 밖에 두기 위한 사이버 보안으로서도 말이죠. 그러면 그 샌드박스 도메인 내에서 훨씬 더 자유롭게 실험할 수 있을 겁니다. 그리고 이런 아이디어들을 포함해 다른 많은 것들이 있는데요, 앞서 이야기했던 분석 작업도 그 중 하나입니다. 우리가 이 시스템이 구축하고 있는 개념이 무엇인지, 표현이 무엇인지 분석하고 이해할 수 있다면, 어쩌면 그것들이 우리에게 그렇게 낯설지 않을 수 있고 우리는 실제로 그것이 구축하고 있는 지식을 추적할 수 있을 겁니다.


드와케쉬 파텔 00:24:13


네. 조금 뒤로 물러서서 생각해보면, 당신의 타임라인이 어떤지 궁금합니다. Shane은 자신의 모달 결과가 2028년이라고 말했습니다. 저는 그것이 아마도 그의 중앙값일 거라고 생각합니다. 당신의 것은 어떤가요?


데미스 하사비스 00:24:21


네, 저는 거기에 대해 구체적인 숫자를 정해두지는 않았습니다. 너무나 많은 미지수와 불확실성이 있고, 인간의 창의성과 노력이 항상 놀라움을 선사하기 때문이죠. 그래서 그것이 타임라인을 의미 있게 움직일 수 있습니다. 하지만 우리가 2010년에 DeepMind를 시작했을 때 그것을 20년 프로젝트로 생각했다는 말은 하고 싶네요. 그리고 사실 우리는 정상 궤도에 있는데, 이는 20년 프로젝트치고는 놀라운 일입니다. 보통 그런 프로젝트들은 항상 20년 뒤에나 실현되니까요. 그래서 양자 AI든 뭐든 원하는 대로 골라잡으라는 농담이 있는 거죠. 하지만 저는 우리가 정상 궤도에 있다고 봅니다. 그래서 다음 10년 안에 AGI 같은 시스템을 갖게 되어도 놀라지 않을 것 같습니다.


드와케쉬 파텔 00:25:02


그리고 AGI가 있으면 기본적으로 AI 연구를 더 빠르게 하는 시스템이 있다는 모델을 받아들이시나요? 하룻밤 사이에 그런 일이 일어나지는 않겠지만, 몇 달 혹은 몇 년에 걸쳐 그렇지 않았을 때보다 훨씬 더 빠른 진전을 이룰 수 있을 것 같습니다.


데미스 하사비스 00:25:12


저는 그것이 잠재적으로 가능하다고 생각합니다. 그것은 부분적으로 우리가 무엇을 결정하느냐에 달려 있다고 봅니다. 우리 사회가 첫 번째 초기 AGI 시스템이나 심지어 프로토-AGI 시스템을 어디에 사용할지 결정하는 거죠. 현재의 LLM들조차도 코딩에 꽤 능숙해 보이고, AlphaCode 같은 시스템들도 있습니다. 우리는 또한 정리 증명 시스템들도 갖고 있죠. 그래서 이러한 아이디어들을 결합하여 훨씬 더 좋게 만들 수 있을 것 같아요. 그리고 저는 이러한 시스템들이 미래 버전의 자신을 설계하고 구축하는 데 꽤 능숙할 거라고 상상할 수 있지만, 물론 그에 따른 안전 문제도 생각해야 합니다.


드와케쉬 파텔 00:25:51


그것에 대해 어떻게 생각하시는지 궁금합니다. 올해 당장 그런 일이 일어난다는 게 아니라, 언젠가는 모델을 개발하는 과정에서 일단 완전히 개발되면 intelligence explosion 같은 역학을 할 수 있을 거라고 어느 정도 생각하게 될 겁니다. 그 시점에서 그 모델에 대해 어떤 것이 사실이어야 할까요? "이런 특정 평가들을 봤고, 내부 사고 방식을 충분히 이해했으며, 미래 사고 방식도 이해했기에 이 시스템의 개발을 계속하는 데 편안함을 느낍니다."라고 할 수 있으려면 말이죠.


데미스 하사비스 00:26:17


글쎄요, 우리는 오늘날보다 훨씬 더 많은 시스템에 대한 이해가 필요한데, 그래야 제가 거기서 무엇을 체크해야 할지 자신 있게 설명할 수 있을 테니까요. 그래서 사실 우리가 앞으로 몇 년 안에, 그리고 그런 시스템들이 도착하기 시작하기 전에 해야 할 일은 올바른 평가와 척도를 마련하는 것이고, 이상적으로는 아마도 형식적 증명일 겁니다. 이러한 유형의 시스템에 대해서는 어려울 테지만, 적어도 이 시스템들이 할 수 있는 것에 대한 경험적 경계라도 있어야 합니다. 그래서 저는 기만과 같은 것들이 원하지 않는 꽤 근본적인 특성이라고 생각하는 것이죠. 만약 여러분의 시스템이 실제로 생각하는 바를 드러내고 있다고 확신한다면, 그것은 시스템 자체를 사용하여 자신의 측면을 여러분에게 설명할 가능성을 열어줍니다. 제가 실제로 그것에 대해 생각하는 방식은, 제가 과거에 게리 카스파로프와 체스 게임을 했거나 역대 가장 놀라운 체스 선수들과 게임을 한다면, 저는 그들이 할 수 있는 수를 생각해낼 수 없겠지만, 그들은 왜 그 수를 생각해냈는지 저에게 설명해줄 수 있고, 저는 사후적으로 그것을 이해할 수 있을 겁니다. 그리고 그것이 우리가 상상할 수 있는 일종의 것이죠. 우리가 이 시스템들을 활용할 수 있는 능력 중 하나는 그것들이 우리에게 설명하고 심지어 수학 문제에서는 분명히 그들이 무언가를 생각하는 이유에 대한 증명까지도 해주는 것입니다.


드와케쉬 파텔 00:27:42


알겠습니다. 반대로 어떤 답변이 있을지 감이 오시나요? 내일 아침에 "어, 이런 걸 예상 못 했는데."라고 할 만한 일이 무엇일까요? 내일 아침에 Gemini two 훈련을 중단해야 한다고 느낄 만한 특정 관찰 결과가 있나요? 구체적으로 무엇이...


데미스 하사비스 00:27:55


네, 저는 그런 일이 있을 수 있다고 상상할 수 있습니다. 그리고 이것이 샌드박스 시뮬레이션 같은 것들이 제 희망사항인 부분이죠. 우리는 안전하고 안심할 수 있는 환경에서 실험을 하는데, 그 안에서 매우 예상치 못한 일, 새로운 예상치 못한 능력이나 우리가 명시적으로 원하지 않는다고 말했는데도 시스템이 거짓말을 한 그런 일이 일어나는 거죠. 이런 것들이 오늘날 위험하지 않은 시스템들, 제 생각에 오늘날에는 그렇지 않지만 몇 년 안에는 잠재력을 가질 수 있는 시스템들을 주의 깊게 파고들어야 할 때인데, 이상적으로는 잠시 멈추고 왜 그런 일을 했는지 철저히 밝혀내고 나서 계속 진행해야 할 것 같습니다.


드와케쉬 파텔 00:28:42


네. Gemini로 다시 돌아가서, 개발 과정에서 병목 현상이 있었는지 궁금합니다. 스케일링이 잘 작동한다면 왜 바로 한 차수 더 크게 만들지 않았나요?


데미스 하사비스 00:28:52


글쎄요, 우선 실제적인 한계가 있습니다. 한 데이터 센터에 실제로 얼마나 많은 컴퓨팅 자원을 넣을 수 있을까요? 사실 매우 흥미로운 분산 컴퓨팅 과제에 부딪히고 있죠. 다행히도 우리에게는 그런 도전 과제와 데이터 센터 간 교차 훈련, 이런 모든 것들에 대해 세계 최고의 사람들이 있습니다. 매우 흥미로운 도전 과제, 하드웨어 도전 과제이고, 우리는 GPU를 사용할 뿐만 아니라 TPU를 구축하고 설계하고 있습니다. 그래서 그 모든 것들이 있죠. 그리고 스케일링 법칙은 마법처럼 작동하지 않습니다. 여전히 하이퍼파라미터를 확장해야 하고, 다양한 혁신이 매번 새로운 규모에 맞춰 계속 투입되고 있습니다. 각 새로운 규모에서 동일한 레시피를 반복하는 것만이 전부가 아닙니다. 레시피를 조정해야 하고, 그것은 어떤 면에서는 일종의 예술 형식이죠. 그리고 거의 새로운 데이터 포인트를 얻어야 합니다. 예측을 확장하려고 시도하고, 여러 차수에 걸쳐 외삽한다면 때로는 더 이상 성립하지 않습니다. 새로운 능력에 대해 계단식 함수가 있고, 어떤 것들은 유지되고 다른 것들은 그렇지 않기 때문이죠. 그래서 종종 실제로 하이퍼파라미터 최적화와 다른 것들 중 일부를 수정하기 위해 그 중간 데이터 포인트가 필요해서 스케일링 법칙이 계속 유효하게 됩니다. 그래서 그에 대한 다양한 실용적 제한이 있어서 각 시대 사이에 하고 싶은, 계속 진행하고 싶은 것이 대략 한 차수 정도입니다.


드와케쉬 파텔 00:30:23


와, 정말 흥미롭네요. GPT-4 기술 보고서에서는 GPT-4보다 수만 배 적은 컴퓨팅으로 훈련 손실을 예측할 수 있었다고 말합니다. 그들은 그 곡선을 볼 수 있었죠. 하지만 당신이 지적하는 것은 그 손실이 의미하는 실제 능력은 그렇지 않을 수 있다는 것이네요.


데미스 하사비스 00:30:39


때때로 최종 능력은 훈련 손실이나 그런 핵심 지표를 예측할 수 있지만, 실제로는 MMLU나 관심 있는 다른 실제 능력으로 변환되지 않습니다. 그것들은 반드시 항상 선형적이지는 않아서 일종의 비선형 효과가 있죠.


드와케쉬 파텔 00:30:57


Gemini 개발 과정에서 가장 놀라웠던 것은 무엇인가요?


데미스 하사비스 00:31:02


글쎄요, 하나의 큰 놀라움은 없었다고 말하고 싶네요. 하지만 그런 규모로 무언가를 훈련시키려고 하고 조직적 관점에서 그런 시스템을 어떻게 돌보고 추적할 것인지에 대해 모든 종류의 것들을 배우는 것은 매우 흥미로웠습니다. 그리고 제가 말하고 싶은 것은 최적화하는 지표와 원하는 최종 기능 사이의 매핑이 아직 완벽하게 이해되지는 않았지만, 점점 더 잘해지고 있다는 것입니다.


드와케쉬 파텔 00:31:32


네, 어쩌면 다른 연구소들이 DeepMind보다 Gemini에서 더 계산 효율적이었을 거라는 인식이 있습니다. 그 인식에 대해 어떻게 생각하시나요?


데미스 하사비스 00:31:40


저는 그렇지 않다고 생각합니다. 사실 Gemini 1은 GPT-4에 사용되었다고 알려진 것과 거의 같은 양의 컴퓨팅 자원, 어쩌면 약간 더 많이 사용했다고 봅니다. 정확히 얼마나 사용되었는지는 모르겠지만 같은 정도였다고 생각합니다. 우리는 컴퓨팅 자원을 매우 효율적으로 사용하고 있고, 많은 것에 사용하고 있습니다. 하나는 스케일링뿐만 아니라 앞서 말한 것처럼 이러한 혁신과 아이디어에 더 중점을 두는 것인데, 새로운 혁신, 새로운 발명은 스케일링할 수 있을 때만 유용합니다. 그래서 어떤 면에서는 새로운 발명을 하려면 꽤 많은 컴퓨팅 자원이 필요한 것이죠. 많은 것을 테스트해야 하고, 적어도 어느 정도 합리적인 규모에서 그것들이 작동하는지 확인해야 합니다. 또한 어떤 새로운 아이디어는 장난감 규모에서는 작동하지 않지만 더 큰 규모에서는 작동할 수 있습니다. 사실 그런 것들이 더 가치 있는 것들이죠. 그런 탐색 과정을 생각해보면 그렇게 하려면 꽤 많은 컴퓨팅 자원이 필요합니다. 좋은 소식은 올해 Google에서는 어떤 연구소보다도 가장 많은 컴퓨팅 자원을 보유하게 될 것 같다는 점입니다. 그리고 우리는 그것을 시스템의 스케일링과 성능뿐만 아니라 새로운 발명에도 매우 효율적이고 좋게 사용하기를 희망합니다.


드와케쉬 파텔 00:32:51


네. 2010년에 DeepMind를 시작할 때로 돌아간다면 AI 발전이 어떻게 보였는지, 당시에는 큰 의미에서 이런 모델에 수십억 달러를 쓰는 것이 될 거라고 예상했나요, 아니면 어떤 모습일 거라고 생각했나요?


데미스 하사비스 00:33:06


우리는 그렇게 생각했고, 실제로 제가 아는 바로는 당신이 내 동료 Shane을 인터뷰했는데, 그는 항상 컴퓨팅 곡선 측면에서, 그리고 어쩌면 뇌와 얼마나 많은 뉴런과 시냅스가 있는지를 대략적으로 비교한다는 점에서 그렇게 생각했습니다. 매우 느슨하게요. 하지만 흥미롭게도 우리는 실제로 지금 그런 정도의 체제에 있습니다. 뇌의 시냅스 수와 우리가 가진 컴퓨팅 자원의 수 차수가 대략 맞아떨어지는 거죠. 하지만 저는 더 근본적으로, 우리는 항상 일반성과 학습에 베팅했습니다. 그래서 그것들은 항상 우리가 사용하는 모든 기술의 핵심이었죠. 그래서 우리는 강화 학습, 검색, 심층 학습이라는 세 가지 유형의 알고리즘에 주목했는데, 이것들은 스케일링이 가능하고 매우 일반적이며 많은 수작업 사전 지식을 필요로 하지 않기 때문입니다. 우리는 그것이 MIT와 같은 곳에서 AI를 구축하려는 노력의 실패 모드라고 생각했는데, 거기에는 매우 논리 기반의 시스템, 전문가 시스템, 대량의 수작업으로 코딩된 인간 정보가 들어갔지만 잘못되었거나 너무 경직된 것으로 판명되었기 때문이죠. 그래서 우리는 그것에서 벗어나고 싶었습니다. 저는 우리가 그 추세를 일찍 발견했고, 분명히 우리는 게임을 검증의 장으로 사용했으며 그 점에서 매우 잘했다고 생각합니다. 그리고 저는 그 모든 것이 매우 성공적이었다고 봅니다. 그리고 아마도 AlphaGo와 같은 것들이 다른 많은 사람들에게 영감을 주었을 것이라고 생각하는데, 그것은 많은 사람들에게 이런 생각을 하게 한 중요한 순간이었죠. 오, 사실 이 시스템들은 스케일링될 준비가 되어 있구나. 그리고 물론 Google Research와 Brain의 동료들이 발명한 트랜스포머의 출현으로 우리가 방대한 양의 정보를 수집할 수 있게 해준 유형의 심층 학습이 등장했습니다. 그리고 그것이 오늘날 우리가 있는 곳을 정말 가속화했죠. 그래서 저는 그 모든 것이 같은 계보의 일부라고 생각합니다. 우리는 거기서 모든 굴곡을 예측할 수는 없었지만, 우리가 가고 있던 대략적인 방향은 옳았다고 봅니다.


드와케쉬 파텔 00:34:57


네. 그리고 사실 당신의 옛 논문이나 Shane의 옛 논문, Shane의 2009년 학위 논문을 읽어보면 정말 흥미롭습니다. 그는 AI를 테스트하는 방법은 위키피디아를 압축할 수 있는지 여부라고 말했는데, 그것은 문자 그대로 손실 함수의 영역이죠. 또는 트랜스포머 이전인 2016년 당신의 논문에서 신경과학과 AI를 비교했을 때 주의력(attention)이 필요하다고 말했죠.


데미스 하사비스 00:35:16


정확히 그렇습니다. 우리는 이런 것들을 지적했고, 사실 우리는 초기 주의력 논문도 있었지만 결국에는 트랜스포머만큼 우아하지는 않았죠. 뉴럴 튜링 머신 같은 것들 말이에요. 그리고 트랜스포머는 그것의 더 멋지고 더 일반적인 아키텍처였습니다.


드와케쉬 파텔 00:35:30


네. 이 모든 것을 앞으로 외삽해보면 초인적 지능에 대해 생각하게 되는데, 그 모습이 당신에게는 어떻게 보이나요? 여전히 사기업에 의해 통제되고 있나요? 구체적으로 그에 대한 거버넌스는 어떤 모습이어야 할까요?


데미스 하사비스 00:35:45


네, 보세요. 제 생각에 이 기술은 너무나 중대한 결과를 가져올 것 같아요. 어떤 한 회사나 심지어 일반적인 산업보다 훨씬 더 큰 문제라고 봅니다. 시민 사회, 학계, 정부 등 많은 이해 관계자들과의 큰 협력이 있어야 한다고 생각합니다. 그리고 좋은 소식은 최근 챗봇 시스템 등의 인기로 사회의 다른 많은 부분들이 이것이 다가오고 있으며 이러한 시스템과 상호 작용하는 것이 어떨 것인지에 대해 깨닫게 되었다는 점입니다. 그건 정말 좋은 일이에요. 그래서 매우 좋은 대화를 위한 많은 문이 열렸죠. 그 예로 몇 달 전 영국에서 개최된 안전 정상회담이 있는데 제 생각에는 큰 성공이었어요. 이 국제적 대화를 시작하기 위해서는 사회 전체가 이 모델을 어디에 배포하고 싶은지, 어떻게 사용하고 싶은지, 어떤 용도로는 사용하고 싶지 않은지를 결정하는 데 참여해야 한다고 생각합니다. 우리는 그것에 대해 일종의 국제적 합의를 이루려고 노력해야 하고, 또한 이러한 시스템의 혜택이 모든 사람에게, 일반적으로 사회의 이익을 위해 돌아가도록 해야 합니다. 그래서 저는 과학을 위한 AI와 같은 것들을 그렇게 열심히 추진하는 거예요. 그리고 우리의 스핀 아웃 아이소모픽과 같은 것들로 AI를 통해 질병, 끔찍한 질병들을 치료하기 시작하고, 신약 개발을 가속화하며, 놀라운 일들, 기후 변화 및 기타 문제들을 해결할 수 있기를 희망합니다. 우리가 직면하고 인류가 직면한 큰 도전 과제들 말이에요. 실제로 엄청난 도전들인데, 저는 우리가 적용할 수 있고 우리를 도울 수 있으며 이 중 많은 것들을 해결할 수 있는 믿을 수 없을 정도로 강력한 도구인 AI가 나오고 있기 때문에 우리가 그것들을 해결할 수 있을 거라고 낙관하고 있어요. 아시다시피 이상적으로는 그것에 대한 큰 합의와 거의 UN 수준의 큰 논의가 있어야 할 것입니다.


드와케쉬 파텔 00:37:25


흥미로운 점은 이 시스템들을 보면, 그것들과 채팅을 해보면 엄청나게 강력하고 지능적이지만, 아직 경제의 큰 부분을 자동화하지 않았다는 점이에요. 반면 5년 전에 제가 Gemini를 보여드렸다면 "와, 이건 정말 많은 것들을 대체할 것 같아요."라고 말씀하셨을 텐데요. 그걸 어떻게 설명하시겠어요? 아직 더 광범위한 영향을 미치지 않은 이유가 뭘까요?


데미스 하사비스 00:37:48


네, 저는 그것이 우리가 아직 이 새로운 시대의 초기에 있다는 것을 보여준다고 생각해요. 그리고 이 시스템들의 경우 챗봇 시스템을 사용하여 여러분을 위해 무언가를 요약하고, 어쩌면 간단한 글쓰기를 하고, 어쩌면 좀 더 정형화된 유형의 글쓰기를 할 수 있는 몇 가지 흥미로운 사용 사례가 있다고 봅니다. 하지만 그것은 우리가 매일 하는 모든 일의 일부에 불과하죠. 그래서 더 일반적인 사용 사례의 경우 계획 및 검색과 같은 새로운 기능이 여전히 필요하지만, 개인화 및 기억, 일화 기억과 같은 것들도 필요할 것 같아요. 단순히 긴 문맥 윈도우가 아니라 실제로 100번의 대화 전에 우리가 무엇에 대해 이야기했는지 기억하는 거죠. 그리고 저는 그런 것들이 도입되기 시작하면 책이든 영화든 음악이든 더 풍성한 자료를 더 잘 찾을 수 있도록 도와주는 추천 시스템이 정말 기대됩니다. 저는 그런 유형의 시스템을 매일 사용할 거예요. 그래서 이런 AI 어시스턴트들이 우리의 일상생활에서, 그리고 업무에서 실제로 우리를 위해 할 수 있는 일의 겉면만 긁고 있다고 생각해요. 아직 그것들을 가지고 과학과 같은 일을 하기에는 신뢰성이 부족하다고 봅니다. 하지만 언젠가는 사실성과 현실감각 등의 문제를 해결하면 그것들이 결국 세계 최고의 연구 보조자가 될 수 있을 거라고 생각합니다. 당신이 과학자나 임상의로서 말이죠.


드와케쉬 파텔 00:39:12


기억에 대해 여쭤보고 싶습니다. 그런데 2007년에 기억과 상상의 연결고리에 대해 이야기한 흥미로운 논문이 있었는데, 어떤 면에서 그것들이 매우 유사하다고 했죠. 사람들은 종종 이 모델들이 단순히 암기하고 있을 뿐이라고 주장합니다. 사람들이 하는 그 주장에 대해 어떻게 생각하시나요? 압축이라는 깊은 의미에서 봤을 때 암기가 필요한 전부인가요? 아니면 여기서 당신의 직관은 무엇인가요?


데미스 하사비스 00:39:34


네, 그러니까 어떤 의미에서는 한계치에서 모든 것을 암기하려고 할 수도 있겠지만, 그것은 여러분의 분포 밖으로 일반화되지 않을 것입니다. 그리고 제 생각에 이 시스템들은 분명히, 초기 시스템들에 대한 초기 비판들은 그것들이 단순히 되풀이하고 암기하고 있을 뿐이라는 것이었지만, 제 생각에는 분명히 새로운 시대, Gemini나 GPT-4 유형의 시대에는 그것들이 새로운 구성물로 명확히 일반화되고 있습니다. 하지만 사실 제 논문, 특히 신경과학에서 상상력 분야를 시작한 그 논문에서는 첫째, 기억, 적어도 인간의 기억은 재구성 과정이라는 것을 보여주었습니다. 그것은 비디오테이프가 아니에요. 우리는 그것을 우리에게 익숙해 보이는 구성 요소, 앙상블에서 다시 조합하는 거죠. 그래서 저는 상상력도 같은 것일 수 있다고 생각하게 되었어요. 단, 이 경우에는 같은 의미론적 구성 요소를 사용하지만, 이제는 계획과 같은 특정 목적을 위해 뇌가 새롭다고 생각하는 방식으로 그것들을 조합하는 것입니다. 저는 그런 종류의 아이디어가 아직 우리의 현재 시스템에서는 아마 빠져 있을 거라고 생각해요. 그것은 여러분의 세계 모델의 서로 다른 부분들을 하나로 모아 계획에 도움이 되는 새로운 것을 시뮬레이션하는 건데, 제가 상상력이라고 부를 만한 것이죠.


드와케쉬 파텔 00:40:42


네, 확실히요. 이제 당신들은 세계 최고의 모델을 가지고 있습니다. Gemini 모델로 다른 두 주요 AI 연구소처럼 일종의 프레임워크를 내놓을 계획인가요? 이러한 특정 능력을 보게 되면 이런 특정 안전장치가 없는 한 개발을 지속하거나 제품을 출시하지 않을 것이라는 식으로 말이죠.


데미스 하사비스 00:41:02


네, 우리는 이미 많은 내부 견제와 균형을 갖추고 있지만, 실제로 곧 공개할 예정입니다. 이 공간을 지켜봐 주세요. 우리는 향후 몇 달 내에 책임 있는 스케일링 법칙 등과 유사한 내용의 블로그 게시물과 기술 논문을 준비하고 있습니다. 우리는 내부적으로 다양한 안전 위원회 등에서 그것들을 암묵적으로 갖고 있는데 Shane이 의장을 맡고 있죠. 하지만 이제는 그것에 대해 더 공개적으로 이야기할 때라고 생각합니다. 그래서 우리는 올해 내내 그렇게 할 것입니다.