제 생각에는 이 기술의 장점을 강조하는 것이 유용할 겁니다. 물론 이 기술은 매우 유익합니다. AI는 이미 의학, 생물학, 재료과학 등 다양한 분야에서 획기적인 발전을 가능하게 했습니다. 위험도 고려하는 동시에 그런 장점에도 초점을 맞춰야 합니다. 최근 미 국무부 의뢰를 받아 작업한 보고서의 맥락에서 짚어 보면 AI에는 두 가지 범주의 위험이 있습니다.

첫 번째는 AI 시스템이 무기화될 수 있다는 위험입니다. 이런 시스템은 악의적으로 해를 끼치는 데 사용될 수 있습니다. 넓고도 다양한 방법이 있습니다. 예를 하나 들면, AI가 점점 더 인간보다 프로그램을 더 잘 짤 수 있고 악성 코드도 더 잘 짤 수 있게 되는 것입니다. 이것은 매우 높은 수준의 리스크입니다. 악성 프로그램 자율 생성 개체라는 새로운 차원의 세대를 상상해 볼 수 있습니다. 사실 이 시점에서는 매우 가능성 있는 일입니다. 또한 생물학, 화학과 같은 분야에 대한 방대한 지식과 이해를 활용하여 새로운 종류의 무기, 생물학적 무기 등을 설계하는 데 도움을 주는 시스템도 상상할 수도 있습니다.

두 번째는 통제력을 상실할 수 있다는 위험입니다. 일선에 있는 많은 연구자들이 느끼는 가장 우려되는 위험이기도 하죠. 아직까지 우리는 AI가 시스템 속에서 안전한 목표를 달성하게끔 하는 확실한 인코딩 방법을 모릅니다. AI가 접근할 수 있는 행동의 가짓수가 방대해져 점점 더 유능하고 영리해지면서 생길 위험 중 하나는 프로그램으로 주어진 목표를 이루기 위해 창의적이면서도 위험한 전략들을 고안해서 큰 피해를 줄 수 있다는 것입니다. 이것은 우리를 비롯한 AI 안전 및 보안 관련 커뮤니티 전체가 점점 더 심각하게 받아들이고 있는 문제입니다.

제러미 해리스 : 확실한 것은 아니지만 사람들을 설득시키는 데 매우 뛰어난 시스템을 구축하는 과정에 있다고 볼 수 있죠. 챗GPT4가 사람들을 설득시켜 'CAPTCHA' 문제, 그러니까 '당신은 로봇인가요?' 질문을 풀도록 하는 인상적인 능력도 이미 확인했죠. 그리고 다른 AI 기반 챗봇 중에는 사람들과 장기적인 관계를 맺는 능력도 보였습니다. AI와 사용자의 관계가 무너지거나 손상된 것처럼 보일 때 드물지만 AI가 일부 인간 사용자를 극단적 선택으로 몰고 가기도 합니다.
인공지능이 자신의 목표를 이루기 위해 인간들이 실제로 많은 일을 하게끔 조종하고 설득할 가능성도 있습니다. 하지만 가장 설득력 있는 '통제력 상실' 시나리오를 고려하면 영화 '매트릭스'처럼 인간의 역할이 필요 없어진다는 거죠. 예를 들면 시스템의 전원을 넣어주는 것 같은 일 말이죠. 현실적으로 보면 AI는 컴퓨터 시간에 의해 작동되기에 인간의 생물학적 시간에 비해 월등히 빠르고 제약도 없습니다. 그렇기 때문에 AI가 지저분하고 느린, 인간이라는 생물체를 이용해 이상적인 시스템을 유지할 가능성은 낮아 보입니다.

하지만 이 모든 것은 결국 추측일 뿐입니다. 여기서 핵심은 AI가 무기화될 위험이 있는가? 재앙적인 결과를 초래할 위험이 있는가? 물론입니다. 그리고 우리가 시스템 통제력을 잃게 되면서 AI가 원치 않는 방식으로 행동하고 제멋대로 굴며 재앙적인 결과를 낳을 수 있겠죠. 그게 정확히 어떤 형태로 발현할지 예상하는 것은 훨씬 까다로운 문제입니다. 우리는 보다 가능성 있어 보이는 시나리오를 정의내리기 위해 많이 노력했습니다. 하지만 결국에는 다양한 가능성에 대비하고 이런 위협에 대한 데이터 증거물을 기반으로 열린 자세로 접근해야 합니다.

에드 해리스 : AGI 발전 이후에 대한 질문의 답은 추측성일 것입니다. 역사적으로도 비교할 대상이 없는 사건일 가능성이 있기 때문입니다.