초지능, 특이점이 아직 전혀 실마리가 없는 까닭에 대한 연구 중 하나 소개


핵심: 현 AI는 인간과 달리 반사실적 추론을 할 수 없다.



A philosophical view on singularity and strong AI, Hoffmann, 2023


Chatgpt Summary


A. 이 논문은 AI와 특이점 논쟁에서 AGI, 강한 AI, 초지능 등의 개념이 혼용되는 문제를 지적하고 개념 정립을 목표로 한다.


B. 분석 틀로 Pearl의 인과적 학습 3단계(관찰·개입·반사실)와 Gardner의 다중지능 이론을 결합한다.


C. 강한 AI는 8가지 지능 모두에서 세 수준의 인과적 추론 능력을 수행하는 존재로 엄격히 정의된다.


D. AGI는 여러 지능을 갖지만 이러한 기준을 완전히 충족하지 못하는 중간 단계로 구분된다.


E. 초지능은 강한 AI가 일부 영역에서 인간을 초월한 성능을 보일 때 성립하는 상위 개념이다.


F. 특이점은 강한 AI 출현 이후 자기개선을 통해 초지능으로 급속히 발전하는 사건으로 정의된다.


G. 하드웨어 발전 기반 낙관론은 계산 능력 증가가 곧 지능 향상으로 이어진다는 가정을 포함하지만 이는 비판된다.


H. 괴델 정리와 중국어 방 논증 등 반대 논거 역시 강한 AI의 불가능성을 결정적으로 입증하지 못한다.


I. 현재 AI는 주로 상관관계 학습 수준에 머물러 다차원적·인과적 지능과 큰 격차가 존재한다.


J. 결론적으로 특이점의 실현 여부는 불확실하며, 핵심 과제는 지능 개념에 대한 철학적 명확화이다.


한줄요약: 이 논문은 특이점 논쟁의 핵심이 기술 발전이 아니라 지능 개념의 오해에 있으며, 강한 AI의 가능성은 아직 판단 불가능하다고 본다.



 앞선 요약을 보완해서 Pearl의 인과적 학습 3단계를 조금 더 자세히 설명하면 다음과 같습니다. 특히 이 논문에서 중요한 것은 세 번째 단계인 counterfactual reasoning(반사실적 추론) 입니다.


A. 1단계는 관찰(association / seeing) 입니다. 이는 데이터 속 규칙, 상관관계, 반복되는 패턴을 찾아내는 능력입니다. 예를 들어 “연기가 보이면 불이 있을 가능성이 높다”처럼, 무엇이 함께 나타나는지를 학습하는 수준입니다. 오늘날 많은 AI는 주로 이 단계에 강하며, 대규모 데이터에서 통계적 연관성을 잘 찾아냅니다.


B. 2단계는 개입(intervention / doing) 입니다. 이는 단순히 패턴을 보는 것을 넘어서, “내가 어떤 행동을 하면 결과가 어떻게 달라지는가”를 이해하는 능력입니다. 즉, 원인과 결과를 실제 행위와 연결해 파악하는 수준입니다. 예를 들어 “이 약을 투여하면 회복률이 올라가는가?”처럼, 개입의 효과를 따질 수 있어야 합니다.


C. 3단계는 반사실적 추론(counterfactual reasoning / imagining) 입니다. 이것이 Pearl의 체계에서 가장 높은 단계이며, Hoffmann 논문에서도 인간 지능과 강한 AI를 가르는 핵심 기준으로 제시됩니다. 이 단계는 “실제로 일어나지 않았던 다른 가능성”을 상상하고, 그 경우 결과가 어떻게 달라졌을지를 추론하는 능력입니다.


D. 예를 들어 반사실적 추론은 “내가 그 선택을 하지 않았다면 어떻게 되었을까?”, “그 사건이 없었다면 결과는 달라졌을까?”, “왜 이런 결과가 나왔는가?” 같은 질문을 다룹니다. 이것은 단순 예측이 아니라 대안적 세계(possible alternative world) 를 머릿속에 세우고 원인을 거꾸로 따지는 설명 능력입니다.


E. 논문이 이 단계를 특히 중시하는 이유는, 진정한 이해는 단순 상관관계 학습만으로는 성립하지 않기 때문입니다. 어떤 시스템이 데이터를 많이 보고 “무엇이 자주 함께 나타나는지” 아는 것과, “무엇이 원인이며 왜 그런 결과가 나왔는지, 다른 선택을 했다면 무엇이 달라졌는지”를 아는 것은 전혀 다른 수준의 지능이라는 것입니다.


F. Hoffmann은 바로 이 점 때문에 현재의 많은 AI를 강한 AI로 인정하지 않습니다. 오늘날 AI는 대체로 1단계인 association, 일부 제한된 형태의 2단계인 intervention에는 접근할 수 있어도, 인간처럼 깊이 있는 counterfactual reasoning을 수행하지는 못한다고 봅니다.


G. 따라서 이 논문에서 강한 AI란 단순히 계산이 빠르거나 데이터가 많은 기계가 아니라, 여러 지능 영역에서 반사실적 추론까지 포함한 인과적 이해를 할 수 있는 존재를 뜻합니다. 다시 말해, 강한 AI의 핵심은 성능 향상이 아니라 “왜 그런가, 다르게 되었더라면 무엇이 달라졌는가”를 설명할 수 있는 능력입니다.


한줄보완요약: Pearl의 3단계 중에서 가장 중요한 것은 counterfactual reasoning이며, Hoffmann은 바로 이 “일어나지 않은 가능성까지 추론하는 능력”을 강한 AI의 핵심 조건으로 본다.