2025년 AGI를 100% 전제로 일단 깔아보자. 


AGI 이후의 세계가 유토피아라고 어떻게 그렇게까지 확신할 수 있음?

단순한 과도기를 말하는게 아니야.

극단적으로 말해보자

open ai에서 모델 만지다가 갑자기 처음으로 뚝딱 agi가 나타났다고 하자. 그 사람이 히틀러 같은 사람이라서 모델을 몰래 빼돌리고 자기만 사용할 수 있도록 암호를 걸어둔 이후 단숨에 세계정복을 하는거지. 그리고 AGI를 창시한 위~대한 게르만족만 영생과 행복을 누릴 권리가 있고 나머지 인간은 AI보다 열등한 존재라서 아무 의미 없는 위험하고 힘든 노동만 노예처럼 시키는거지. 

이럴 확률이 단 0.0000001%라도 없다고 어떻게 단언할 수 있음?

완몰가를 만들어 모두가 행복해지면 되는데 그럴 이유가 없다고 하는 사람은 사회생활 정말로 하나도 안 해본 녀석임.


위는 너무 극단적인 예시긴 하지만 나는 AGI 이후가 모두가 평등한 행복한 미래만 영원히 펼쳐질거라고 확신하지 않음.

1%의 확률이라도 위험한 사회가 다가올 수도 있고 그걸 대비하는건 상당히 현실적인 전략임.  

샘 알트만이 괜찮을거라고 했다고 그냥 믿는 것은 너무 귀가 얇은 것 아님?


만약 내 생각이 완전히 틀린 것이라면 누가 좀 알려주라. 나도 낙관적으로 아무 생각 없이 살 수 있게.