어떤 군사무기 회사에서

혼자 인간 병사 1만명은 쓸어버릴 수 있는 킬링로봇을 만들었다고 해보자


그런데, 0.01% 확률로 로봇이 오류가 나서

총구를 엉뚱한 사람한테 들이밀 수도 있다고 하면

이 회사는 킬링로봇을 공개하는게 맞는걸까 틀린걸까?


엄청난 업적을 세운 것도 맞고

공개하면 막대한 부를 쌓을 수 있는건 확실해보임

그래도 상식적인 인간들의 집단이라면

오류 날 확률이 0%가 될 때까지 최대한 손본다음

세상에 공개하려고 할 가능성이 높아보임



이 사례를 AGI로 바꿔보자

AGI는 스케일이 달라짐

어떻게 될지 예상조차 안되기에

혼자 전 지구의 인류에게 총구를 들이밀지도 모름


오픈AI는 애초에 AGI가 만들어졌을 때

그걸 최대한 안전하고 전 인류에게 도움이 되자는

사명으로 시작한 단체임


아무리 그 가치가 시간이 흘러 희석되었을 순 있어도

그랬던 사람들이 적은 확률일지라도 인류 전체에 위협이 될만한

AGI를 세상에 바로 공개할리는 없다고 생각한다


인류가 취할 수 있는 최대한의 조심성을 취해도

모자를 수 있는게 AGI임


지금 AGI가 실제로 개발이 되었던 안되었던

AGI는 완전히 정렬되었다고 생각하기 전까지

대중들에게 감출 수 있고,

개인적으로도 그게 더 올바른 길이라고 생각함