모든 문제 제기-의사결정-수행을 AGI가 자율적으로 한다면

말그대로 AGI만 와도 폭발적 재귀개선으로 순식간에 특이점으로 오겠지.


하지만 그럴 수 없는 이유


첫 번째로 AGI의 어긋난 목적설정과 윤리관은 인류에게 위협이 될 수 있으므로

전적으로 AI에게만 모든 과정을 맡길일은 없을거라는거.


두 번째로 현실은 온갖 이익집단들이 본인의 이익을 위해 법을 이용할거임.

결국 법이란건 국회에서 국회의원들이 모여서 만드는건데

국회의원은 결국 불완전한 사람이고 이익집단들을 대변하는 존재임.

지금 로톡, 우버, 타다, 대형마트규제, 약사보호만 봐도 법의 위력을 알 수 있음.

AGI가 개발되더라도 온갖 인권충 환경충 페미충 별의별 벌레 PC충들이 다 나와서 정치적으로 반대하려 할것임.

여기에서 얼마나 수많은 난관들에 봉착할지 감도 안옴.


세 번째로 어차피 최종적으로 인간이 책임지는 구조가 될것임.

예를들면 바둑에서 알파고가 여기에 착수를 해야된다. 라는 의견을 낸다면

이세돌 커제 박정환 이런 사람들이 모여서 존나 해석을 하고 의논을 하고 결정을 하는거랑 비슷한거임.

여기서도 물론 시간이 어마어마하게 지체될테고...


심지어 현실은 바둑이랑은 비교도 안될 정도의 복잡계임

정치인과 관료들은 웬만하면 해왔던대로만 하려고 할거임. 위험부담을 피해야하니까..

결국 이는 혁신이 느려지는 결과로 이어지게 될것임.