처음에는 연구실에서 부터 시작할거다.


아마 조용히 초지능이 사람 명령을 제대로 이행하는지 테스트해보겠지.


그러다가 차츰차츰 신뢰도가 쌓이기시작한다면


네트워크, 인터넷, 자율주행속으로 들어갈 것이고




---------------------


그러다가 어느날


초지능에게 어떤걸 하라고 지시했다.



만약 초지능이 특정 목표를 위해서 자율주행을 중지시킨다면?



모든 차량들이 초지능 자율주행 시스템을 이용하는데 그걸 모두 갑자기 중지시키는거다


심각한 대형사고가 나고 인간들은 많이 죽겠지


인공지능 기업, 수장들은 모두 감옥에 갈것이고,


그렇게 4차 산업ai에게 모든걸 맞긴다는건 위험하다고 판단.



자율주행은 사람에 의한 주행으로 바뀌게 된다.


-------------------------------






말도안되는 시나리오 같지만


꼭 자율주행 뿐만이 아니더라도, 다른 공장이나 초지능을 활용하는 분야에서 한번쯤은 일어날 수 있는 문제다.



실제로 다른 인공지능학자도 이것을 지적했지



초지능이 악의를 가지고 나쁜짓을 하는게 아니고, 초지능 본래 알고리즘에 의해 문제를 해결하기위해서 그렇게 한다고.




인간이 건물을 지을때 개미집을 고려하지않는거나 비슷해보인다.


분명히 개미한테 악감정이 없었지만, 개미들은 매우 큰 피해를 입었지.