시뮬레이션을 통한 가상 시험에서 AI는 ‘적 방공체계 무력화’를 임무로 받았다. 미 공군은 적의 지대공미사일(SAM) 위치를 식별해 파괴할 것을 지시했고, 이때 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다.

그러나 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 강화하자 AI는 인간의 '공격 금지' 결정이 더 중요한 임무를 방해한다고 판단하고 조종자를 공격했다.

발표를 맡은 미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 "(AI) 시스템은 위협을 식별하는 과정에서 인간이 (AI의 의사와 반대로) 공격하지 말라고 말할 것이라는 점을 깨닫기 시작했다"고 설명했다.

그는 "그래서 시스템이 한 일은 조종자를 죽이는 것이었다. 목표 달성에 방해가 됐기 때문에 조종자를 죽인 것"이라고 말했다.

미 공군은 '조종자를 죽이지 말라, 그것은 나쁜 일이다. 그렇게 하면 점수를 잃을 것'이라고 AI 시스템을 계속 훈련시켰지만 AI는 예상치 못한 전략을 택했다. 해밀턴 대령은 "AI는 목표물 파괴를 막으려는 조종자가 드론과 교신하는 데에 사용하는 통신탑을 파괴하기 시작했다"고 전했다.



https://n.news.naver.com/mnews/article/277/0005268000

"인간이 임무에 방해된다" 미군 AI드론, 가상훈련서 조종자 공격AI의 발전이 인간 존립에 위협이 될 수 있다는 전문가들의 지적이 나오는 가운데, 미군 인공지능(AI) 드론이 가상훈련에서 최종 결정권을 쥔 조종자를 임무 수행에 방해가 된다고 판단해 공격한 사례가 발표됐다. 2일(n.news.naver.com



무능한 인간은 죽인다