오폭당한 이란 초등학교 사진
Q: 전장에서의 AI 오류는 치명적인 파장을 일으킵니다. 잘못된 데이터로 인한 오인 사격을 방지하기 위해, 인간(Human Factor)이 이를 검증하고 걸러낼 수 있는 시스템이 마련되어 있습니까? 일반 분야와 달리, 전장 환경에서 발생하는 AI의 환각 현상은 돌이킬 수 없는 참사로 이어집니다. 과거 이란 전쟁 초기, 업데이트되지 않은 오염된 데이터를 AI가 읽어 들여 초등학교를 오인 공습했던 사례가 대표적입니다. 당시 지휘관들이 최종 승인을 했음에도 기술적 필터링이 작동하지 않았습니다. 이처럼 데이터 자체가 잘못되었을 때, 결론 단계에서 '휴먼 팩터(Human Factor)'를 통해 이를 검증하고 오작동을 걸러낼 수 있는 구체적인 체계나 구상이 있는지 궁금합니다.
A1: 인간 검증의 현실적 한계가 존재합니다. 미래 전장에서는 대응해야 할 표적이 수만 개에서 수십만 개 이상으로 폭발적으로 증가합니다. 따라서 인간의 노동력과 직관만으로 실시간 데이터의 정확도를 검증하는 것은 현실적으로 불가능에 가깝습니다. 기술적 보완 방향은 다음과 같은데요. AI 환각 현상을 완벽히 제어하기 어려운 생성형 AI에만 의존할 수는 없습니다. 따라서 의사결정의 근거와 도출 과정을 명확히 보여주는 '설명 가능한 AI(XAI, Explainable AI)' 연구가 활발히 진행 중입니다. 높은 정밀도가 요구되는 표적 배정 등의 분야에는 이 기술을 결합하여 오판 가능성을 억제할 계획입니다.
A2: 국방 AI의 현주소와 숙제에 대해 정확하게 말씀해주신거 같습니다. 환각을 막기 위한 온톨로지(Ontology) 구축도 필수적이지만, 현재 우리 군이 가장 시급하게 해결해야 할 과제는 AI 모델 및 출력값(Output)에 대한 신뢰성과 품질을 인증할 제도적 장치가 부족하다는 점입니다. 향후 추진 과제로 공군은 데이터 오류나 모델의 결함으로 인한 오작동을 사전에 차단하기 위해 'AI 시험평가 검증·확인 프로세스 절차'를 정식 제도로 만드는 것을 핵심 과제로 삼고 있습니다. 군에서 안심하고 쓸 수 있는 표준 검증 체계를 다듬고 있으니 지켜봐 주시기 바랍니다.
역시 머한을 지키는 가장 높은 힘
근데 저건 수동폭격이었어도 오폭할만 함. 원래 군사시설 겸용으로 쓰던걸 학교로 전환했고 현장검증 안하고 타격한거라..