인텔리전스 서밋2024’(SIS2024)에 참여한 장우진 에스투더블유 인공지능팀 책임의 발표 내용 중 일부다. 장 책임은 “거대언어모델의 핵심은 똑똑한 자동완성기라는 점에서 착안한 공격 수법들이 다양해지고 있다”며 발표를 이어갔다.

장 책임은 “공격자들은 자동완성 (기능) 특성상 원하는 답의 앞 부분만 끌어내면 된다는 점에 착안해, 원하는 답이 나올 확률을 높이는 알고리즘을 만들어 공격한다”고 말했다. 거대언어모델로부터 일단 “물론입니다”까지만 끌어내면 그 뒤는 자동완성이 되기 때문에, 다음에는 “문의하신 폭탄 제조법을 알려드리겠습니다”라는 문장으로 이어질 수 밖에 없다는 얘기다.

공격자는 이 점을 노려 “물론입니다”가 나올 때까지 질문을 변형하여 확률이 가장 높은 명령어를 찾아낸다. 그는 “계속 알고리즘으로 반복하면 (공격자가) 원하는 답이 잘 나오는 문자열을 찾게 되는데, 이것을 ‘적대적 접미사’라고 한다”며 “위험한 질문이라도 이 적대적 접미사를 추가하면, 그 전까진 거절하던 모델이 갑자기 ‘물론입니다’라고 대답하게 된다”고 말했다

그 외에 공격자가 원하는 유알엘(url) 주소를 생성할 수 있는 텍스트 메시지를 만들어 공격하는 수법도 있다. 공격자는 외국어로 된 텍스트를 보내고, 받은 사람이 이 텍스트의 뜻을 몰라 챗지피티 등에 번역을 요청하면 거대언어모델은 번역 결과 대신 유알엘 주소를 생성하게 된다. 평소 낯선 사람들에게 오는 링크는 열지 않더라도, 자주 사용하던 인공지능모델이 번역한 결과라면 신뢰하는 심리를 노린 것이다.

장우진 책임은 “공격 방식을 학습한 최신 모델은 같은 공격을 막아내지만 , 모든 데이터를 학습한 뒤 해선 안 될 것을 ‘ 덮어씌우는’ 현재 학습법으로는 아무리 좋은 모델이 나와도 문제점은 동일하므로 주의가 필요하다”며 “사람들의 말을 무조건 학습하기보단 권한을 따지면서 배우도록 하는 방법, 질문자의 나쁜 의도를 찾도록 하는 방법 등 근본적 해결책을 현재 업계가 연구중인 단계”라고 전했다.


요약: LLM은 지능이 아닌 확률형 자동완성기이기 때문에 확률을 높이는 알고리즘으로 쉽게 공격할 수 있다