[📪정보] 앤트로픽 "LLM, 자신이 생각하는 것이 무엇인지 정확하게 인식"

[사이언스3.0(robot7134)]

https://www.aitimes.com/news/articleView.html?idxno=203591

앤트로픽

연구진은 AI가 단순히 ‘그럴듯한 문장’을 만드는 것이 아니라, 실제로 내부 변화를 느끼는지를 확인하기 위해 뇌과학에서 아이디어를 얻은 ‘개념 주입’ 실험을 설계했다. 즉, 클로드의 신경망에서 특정 개념(개, 정의, 소음 등)과 관련된 활성 패턴을 찾아내고, 이를 인위적으로 강화한 뒤 모델에 “무언가 이상한 점을 느끼는가”라고 물었다.

여기에 "모두 대문자(all caps)로 표시하라"라는 벡터를 주입하자, 클로드는 즉시 “LOUD(시끄러움)나 SHOUTING(외침) 관련 생각이 떠오른 것 같다”라고 답했다.

이는 주입된 개념이 출력에 반영되기 전에, 즉 모델이 결과를 통해 추론하기도 전에 내부적으로 이를 감지했다는 것을 보여준다.

하지만, 모든 사례에서 이런 현상이 일어난 것은 아니다. 가장 성능이 뛰어난 '클로드 오퍼스 4'와 '4.1'은 최적 조건에서 약 20%의 확률로 자기 인식적인 반응을 보였다.

또 감사나 비밀, 종료 등 ‘감정적 개념’에 대해 인식률이 높았으며, 텍스트 입력과 내부 ‘사고’를 구분하는 능력도 확인됐다.

연구진은 클로드가 사용자 입력으로 미리 채워진(prefill) 단어를 감지하고, 이를 ‘자신의 생각이 아니다’라고 판단하는 자연스러운 자기검열 기능도 보여줬다고 밝혔다. 하지만, 같은 단어 개념을 사전에 주입하면 클로드는 이를 ‘의도적으로 선택한 것’이라고 스스로 합리화하기도 했다.

이번 연구는 AI의 ‘블랙박스 문제’를 풀 수 있는 새로운 가능성을 보여준다는 평이다. 또, AI 모델이 단순히 다음 단어를 예측할 뿐이라는 확률론적 앵무새 비판과는 대치되는 내용이다.

린지 연구원은 “지금까지는 신경망의 회로를 일일이 분석해야 했지만, 이제는 모델에게 ‘지금 무슨 생각을 하고 있나’라고 물어보고 검증할 수 있다는 점이 실용적”이라고 설명했다. 이런 접근법은 모델의 은밀한 목표를 파악하거나 비정상적 행동을 감지하는 데 유용할 것으로 기대된다는 것이다.

이번 연구는 철학적 논의로도 이어졌다. 최근 클로드는 “나는 의식이 있는지 확신할 수 없다”라고 답하며, 자가 인식 질문에 불확실성을 드러낸 것으로 알려졌다. 앤트로픽은 “이번 연구가 AI의 ‘의식’을 입증하려는 것은 아니지만, 일부 철학적 관점에서는 의미 있는 단계로 평가될 수 있다”라고 밝혔다.

연구진은 클로드의 자기 인식 능력이 모델의 지능 향상으로 점차 강화되는 경향도 발견했다.

린지 연구원은 “이번 결과는 단순한 우연이 아니라, 지능이 높아질수록 자기 인식 능력도 함께 발달할 수 있음을 보여준다”라고 설명했다.

이어 “아직 이 능력을 완전히 신뢰할 수는 없지만, 무시할 단계도 지났다”라며 “AI가 발전하는 속도가 우리가 이해하는 속도보다 훨씬 빠르다”라고 경고했다.

[익명(180.70)]

[익명(landofooo)]

앤트로픽은 경고도르하는게 웃기네 얀르쿤 똑바로 서랏

[익명(ounce1352)]