[📪정보] 인공지능의 블랙박스를 좀 더 투명하게 만들 수 있다..?

---

논문 제목

Self-Interpretability: LLMs Can Describe Complex Internal Processes that Drive Their Decisions, and Improve with Training

(자기 해석 가능성: 대규모 언어 모델은 스스로의 의사결정을 이끄는 복잡한 내부 과정을 설명할 수 있으며, 훈련을 통해 더 향상될 수 있다)

---

초록 해석

우리는 대규모 언어 모델(LLM)이 왜, 어떻게 특정한 방식으로 반응하는지에 대해 아직 제한적으로만 이해하고 있다. 신경망은 해석하기 어려우며, 지금까지는 개별 뉴런과 회로가 어떤 기능을 하는지 밝히는 초기 단계에 불과하다.

하지만 또 다른 접근법은, LLM이 자신의 내부 작동을 스스로 반성(introspect)하고 설명할 수 있는 능력을 갖추게 하는 것이다.

본 연구에서는 세 가지를 보여준다:

1. 현재의 LLM들은 의사결정 과정에서 자기 내부 과정을 정량적으로 설명할 수 있다.

2. 이러한 능력은 추가 훈련을 통해 향상될 수 있다.

3. 이 훈련 효과는 일정 수준까지 다른 상황에도 일반화된다.

이를 검증하기 위해 연구진은 GPT-4o와 GPT-4o-mini를 미세 조정(fine-tuning)하여, 대출·휴가·콘도 선택 등 다양한 복잡한 상황에서 의사결정을 내리도록 했다.

모델에게 무작위로 생성된 정량적 ‘선호도’를 부여하고(예: 콘도를 고를 때 자연광 vs 주변 환경 중 어떤 걸 더 중요하게 볼지),

모델이 실제로 의사결정 과정에서 이러한 가중치(선호)를 얼마나 잘 설명할 수 있는지 확인했다.

실험 결과, LLM은 자신이 어떤 속성을 더 중요하게 여겼는지 정확하게 설명할 수 있었다. 그리고 추가 훈련을 통해 다른 종류의 결정 상황에서도 이런 설명 능력이 향상되었다.

즉, LLM은 자신이 결정을 내릴 때 어떤 내부 과정이 작동하는지 보고하고 설명할 수 있도록 학습될 수 있다.

이 연구는 LLM이 단순히 답을 내놓는 데서 그치지 않고, 스스로 왜 그렇게 했는지를 설명할 수 있는 길을 열었다는 점에서 중요하다. 이는 향후 해석 가능성, 제어, 안전성 측면에서 큰 이익을 가져올 수 있다.

무슨 뜻인지 잘 모르겠넹..

댓글 6