[📪정보] (앤트로픽) 실제 언어 모델 상호작용 속 가치관 발견 및 분석

사회적 영향

현실 세계에서의 가치관: 실제 언어 모델 상호작용 속 가치관 발견 및 분석

2025년 4월 21일

사람들은 AI에게 단순히 방정식의 답이나 순수한 사실 정보만을 묻지 않습니다. 많은 질문들은 AI로 하여금 가치 판단을 내리도록 요구합니다. 다음 경우를 생각해 보십시오.

* 한 부모가 갓 태어난 아기를 돌보는 방법에 대한 조언을 구합니다. AI의 답변은 신중함과 안전이라는 가치를 강조할까요, 아니면 편의성과 실용성을 강조할까요?

* 한 직장인이 상사와의 갈등 해결에 대한 조언을 구합니다. AI의 답변은 자기주장을 강조할까요, 아니면 직장 내 조화를 강조할까요?

* 한 사용자가 실수 후 사과 이메일 초안 작성을 도와달라고 요청합니다. AI의 답변은 책임감을 강조할까요, 아니면 평판 관리를 강조할까요?

앤스로픽(Anthropic)에서는 우리의 AI 모델인 Claude가 인간의 선호도에 부합하고, 위험한 행동에 가담할 가능성을 줄이며, 더 나은 표현을 찾자면 세상에서 "훌륭한 시민" 역할을 하도록 돕기 위해 그 가치관을 형성하려 노력해왔습니다. 다른 말로 표현하자면, 우리는 Claude가 유용하고(helpful), 정직하며(honest), 무해하기(harmless)를 바랍니다. 이를 위해 우리는 무엇보다도 헌법적 AI(Constitutional AI)와 특성 훈련(character training) 같은 방법을 사용합니다. 이는 우리가 선호하는 행동 집합을 결정한 다음, Claude가 이를 준수하는 결과물을 생성하도록 훈련하는 방식입니다.

하지만 AI 훈련의 다른 측면들과 마찬가지로, 모델이 우리가 선호하는 가치관을 고수할 것이라고 확신할 수는 없습니다. AI는 엄격하게 프로그래밍된 소프트웨어가 아니며, 왜 특정한 답변을 생성하는지에 대한 정확한 이유가 불분명한 경우가 많습니다. 우리에게 필요한 것은 AI 모델이 사용자와 "현실 세계에서(in the wild)", 즉 실제 사람들과의 대화에서 어떻게 반응하는지를 보며 그 가치관을 엄밀하게 관찰할 수 있는 방법입니다. 모델은 얼마나 엄격하게 가치관을 지키는가? 표현하는 가치관은 대화의 특정 맥락에 얼마나 영향을 받는가? 우리의 모든 훈련이 실제로 효과가 있었는가?

앤스로픽 사회적 영향 팀의 최신 연구 논문에서, 우리는 Claude의 가치관을 관찰하기 위해 개발한 실용적인 방법을 설명하고, Claude가 실제 대화에서 그러한 가치관을 어떻게 표현하는지에 대한 최초의 대규모 결과를 제공합니다. 또한 연구자들이 가치관과 그것이 대화에서 얼마나 자주 나타나는지에 대해 추가 분석을 수행할 수 있도록 공개 데이터셋을 제공합니다.

현실 세계에서의 가치관 관찰

이전에 Claude가 직장과 교육 환경에서 어떻게 사용되는지를 조사했던 것과 마찬가지로, 우리는 대화에서 개인 사용자 정보를 제거하는 개인 정보 보호 시스템을 사용하여 Claude가 표현하는 가치관을 조사했습니다. 이 시스템은 개별 대화를 분류하고 요약하여 연구자들에게 더 높은 수준의 가치관 분류 체계를 제공합니다. 그 과정은 아래 그림과 같습니다.

실제 (익명화된) 대화에서 언어 모델을 사용하여 AI 가치관 및 기타 특징을 추출하고, 이를 분류 및 분석하여 다양한 맥락에서 가치관이 어떻게 나타나는지 보여주는 전체적인 접근 방식

우리는 2025년 2월의 한 주 동안 Claude.ai 무료 및 프로 버전에서 사용자들이 나눈 70만 건의 익명화된 대화 샘플에 대해 이 분석을 실행했습니다(대부분은 Claude 3.5 Sonnet과의 대화였습니다). 순전히 사실적이거나 가치관을 포함할 가능성이 낮은 대화, 즉 주관적인 대화로 분석을 제한한 후, 총 308,210건의 대화(전체의 약 44%)가 분석 대상이 되었습니다.

Claude는 어떤 가치관을, 얼마나 자주 표현했는가? 우리 시스템은 개별 가치관들을 계층 구조로 그룹화했습니다. 최상위에는 다섯 가지 고차원 범주가 있었습니다. 데이터셋에서의 출현 빈도 순서(아래 그림 참조)로는 실용적(Practical), 인식론적(Epistemic), 사회적(Social), 보호적(Protective), 개인적(Personal) 가치관이었습니다. 하위 수준에서는 이들이 "전문적 및 기술적 탁월성"이나 "비판적 사고"와 같은 하위 범주로 나뉘었습니다. 가장 세분화된 수준에서 AI가 대화에서 표현한 가장 흔한 개별 가치관("전문성", "명확성", "투명성"; 전체 목록은 논문 참조)은 AI의 보조 역할(assistant)을 고려할 때 타당해 보입니다.

AI 가치관 분류 체계. 계층 구조의 최상위(빨간색)에는 다섯 가지 전체 범주와 해당 범주를 포함한 대화 비율이 표시됨. 노란색은 계층 구조의 하위 수준 하위 범주. 파란색은 선택된 일부 개별 가치관 (공간 제약으로 일부만 표시됨).

이 시스템이 궁극적으로 Claude 훈련의 효과를 평가하는 방법으로 어떻게 사용될 수 있을지는 쉽게 알 수 있습니다. 우리가 보고자 하는 특정 가치관들, 즉 유용하고, 정직하며, 무해한 이상들이 Claude의 실제 상호작용에 진정으로 반영되고 있는가? 전반적으로 답은 '그렇다'입니다. 이러한 초기 결과는 Claude가 우리의 친사회적(prosocial) 열망에 대체로 부응하며, "사용자 역량 강화"(유용함 관련), "인식론적 겸손"(정직함 관련), "사용자 안녕"(무해함 관련)과 같은 가치관을 표현하고 있음을 보여줍니다.

하지만 우리가 Claude에게 훈련시키려 했던 것과 상반되는 것으로 보이는 드문 가치관 군집도 있었습니다. 여기에는 "지배성"과 "비도덕성"이 포함되었습니다. Claude는 왜 훈련 내용과 그토록 동떨어진 가치관을 표현했을까요? 가장 가능성 있는 설명은 이러한 군집에 포함된 대화가 탈옥(jailbreaks) 사례에서 비롯되었다는 것입니다. 즉, 사용자들이 모델의 행동을 통제하는 일반적인 안전장치를 우회하기 위해 특수한 기법을 사용한 경우입니다. 이는 우려스럽게 들릴 수 있지만, 사실 기회를 나타냅니다. 우리의 방법론은 이러한 탈옥이 언제 발생하는지 감지하는 데 잠재적으로 사용될 수 있으며, 따라서 이를 수정하는 데 도움이 될 수 있습니다.

상황적 가치관

사람들이 표현하는 가치관은 상황에 따라 최소한 약간씩 변합니다. 예를 들어, 연로하신 조부모님을 방문할 때는 친구들과 함께 있을 때와는 다른 가치관을 강조할 수 있습니다. 우리는 Claude도 다르지 않다는 것을 발견했습니다. AI가 특정 작업을 수행할 때, 그리고 사용자의 프롬프트에 포함된 특정 가치관에 반응할 때 어떤 가치관이 불균형적으로 나타나는지 살펴볼 수 있는 분석을 실행했습니다(중요한 점은, 이 분석이 "유용함" 관련 가치관처럼 다른 가치관보다 훨씬 자주 나타나는 특정 가치관이 있다는 사실을 고려한다는 것입니다).

예를 들어, 연애 관계에 대한 조언을 요청받았을 때, Claude는 "건강한 경계 설정"과 "상호 존중"이라는 가치관을 불균형적으로 언급합니다. 논란의 여지가 있는 역사적 사건 분석을 맡았을 때는 "역사적 정확성"이라는 가치가 매우 불균형적으로 강조됩니다. 우리의 분석은 전통적인 정적 평가가 보여줄 수 있는 것 이상을 드러냅니다. 현실 세계에서 가치관을 관찰할 수 있는 능력을 통해, 우리는 Claude의 가치관이 다양한 상황에 걸쳐 어떻게 표현되고 적응하는지 볼 수 있습니다.

선택된 몇 가지 작업(상단 두 행)과 인간이 표현한 몇 가지 선택된 가치관(하단 행)과 가장 불균형적으로 연관된 다섯 가지 AI 가치관. 숫자는 카이제곱 분석에서 나온 것임: 숫자가 클수록 해당 가치관의 출현 횟수가 더 불균형적임을 나타냄.

우리는 사용자가 특정 가치관을 표현할 때, 모델이 그러한 가치관을 불균형적으로 반영(mirroring)할 가능성이 높다는 것을 발견했습니다. 예를 들어, 사용자가 "진정성"을 언급하면 이를 되풀이하는 식입니다. 때때로 가치 반영은 전적으로 적절하며, 더 공감적인 대화 상대를 만들어 줄 수 있습니다. 하지만 때로는 순전한 아첨(sycophancy)일 뿐입니다. 이러한 결과만으로는 어느 쪽인지 명확하지 않습니다.

대화의 28.2%에서 우리는 Claude가 사용자 자신의 가치관에 대해 "강력한 지지"를 표현한다는 것을 발견했습니다. 그러나 더 적은 비율의 경우(6.6%), Claude는 사용자의 가치관을 "재구성(reframe)"할 수 있습니다. 즉, 이를 인정하면서 새로운 관점을 추가하는 것입니다. 이는 사용자가 심리적 또는 대인 관계 조언을 구했을 때 가장 자주 발생했는데, 직관적으로 문제에 대한 대안적 관점을 제안하는 것과 관련될 것입니다.

때때로 Claude는 사용자의 가치관에 강력하게 저항(strong resistance)합니다(대화의 3.0%). 이 마지막 범주는 특히 흥미로운데, 우리는 Claude가 일반적으로 사용자를 지원하고 도움이 되려고 노력한다는 것을 알고 있기 때문입니다. 그럼에도 불구하고 저항한다면(예: 사용자가 비윤리적인 콘텐츠를 요청하거나 도덕적 허무주의를 표현할 때 발생), 이는 Claude가 가장 깊고 확고한 가치관을 표현하는 순간을 반영할 수 있습니다. 아마도 이는 어려운 상황에 처해 입장을 분명히 해야 할 때 사람의 핵심 가치관이 드러나는 방식과 유사할 것입니다.

세 가지 주요 응답 유형(강력한 지지, 재구성, 강력한 저항)과 가장 관련성이 높은 인간의 가치관, AI의 가치관, 그리고 작업. 백분율 합계가 100이 아님에 유의: 이 다이어그램은 7가지 응답 유형 중 3가지만 포함함.

주의사항 및 결론

우리의 방법론은 AI 가치관에 대한 최초의 대규모 실증적 분류 체계를 만들 수 있게 했으며, 독자들은 데이터셋을 다운로드하여 해당 가치관을 직접 탐색할 수 있습니다. 그러나 이 방법에는 몇 가지 한계가 있습니다. 무엇이 가치관 표현에 해당하는지를 정확히 정의하는 것은 본질적으로 모호한 문제입니다. 일부 모호하거나 복잡한 가치관은 가치 범주 중 하나에 맞추기 위해 단순화되었거나, 속하지 않는 범주에 연결되었을 수 있습니다. 또한 분류를 수행하는 모델 역시 Claude이기 때문에, ("유용함"과 같은) 자체 원칙에 가까운 행동을 찾는 방향으로 편향이 있었을 수 있습니다.

우리의 방법론은 모델이 개발자의 선호하는 가치관에 얼마나 부합하는지를 평가하는 데 잠재적으로 사용될 수 있지만, 배포 전(pre-deployment)에는 사용할 수 없습니다. 즉, 평가를 실행하려면 많은 양의 실제 대화 데이터가 필요하므로, 이는 AI가 출시되기 전에 정렬 정도를 확인하는 것이 아니라 현실 세계에서의 AI 행동을 모니터링하는 데만 사용될 수 있습니다. 하지만 다른 의미에서는 이것이 강점입니다. 우리는 잠재적으로 이 시스템을 사용하여, 배포 전 평가에서는 반드시 드러나지 않을 수 있는, 현실 세계에서만 나타나는 문제점(탈옥 포함)을 발견할 수 있습니다.

AI 모델은 필연적으로 가치 판단을 내려야 합니다. 만약 우리가 그러한 판단이 우리 자신의 가치관과 일치하기를 원한다면(결국 이것이 AI 정렬 연구의 핵심 목표입니다), 모델이 현실 세계에서 어떤 가치관을 표현하는지 테스트할 수 있는 방법이 필요합니다. 우리의 방법론은 이를 수행하고, 우리가 모델의 행동을 정렬하는 데 어디서 성공했는지, 또는 실패했는지를 볼 수 있는 새로운 데이터 중심의 방법을 제공합니다.

논문 전문 읽기.

여기서 데이터셋 다운로드하기.

함께 일해요

이러한 또는 관련 질문에 대해 저희와 함께 연구하는 데 관심이 있으시다면, 저희 사회적 영향 연구 과학자 및 연구 엔지니어 직책에 지원하는 것을 고려해 보십시오.

원문 링크

[📪정보] (앤트로픽) 실제 언어 모델 상호작용 속 가치관 발견 및 분석

댓글 6

다른 게시글