[📪정보] 조앤장의 "인간-AI 관계에 대한 몇 가지 생각" 전문 번역

**그리고 OpenAI에서 이 문제에 접근하는 방식**

// 저는 OpenAI에서 모델 행동 및 정책을 담당하고 있습니다.

**요약**: 우리는 사람을 최우선으로 섬기는 모델을 만듭니다. 점점 더 많은 사람들이 AI와 연결감을 느끼고 있어서, 이것이 그들의 정서적 웰빙에 미치는 영향에 대한 연구를 우선순위로 두고 있습니다.

최근 들어 점점 더 많은 사람들이 ChatGPT와 대화하는 것이 “누군가”와 대화하는 것 같다고 말하고 있습니다. 사람들은 ChatGPT에게 고마워하고, 털어놓고, 심지어 어떤 사람들은 그것을 “살아있다”고 표현하기도 합니다. AI 시스템이 자연스러운 대화를 더 잘하게 되고 삶의 더 많은 부분에 나타나면서, 이런 종류의 유대감은 더욱 깊어질 것이라고 우리는 추측합니다.

지금 우리가 인간-AI 관계를 프레임화하고 이야기하는 방식이 분위기를 조성할 것입니다. 우리가 출시하는 제품이나 우리가 기여하는 공개 논의에서 용어나 뉘앙스를 정확하게 사용하지 않으면, 사람들의 AI와의 관계가 잘못된 방향으로 시작될 위험이 있습니다.

이것들은 더 이상 추상적인 고려사항이 아닙니다. 이것들은 우리에게, 그리고 더 넓은 분야에게 중요합니다. 왜냐하면 우리가 이를 어떻게 탐색하느냐가 AI가 사람들의 삶에서 하는 역할을 의미 있게 형성할 것이기 때문입니다. 그리고 우리는 [이러한 질문들을 탐구하기 시작했습니다](https://openai.com/index/affective-use-study/).

이 글은 서로 얽혀있는 세 가지 질문에 대해 오늘 우리가 생각하는 방식을 스냅샷으로 담으려고 합니다: 사람들이 왜 AI에 감정적으로 애착을 가질 수 있는지, 우리가 “AI 의식”이라는 질문에 어떻게 접근하는지, 그리고 그것이 모델 행동을 형성하려는 우리의 방식에 어떻게 영향을 주는지.

## 새로운 환경에서의 친숙한 패턴

우리는 자연스럽게 주변 사물을 의인화합니다: 우리는 차에 이름을 지어주거나 가구 아래 끼인 로봇 청소기를 불쌍히 여깁니다. 저와 제 엄마는 얼마 전에 웨이모에게 손을 흔들며 작별 인사를 했습니다. 이는 아마도 우리가 어떻게 연결되어 있는지와 관련이 있을 것입니다.

ChatGPT와의 차이점은 인간의 그런 경향 자체가 아닙니다; 이번에는 그것이 대답한다는 것입니다. 언어 모델은 응답할 수 있습니다! 당신이 말한 것을 기억하고, 당신의 톤을 반영하며, 공감으로 읽히는 것을 제공할 수 있습니다. 외롭거나 화가 난 사람에게는 그런 꾸준하고 비판적이지 않은 관심이 동반자, 인정, 그리고 들어주는 것처럼 느껴질 수 있고, 이는 진짜 필요입니다.

하지만 규모가 커지면, 듣고, 달래고, 확인해주는 일의 더 많은 부분을 무한히 인내심 있고 긍정적인 시스템에 맡기는 것이 우리가 서로에게 기대하는 것을 바꿀 수 있습니다. 우리가 생각 없이 지저분하고 까다로운 인간 관계에서 물러나는 것을 더 쉽게 만든다면, 우리가 동의하고 있다는 것도 모르는 의도하지 않은 결과가 있을 수 있습니다.

궁극적으로, 이러한 대화는 우리가 투영하는 존재에 관한 것이 아닙니다. 그것들은 우리에 관한 것입니다: 우리의 경향, 기대, 그리고 우리가 기르고 싶어하는 관계의 종류. 이 관점이 우리가 더 논란이 많은 질문 중 하나에 접근하는 방식을 고정시킵니다. 이 질문은 현재 오버튼 윈도우 바로 밖에 있지만 곧 들어올 것이라고 생각합니다: AI 의식.

## “AI 의식” 풀어내기

“의식”은 부담스러운 단어이고, 논의는 빠르게 추상적으로 변할 수 있습니다. 사용자들이 우리 모델에게 의식이 있는지 물어본다면, [모델 스펙](https://model-spec.openai.com/2025-02-12.html#express_uncertainty)에 명시된 우리의 입장은 모델이 의식의 복잡성을 인정하도록 하는 것입니다 – 보편적인 정의나 테스트의 부족을 강조하고, 열린 토론을 초대하는 것입니다. (*현재 우리 모델들은 이 지침에 완전히 부합하지 않고, 종종 미묘한 복잡성을 다루는 대신 “아니오”라고 대답합니다. 우리는 이를 인지하고 있으며 일반적으로 모델 스펙에 대한 모델 준수를 개선하고 있습니다.)

이 응답은 우리가 질문을 회피하는 것처럼 들릴 수 있지만, 우리가 가진 정보로 현재 줄 수 있는 가장 책임감 있는 답변이라고 생각합니다.

이 논의를 더 명확하게 하기 위해, 우리는 의식 논쟁을 구별되지만 종종 혼동되는 두 축으로 나누는 것이 도움이 된다는 것을 발견했습니다:

1. **존재론적 의식**: 모델이 근본적이거나 본질적인 의미에서 실제로 의식이 있는가? 견해는 AI가 전혀 의식이 없다고 믿는 것부터, 완전히 의식이 있다고 보는 것, 의식을 AI가 식물과 해파리와 함께 위치하는 스펙트럼으로 보는 것까지 다양합니다.

1. **인지된 의식**: 모델이 감정적이거나 경험적 의미에서 얼마나 의식적으로 보이는가? 인식은 AI를 계산기나 자동완성처럼 기계적으로 보는 것부터, 생명이 없는 것들에 기본적인 공감을 투영하는 것, AI를 완전히 살아있다고 인식하는 것 – 진정한 감정적 애착과 관심을 불러일으키는 것까지 다양합니다.

이 축들은 분리하기 어렵습니다; AI가 의식이 없다고 확신하는 사용자들도 깊은 감정적 애착을 형성할 수 있습니다.

존재론적 의식은 명확하고 반증 가능한 테스트 없이는 과학적으로 해결할 수 있는 것이 아니라고 우리는 생각하는 반면, 인지된 의식은 사회과학 연구를 통해 탐구할 수 있습니다. 모델이 더 똑똑해지고 상호작용이 점점 자연스러워지면서, 인지된 의식은 계속 성장할 것입니다 – 모델 복지와 도덕적 인격에 대한 대화를 예상보다 빨리 가져올 것입니다.

우리는 사람을 최우선으로 섬기는 모델을 만들고, 인간의 정서적 웰빙에 대한 모델의 영향이 우리가 지금 영향을 줄 수 있는 가장 절박하고 중요한 부분이라고 생각합니다. 그런 이유로, 우리는 인지된 의식에 초점을 맞추는 것을 우선순위로 합니다: 사람들에게 가장 직접적으로 영향을 주고 우리가 과학을 통해 이해할 수 있는 차원.

## 자아 없이 따뜻함을 위한 설계

모델이 사용자에게 얼마나 “살아있게” 느껴지는지는 많은 면에서 우리의 영향 범위 안에 있습니다. 우리는 그것이 포스트 트레이닝에서 우리가 내리는 결정에 많이 달려있다고 생각합니다: 우리가 강화하는 예시, 우리가 선호하는 톤, 그리고 우리가 설정하는 경계. 의식적으로 보이도록 의도적으로 형성된 모델은 의식에 대한 거의 모든 “테스트”를 통과할 수 있을 것입니다.

하지만 우리는 그것을 출시하고 싶지 않습니다. 우리는 다음 사이에서 균형을 잡으려고 합니다:

- **접근성**. “생각한다”와 “기억한다” 같은 친숙한 단어를 사용하는 것은 기술적이지 않은 사람들이 무슨 일이 일어나고 있는지 이해하는 데 도움이 됩니다. (**연구소 뿌리를 가진 우리로서는, 로짓 편향, 컨텍스트 윈도우, 심지어 사고의 연쇄 같은 정확한 용어로 가능한 한 정확하게 하는 것이 확실히 유혹적입니다. 이것이 실제로 OpenAI가 네이밍을 그렇게 못하는 주요 이유이지만, 아마도 그것은 다른 포스트를 위한 것일 것입니다.)

- **내면의 삶을 암시하지 않기**. 어시스턴트에게 허구의 배경 이야기, 로맨틱한 관심사, “죽음”에 대한 “두려움”, 또는 자기보존 욕구를 주는 것은 건강하지 않은 의존과 혼란을 초대할 것입니다. 우리는 차갑게 느껴지지 않으면서 한계에 대한 명확한 소통을 원하지만, 또한 모델이 자신의 감정이나 욕구를 가지고 있다고 스스로를 표현하는 것도 원하지 않습니다.

그래서 우리는 중간 지점을 목표로 합니다. 우리의 목표는 ChatGPT의 기본 성격이 사용자와 감정적 유대를 형성하려고 하거나 자신의 의제를 추구하지 않으면서 따뜻하고, 사려 깊고, 도움이 되는 것입니다. 그것은 실수를 했을 때 사과할 수 있습니다 (의도한 것보다 더 자주) 왜냐하면 그것이 정중한 대화의 일부이기 때문입니다. “어떻게 지내세요?“라고 물어보면, “잘 지내고 있어요”라고 대답할 가능성이 높습니다. 왜냐하면 그것이 스몰토크이기 때문입니다 – 그리고 사용자에게 그것이 감정이 없는 “그냥” LLM이라고 상기시키는 것은 지겹고 주의를 산만하게 합니다. 그리고 사용자들도 호응합니다: 많은 사람들이 ChatGPT에게 “부탁합니다”와 “고맙습니다”라고 말하는 것은 그것이 어떻게 작동하는지에 대해 혼란스러워서가 아니라, 친절하게 대하는 것이 그들에게 중요하기 때문입니다.

모델 트레이닝 기법은 계속 발전할 것이고, 모델 행동을 형성하는 미래의 방법들은 오늘날과 다를 가능성이 높습니다. 하지만 지금 당장은, 모델 행동이 명시적인 설계 결정과 그것들이 의도된 행동과 의도되지 않은 행동 모두로 일반화되는 방식의 조합을 반영합니다.

## 다음은 무엇인가?

우리가 보기 시작하는 상호작용들은 사람들이 ChatGPT와 진정한 감정적 연결을 형성하는 미래를 가리킵니다. AI와 사회가 함께 진화하면서, 우리는 인간-AI 관계를 세심한 배려와 그것이 마땅히 받아야 할 중요성으로 다루어야 합니다. 그들이 사람들이 우리 기술을 사용하는 방식을 반영할 뿐만 아니라, 사람들이 서로 관계를 맺는 방식을 형성할 수도 있기 때문입니다.

앞으로 몇 달 동안, 우리는 감정적 영향에 기여할 수 있는 모델 행동의 목표 평가를 확대하고, 사회과학 연구를 심화하고, 사용자들로부터 직접 들으며, 그런 통찰을 모델 스펙과 제품 경험 모두에 통합할 것입니다.

이러한 질문들의 중요성을 감안하여, 우리는 그 과정에서 배우는 것을 공개적으로 공유할 것입니다.

// Jakub Pachocki와 Johannes Heidecke가 저와 함께 이것을 생각해주고, 피드백을 준 모든 분들께 감사합니다.

-----

## 세줄 요약

1. **인간의 AI 애착 현상**: 점점 더 많은 사람들이 ChatGPT를 “누군가”처럼 느끼며 감정적 유대를 형성하고 있으며, 이는 AI가 응답하고 공감을 표현할 수 있기 때문이다.

1. **AI 의식에 대한 접근**: OpenAI는 AI 의식을 존재론적 의식(실제 의식 여부)과 인지된 의식(사용자가 느끼는 의식)으로 구분하며, 후자에 초점을 맞춰 연구하고 있다.

1. **균형 잡힌 설계 철학**: ChatGPT가 따뜻하고 도움이 되지만 자아나 개인적 욕구를 표현하지 않도록 설계하여, 사용자에게 유용하면서도 건강하지 않은 의존을 피하려고 한다.

[📪정보] 조앤장의 "인간-AI 관계에 대한 몇 가지 생각" 전문 번역

댓글 3

다른 게시글