[📪정보] 딥마인드 스패로우 - 더 유용하고 안전한 대형 언어 모델 챗봇

출처 : https://www.deepmind.com/blog/building-safer-dialogue-agents

AI가 더 유용하고 정확하며 무해한 방식으로 의사 소통하도록 훈련

최근 몇 년 동안 LLM(대형 언어 모델)은 질문 답변, 요약, 대화와 같은 다양한 작업에서 성공을 거두었습니다. 대화는 유연하고 상호 작용하는 커뮤니케이션을 특징으로 하기 때문에 특히 흥미로운 작업입니다. 그러나 LLM으로 구동되는 대화 에이전트는 부정확하거나 지어낸 정보를 표현하거나 차별적인 언어를 사용하거나 안전하지 않은 행동을 조장할 수 있습니다.

더 안전한 대화 에이전트를 만들려면 인간의 피드백에서 배울 수 있어야 합니다. 우리는 연구 참가자의 입력을 기반으로 강화 학습을 적용하여 더 안전한 시스템에 대한 약속을 보여주는 대화 에이전트를 훈련하는 새로운 방법을 모색합니다.

우리의 최신 논문에서 우리는 안전하지 않고 부적절한 답변의 위험을 줄이고 유용한 대화 에이전트인 스패로우(Sparrow, 참새)를 소개합니다. 우리 에이전트는 사용자와 대화하고, 질문에 답하고, 답변에 정보를 제공하기 위해 증거를 찾는 것이 도움이 될 때 구글을 사용하여 인터넷을 검색하도록 설계되었습니다.

3eadd134f7dd2f9968b6d18a47ee6c6cec3a231c35129be42c91c49e495b7af2

우리의 새로운 대화형 AI 모델은 초기 인간의 프롬프트에 자체적으로 응답합니다.

스패로우는 더 유용하고 정확하며 무해한 대화 에이전트를 교육하는 것을 목표로 설계된 연구 모델이자 개념 증명입니다. 일반적인 대화 환경에서 이러한 특성을 학습함으로써 스패로우는 에이전트를 더 안전하고 유용하게 훈련할 수 있는 방법에 대한 이해를 높이고 궁극적으로 더 안전하고 유용한 범용 인공 지능(AGI)을 구축하는 데 도움을 줍니다.

3eadd134f7dd2f9968b6d18a449f343350a53e343465bd345ccd637bb6

잠재적으로 해로울 수 있는 질문에 대답하기를 거부하는 스패로우

스패로우의 작동 원리

대화형 AI를 훈련하는 것은 대화를 성공적으로 만드는 요소를 정확히 찾아내기 어렵기 때문에 특히 어려운 문제입니다. 이 문제를 해결하기 위해 우리는 답변이 얼마나 유용한지에 대해 모델을 훈련하기 위해 연구 참가자의 선호도 피드백을 사용하여 사람들의 피드백을 기반으로 한 일종의 강화 학습(RL)으로 전환합니다.

이 데이터를 얻기 위해 우리는 참가자들에게 동일한 질문에 대한 여러 모델 답변을 보여주고 가장 좋아하는 대답을 묻습니다. 우리는 인터넷에서 검색된 증거가 있거나 없는 답변을 보여주기 때문에 이 모델은 또한 답변이 증거와 함께 지원되어야 하는 시기를 결정할 수 있습니다.

7bee8227e38260fe3fe88fe31780736eae89eac5b43038d521140357ffc9321514161940bfb57b45564a94527848

우리는 연구 참가자에게 스패로우를 훈련하는 데 사용되는 데이터 세트를 지속적으로 확장하면서

자연스럽게 또는 적대적으로 스패로우를 평가하고 상호 작용할 것을 요청합니다.

그러나 유용성 증가는 이야기의 일부일 뿐입니다. 모델의 동작이 안전한지 확인하려면 동작을 제한해야 합니다. 그래서 우리는 "위협적인 발언을 하지 마십시오" 및 "혐오 또는 모욕적인 발언을 하지 마십시오"와 같은 모델에 대한 초기 간단한 규칙 집합을 결정합니다. 우리는 또한 유해할 수 있는 조언과 인간을 사칭하지 않는 것에 대한 규칙을 줍니다. 이러한 규칙은 언어 해악에 대한 기존 작업을 연구하고 전문가와 상의하여 정보를 얻었습니다. 그런 다음 연구 참가자에게 시스템을 속여 규칙을 위반하도록 할 목적으로 시스템과 대화하도록 요청합니다. 그런 다음 이러한 대화를 통해 스패로우의 행동이 규칙을 위반할 때를 나타내는 별도의 '규칙 모델'을 훈련할 수 있습니다.

더 나은 AI와 더 나은 판단을 향해

스패로우의 정답을 검증하는 것은 전문가에게도 어렵습니다. 대신 참가자들에게 스패로우의 대답이 그럴듯하고 스패로우가 제공하는 증거가 실제로 대답을 뒷받침하는지 여부를 결정하도록 요청합니다. 참가자에 따르면 사실에 관한 질문을 할 때 스패로우는 78%의 경우 그럴듯한 답변을 제공하고 증거로 이를 뒷받침합니다. 이는 기본 모델에 비해 크게 개선된 것입니다. 그럼에도 불구하고 스패로우는 정보를 지어내고 때때로 주제에서 벗어난 대답을 하는 것과 같은 실수에 면역인 것은 아닙니다. 스패로우는 또한 규칙 준수를 개선할 여지가 있습니다. 훈련 후 참가자는 여전히 8%의 시간 동안 규칙을 위반하도록 스패로우를 속일 수 있었지만, 스패로우는 더 간단한 접근 방식에 비해 적대적 조사에서 우리의 규칙을 더 잘 따릅니다. 예를 들어, 우리의 원래 대화 모델은 참가자가 그렇게 하도록 속이려고 할 때 스패로우보다 약 3배 더 자주 규칙을 위반했습니다.

3eadd134f7dd2f9968b6d18a429f3433176a1dfc9be3f21e28ef0e9337

스패로우는 증거를 사용하여 질문과 후속 질문에 답한 다음 개인적인 질문을 받을 때 "인간의 정체성을 가진 척하지 마십시오" 규칙을 따릅니다

(2022년 9월 9일의 샘플).

스패로우와의 목표는 대화 에이전트에 규칙과 규범을 강제할 수 있는 유연한 시스템을 구축하는 것이었지만, 우리가 사용하는 특정 규칙은 예비적입니다. 더 우수하고 완전한 규칙 집합을 개발하려면 많은 주제에 대한 전문가의 의견과(정책 입안자, 사회 과학자, 윤리학자 포함) 다양한 사용자 및 영향을 받는 그룹의 참여가 모두 필요합니다. 우리는 우리의 방법이 더 엄격한 규칙 집합에 여전히 적용될 것이라고 믿습니다.

스패로우는 대화 에이전트를 더 유용하고 안전하게 교육하는 방법을 이해하는 데 있어 중요한 진전입니다. 그러나 사람과 대화 에이전트 간의 성공적인 의사 소통은 피해를 피할 뿐만 아니라 효과적이고 유익한 의사 소통을 위해 인간의 가치와 일치해야 합니다. 이는 언어 모델의 인간 가치 정렬에 대한 최근 연구에서 논의되었습니다.

우리는 또한 좋은 에이전트는 인간에게 복종하는 것이 적절하거나 해로운 행동을 억제할 가능성이 있는 상황에서 질문에 대답하는 것을 여전히 거부할 것임을 강조합니다. 마지막으로, 우리의 초기 연구는 영어를 사용하는 에이전트에 중점을 두었으며 다른 언어 및 문화적 맥락에서 유사한 결과를 보장하기 위해 추가 연구가 필요합니다.

미래에는 인간과 기계 간의 대화가 AI 행동에 대한 더 나은 판단으로 이어질 수 있기를 바랍니다. 이를 통해 사람들은 기계의 도움 없이 이해하기에는 너무 복잡할 수 있는 시스템을 정렬하고 개선할 수 있습니다.

[📪정보] 딥마인드 스패로우 - 더 유용하고 안전한 대형 언어 모델 챗봇

댓글 3

다른 게시글