[📪정보] 딥마인드 시스템2 ai 새논문

인터랙티브 인텔리전스 모방요약

공상 과학 소설의 공통된 비전은 AI가 언젠가 우리가하는 것처럼 세상을 감지하고 육체 노동을 돕고 자연어를 통해 우리와 소통 할 것이라는 것입니다. 여기에서는 가상 환경의 단순화를 사용하여 인간과 자연스럽게 상호 작용할 수있는 인공 에이전트를 설계하는 방법을 연구합니다. 그럼에도 불구하고이 설정은 인공 지능 (AI) 연구의 여러 핵심 과제 인 복잡한 시각적 인식 및 목표 지향적 물리적 제어, 기본 언어 이해 및 생산, 다중 에이전트 사회적 상호 작용을 통합합니다. 인간과 강력하게 상호 작용할 수있는 에이전트를 구축하기 위해 우리는 인간과 상호 작용하는 동안 그들을 훈련시키는 것이 이상적입니다. 그러나 이것은 현재 비실용적입니다. 따라서 우리는 다른 학습 된 에이전트와 함께 인간의 역할을 대략적으로 추정합니다.

에이전트를 엄격하게 평가하는 것은 큰 도전이되므로 에이전트의 비디오를 보거나 에이전트와 직접 상호 작용하는 인간의 평가를 포함하여 다양한 행동 테스트를 개발합니다. 이러한 평가는 대화 형 교육 및 보조 손실이 감독 된 행동 학습만으로 달성되는 것 이상으로 에이전트 행동을 개선한다는 것을 설득력있게 보여줍니다. 또한 에이전트 기능이 데이터 세트의 문자 적 경험을 넘어 일반화됨을 보여줍니다. 마지막으로 에이전트 등급이 인간의 판단과 잘 일치하는 평가 모델을 훈련하여 추가 노력없이 새로운 에이전트 모델을 평가할 수 있습니다. 종합 해보면이 가상 환경의 결과는 대규모 인간 행동 모방이 지능형 대화 형 에이전트를 생성하는 유망한 도구라는 증거를 제공합니다. 이러한 에이전트를 안정적으로 평가해야하는 문제를 극복 할 수 있습니다. 비디오보기개요 원고의 훈련 시간 경과 , 그리고 인간의 에이전트 상호 작용 .

저자 노트

인공 지능 연구를 시작할 때 두 가지 질문에 답해야합니다. AI 시스템이 무엇을하기를 원합니까? 그리고 우리가이 목표를 향해 진전을 이룰 때 우리는 어떻게 평가할 것입니까? Alan Turing은 튜링 테스트를 설명하는 그의 논문에서 모방 게임을 좀 더 겸손하게 명명하면서 특정 종류의 AI에 대해 이러한 질문은 하나이고 동일 할 수 있다고 주장했습니다. 대략적으로 AI의 행동이 사람이 상호 작용할 때 인간과 같은 지능과 비슷하다면 AI는 테스트를 통과했으며 지능이라고 할 수 있습니다. 인간과 상호 작용하도록 설계된 AI는 인간과의 상호 작용을 통해 테스트되어야합니다.

동시에 상호 작용은 지능의 시험일뿐만 아니라 요점이기도합니다. AI 에이전트가 일반적으로 도움이 되려면 다양한 활동에서 우리를 돕고 자연스럽게 소통해야합니다. 공상 과학에서 우리가 말할 수있는 로봇의 비전은 흔한 일입니다. 그리고 많은 작업을 수행하는 데 도움이 될 수있는 지능형 디지털 에이전트는 매우 유용합니다. 따라서 이러한 장치를 현실화하려면 인간과 상호 작용할 수있는 에이전트를 만들고 부유 한 세상에서 행동을 생성하는 방법에 대한 문제를 연구해야합니다.

인간 및 세계와 상호 작용할 수있는 에이전트를 만드는 것은 여러 가지 중요한 과제를 안겨줍니다. 인공 에이전트에게 그러한 능력을 가르치기 위해 적절한 학습 신호를 어떻게 제공 할 수 있습니까? 언어 자체가 모호하고 추상적 인 경우 개발하는 에이전트의 성능을 어떻게 평가할 수 있습니까? 풍동은 비행기의 디자인과 관련이 있으므로 상호 작용하는 에이전트를 만드는 방법을 연구하기위한 가상 환경을 만들었습니다.

먼저 가상 로봇이 이동하고, 물체를 조작하고, 서로 이야기하여 다양한 흥미로운 상호 작용에 참여할 수있는 시뮬레이션 환경 인 Playroom을 만듭니다. Playroom의 크기는 선반, 가구, 창문과 문과 같은 랜드 마크, 다양한 어린이 장난감 및 가정용 물건의 할당과 같이 무작위로 지정할 수 있습니다. 환경의 다양성은 공간 및 물체 관계, 참조의 모호성, 격리, 구성, 지원, 폐색, 부분 관찰 가능성에 대한 추론과 관련된 상호 작용을 가능하게합니다. 우리는 공동의도, 협력, 사적인 지식의 의사 소통 등을 연구하기위한 사회적 차원을 제공하기 위해 Playroom에 두 명의 에이전트를 삽입했습니다.

놀이방에서 상호 작용하는 요원. 파란색 요원은 노란색 요원에게 "헬리콥터를 상자에 넣어"라고 지시합니다.PLAYROOM의 구성은 데이터 수집의 다양성을 만들기 위해 무작위로 지정됩니다.

우리는 모방 학습, 강화 학습, 감독 및 비지도 학습을 포함하여 인간과 상호 작용할 수있는 에이전트를 구축하기 위해 다양한 학습 패러다임을 활용합니다. Turing이 "모방 게임"을 명명 할 때 예상했듯이 인간과 상호 작용할 수있는 에이전트를 만드는 가장 직접적인 경로는 인간 행동을 모방하는 것입니다. 이러한 데이터로부터 모방 학습을위한 알고리즘과 함께 인간 행동의 대규모 데이터 세트는 텍스트 언어와 상호 작용하거나 게임을 할 수있는 에이전트를 만드는 데 중요한 역할을했습니다. 기초 언어 상호 작용의 경우, 우리는 쉽게 사용할 수있는 기존 행동 데이터 소스가 없으므로 서로 상호 작용하는 인간 참여자로부터 상호 작용을 이끌어내는 시스템을 만들었습니다. 이러한 상호 작용은 주로 플레이어 중 한 명이 "다른 플레이어에게 무언가를 상대적으로 배치하도록 요청"과 같은 지시를 즉석에서 만들도록 유도함으로써 유도되었습니다. 일부 상호 작용 프롬프트에는 "다른 플레이어에게 무언가가 어디에 있는지 설명하도록 요청하십시오."와 같은 질문과 지침이 포함됩니다. 전체적으로 우리는이 환경에서 1 년 이상의 실시간 인간 상호 작용을 수집했습니다.

에이전트는 각각 이미지와 언어를 입력으로 사용하고 물리적 동작과 언어 동작을 출력으로 생성합니다. 우리는 동일한 입력 사양으로 보상 모델을 구축했습니다.왼쪽 : 2 분 동안 상호 작용하는 동안 두 플레이어 (세터 및 솔버)가 주위를 둘러보고, 물체를 잡고 떨어 뜨리고, 말합니다. 오른쪽 : 세터가 "다른 플레이어에게 무언가를 들어달라고 요청"하라는 메시지가 표시됩니다. SETTER는 솔버 에이전트에게 "식탁 앞에있는 평면을 들어 올리십시오"라고 지시합니다. 솔버 에이전트는 올바른 개체를 찾고 작업을 완료합니다.

모방 학습, 강화 학습 및 보조 학습 (지도 및 비지도 학습으로 구성됨)은 최고의 에이전트를 만드는 데 중요한 상호 작용 자체 놀이의 형태로 통합됩니다. 이러한 에이전트는 명령을 따르고 질문에 답할 수 있습니다. 이러한 에이전트를 "솔버"라고합니다. 그러나 에이전트는 명령을 제공하고 질문을 할 수도 있습니다. 이러한 에이전트를 "세터"라고합니다. Setter는 더 나은 솔버를 생성하기 위해 솔버에게 대화식으로 문제를 제기합니다. 그러나 에이전트가 훈련되면 인간은 세터로 플레이하고 솔버 에이전트와 상호 작용할 수 있습니다.

인간 시연에서 우리는지도 학습 (행동 복제), 역 RL을 조합하여 보상 모델을 추론하고 RL을 전달하여 추론 된 보상 모델을 사용하여 정책을 최적화하여 정책을 교육합니다. 반 감독 보조 작업을 사용하여 정책 및 보상 모델의 표현을 형성합니다.세터 에이전트는 솔버 에이전트에게 "흰색 로봇을 가져다가 침대에 올려 놓으십시오"라고 요청합니다. 솔버 에이전트는 로봇을 찾고 작업을 수행합니다. 데모를 통해 학습 한 보상 기능은 작업의 주요 측면 (파란색)을 포착하고 동일한 관찰이 "빨간색 로봇을 가져다가 침대에 올려 놓으십시오"라는 반사 실적 지시와 결합 될 때 더 적은 보상 (회색)을 제공합니다.

우리의 상호 작용은 대부분의 간단한 강화 학습 문제와 같은 방식으로 평가 될 수 없습니다. 예를 들어 승패에 대한 개념이 없습니다. 실제로, 물리적 환경을 공유하면서 언어와 소통하는 것은 놀라운 수의 추상적이고 모호한 개념을 도입합니다. 예를 들어, setter가 솔버에게 무언가를 다른 근처에 두도록 요청하면 정확히 "가까운"것은 무엇입니까? 그러나 표준화 된 설정에서 훈련 된 모델의 정확한 평가는 현대 기계 학습 및 인공 지능의 핵심입니다. 이 설정에 대처하기 위해 우리는 단순히 인간이 대규모 시험에서 에이전트와 상호 작용하도록하는 것을 포함하여 에이전트의 문제를 진단하고 점수를 매기는 데 도움이되는 다양한 평가 방법을 개발했습니다.

인간은 지시 따르기 및 질문 응답 작업 모두에 대해 PLAYROOM에서 지시를 완료하는 데 에이전트 및 다른 인간의 성과를 평가했습니다. 무작위로 초기화 된 에이전트는 거의 0 % 성공했습니다. 감독 된 행동 복제만으로 훈련 된 에이전트 (B)는 시간의 ~ 10-20 %에서 다소 더 잘 수행되었습니다. 준 감독 보조 작업 (B · A)으로 훈련 된 요원도 더 잘 수행했습니다. 인터랙티브 셀프 플레이를 통한지도, 준지도, 강화 학습으로 훈련받은 사람들이 가장 잘 수행하는 것으로 평가되었습니다 (BG · A & BGR · A).

우리 설정의 뚜렷한 장점은 인간 운영자가 언어를 통해 사실상 무한한 새로운 작업 세트를 설정하고 에이전트의 역량을 빠르게 이해할 수 있다는 것입니다. 그들이 대처할 수없는 많은 작업이 있지만 AI 구축에 대한 우리의 접근 방식은 증가하는 역량 세트에서 개선을위한 명확한 경로를 제공합니다. 우리의 방법은 일반적이며 복잡한 환경 및 사람과 상호 작용하는 에이전트가 필요한 모든 곳에 적용 할 수 있습니다.

[📪정보] 딥마인드 시스템2 ai 새논문

댓글 2

다른 게시글