[📪정보] 딥마인드, 다중 에이전트 강화학습을 위한 평가 제품군 출시

[익명(1.239)]

DeepMind Launches Evaluation Suite For Multi-Agent RL (analyticsindiamag.com)

개발된 환경 기술과 그것이 배치된 환경 사이의 엄청난 격차는 대부분의 기술이 실패 하는 이유를 설명할 수 있습니다. 특히 다중 에이전트 시스템의 경우 일반화하기가 어렵습니다. 이에 대한 두 가지 주요 원인은 물리적 환경 변화와 사회적 환경 변화입니다. 전자는 광범위하게 연구되었지만 사회적 환경 변화 문제는 무시되었습니다.

다중 에이전트 강화 학습은 인공 에이전트가 서로 및 환경과 상호 작용하는 방식을 탐구합니다. 이 클래스의 알고리즘은 사회적 일반화 능력의 이점을 얻을 것입니다. 그러나 이러한 능력을 평가하기 위한 체계적인 평가 기준은 없다.

이를 위해 DeepMind는 Melting Pot이라는 다중 에이전트 강화 학습을 위한 확장 가능한 평가 제품군을 도입했습니다. 

멜팅팟이란?

Melting Pot은 알려진 개인과 알려지지 않은 개인으로 구성된 새로운 상황에 대한 일반화를 평가하는 새로운 평가 기법입니다. 협력, 속임수, 경쟁, 신뢰, 보답, 완고함 등과 같은 광범위한 사회적 상호 작용을 테스트할 수 있습니다.

광범위하게 허용되는 벤치마크 테스트가 없는 MARL(다중 에이전트 강화 학습)과 달리 SARL(단일 에이전트 강화 학습)에는 다양한 목적에 적합한 다양한 벤치마크 세트가 있습니다. 또한 MARL은 다른 기계 학습 하위 필드에 비해 상대적으로 평가 환경이 좋지 않습니다.

Melting pot은 에이전트를 교육하기 위한 21개의 MARL 다중 에이전트 게임 또는 '기판'과 이러한 에이전트를 평가하기 위한 85개 이상의 고유한 테스트 시나리오를 제공합니다. 

중심 방정식 - 기질 + 배경 인구 = 시나리오 - 멜팅 팟 기술의 진정한 본질을 포착합니다. 기질이라는 용어는 부분적으로 관찰 가능한 일반 합 마르코프 게임을 나타냅니다. Melting Pot 기질은 각 플레이어가 소유하고 있는 불완전한 정보의 게임으로, 공동 플레이어에게는 알려지지 않습니다. 여기에는 지도의 레이아웃, 개체의 위치 및 이동 방법이 포함됩니다. 배경 모집단이라는 용어는 테스트 대상 에이전트의 초점 모집단을 제외하면서 대리인이 있는 시뮬레이션의 일부입니다. 마지막으로 시나리오는 에이전트가 훈련되지 않고 테스트에만 사용되는 다중 에이전트 환경입니다.

Melting Pot 연구 는 다중 에이전트 강화 학습 알고리즘을 평가하고 비교하며 테스트 시간 평가에만 관심이 있습니다. 즉, 개발자는 각 테스트의 기판에 액세스할 수 있지만 사용 방법을 지시할 수 없습니다.

Melting Pot 제품군에는 유사한 기질을 저장하고 익숙하지 않은 배경 모집단을 대체하는 제로샷 테스트 시나리오 모음이 포함되어 있습니다. DeepMind의 팀은 순수 경쟁 게임, 팀 기반 경쟁 게임, 혼합 된 동기, 조정 게임의 종류, 순수한 공통의 관심사의 게임을 포함하고있다. 각 게임의 플레이어 수는 2명에서 16명 사이입니다. 실험을 위해 연구원들은 다양한 MARL 모델에 대한 Melting Pot에 대한 벤치마크 결과를 제공했으며 집단적 보상을 최대화하면 새로운 사회적 상황에 덜 강력한 정책이 생성됨을 발견했습니다. 그러나 개인의 보상을 극대화한 정책의 경우는 그 반대입니다.

테스트 시나리오에 대한 상담원의 성과는 다음 질문에 대한 답변입니다.

• 그들은 개인이 상호 의존하는 사회적 상황에서 잘 수행합니까?
• 그들은 훈련 중에 관찰되지 않은 익숙하지 않은 개인과 효과적으로 상호 작용합니까?
• 보편화 테스트를 통과합니까?

이러한 질문에 대한 답변은 일반화 능력에 따라 다양한 다중 에이전트 강화 알고리즘의 순위를 지정하는 데 사용할 수 있습니다.

마무리

Melting pot 은 오픈 소스 프로젝트입니다. 팀은 강화 학습을 사용하여 환경 설계에 대한 인력을 줄였습니다. 이에 대한 한 가지 시연은 85개의 서로 다른 시나리오를 만드는 것이었습니다. 테스트 시나리오에서 봇의 효율성은 학습 시스템의 성능을 개선하여 향상됩니다. Melting Pot은 최신 에이전트 기술을 새로운 배경 모집단 및 테스트 시나리오에 통합하여 더욱 개선될 것입니다. “ Melting Pot 이 다중 에이전트 강화 학습의 표준 벤치마크가 되기를 바랍니다 . 우리는 그것을 유지할 계획이며 더 많은 사회적 상호 작용과 일반화 시나리오를 다루기 위해 향후 몇 년 동안 확장할 것입니다.”라고 팀이 블로그에서 말했습니다 .