[📪정보] ICLR 2022에서 DeepMind의 최신 연구

[익명(1.239)]

ICLR 2022에서 DeepMind의 최신 연구

인공 지능의 더 큰 일반화를 위한 작업

오늘 컨퍼런스 시즌이 2022 년 4월 25일부터 29일까지 가상으로 진행되는 제10차 국제 학습 표현 회의( ICLR 2022 )와 함께 시작됩니다. 데이터 과학, 머신 비전, 로봇 공학 등에 대한 인공 지능의 최첨단 기술. 

회의 첫날, 우리의 AI for Science 및 Robust and Verified AI 팀 책임자인 Pushmeet Kohli는 AI가 게놈 및 구조 생물학에서 양자에 이르기까지 광범위한 과학적 문제에 대한 솔루션을 극적으로 개선할 수 있는 방법에 대한 연설을 합니다. 화학과 순수 수학까지. 

후원자 및 정기 워크숍 주최자로서 이벤트를 지원하는 것 외에도 우리 연구팀은 올해 10개의 협업을 포함하여 29개의 논문을 발표하고 있습니다. 다음은 곧 있을 구두, 스포트라이트 및 포스터 프레젠테이션에 대한 간략한 내용입니다.

학습 최적화

다수의 주요 논문은 AI 시스템의 학습 프로세스를 보다 효율적으로 만드는 중요한 방법에 중점을 두고 있습니다. 여기에는 성능 향상, 소수의 샷 학습 향상, 계산 비용을 줄이는 데이터 효율적인 시스템 생성이 포함됩니다. 

ICLR 2022 Outstanding Paper Award 수상자 인 "Bootstrapped meta-learning" 에서 에이전트가 스스로 학습하는 방법을 배울 수 있는 알고리즘을 제안합니다. 또한 처음부터 체스, 장기, 바둑을 마스터하는 시스템 인 AlphaZero 를 재설계 하여 적은 수의 시뮬레이션으로 훈련할 때도 계속 개선 하는 정책 개선 알고리즘 을 제시합니다. 광범위한 RL 에이전트 및 환경에서 용량 손실 위험을 완화 하는 레귤러라이저; 주의력 모델을 효율적으로 훈련하기 위한 개선된 아키텍처 .

탐구

호기심은 지식과 기술을 발전시키는 데 도움이 되는 인간 학습의 핵심 부분입니다. 마찬가지로 탐색 메커니즘을 통해 AI 에이전트는 기존 지식을 넘어 알려지지 않은 것을 발견하거나 새로운 것을 시도할 수 있습니다.

질문 진행 " 상담원은 언제 탐색해야 합니까? ", 우리는 에이전트가 탐색 모드로 전환해야 하는 시기, 전환하는 것이 적절한 시간 척도, 탐색 기간이 얼마나 길고 빈번해야 하는지를 가장 잘 결정하는 신호를 조사합니다. 다른 논문에서 에이전트가 RL의 내재적 보상의 한계를 뛰어넘어 더 많은 기술을 배울 수 있도록 하는 " 정보 획득 탐색 보너스 "를 소개합니다.

강력한 AI

실제 세계에서 ML 모델을 배포하려면 교육, 테스트 및 새 데이터 세트 간에 전환할 때 효과적이어야 합니다. 인과 메커니즘을 이해하는 것은 필수적이며, 일부 시스템은 적응하는 반면 다른 시스템은 새로운 도전에 직면하게 됩니다.

이러한 메커니즘에 대한 연구를 확장하여 분포 이동에 대한 견고성에 대한 세분화된 분석을 가능하게 하는 실험적 프레임워크를 제시합니다 . 또한 견고함은 의도하지 않았거나 표적이 된 적의 피해로부터 보호하는 데 도움이 됩니다. 이미지 손상의 경우 흐림, 안개 및 기타 일반적인 문제의 영향을 줄이기 위해 이미지 대 이미지 모델의 매개변수 를 이론적으로 최적화하는 기술을 제안 합니다.

긴급 통신

ML 연구원이 에이전트가 작업을 완료하기 위해 자체 커뮤니케이션을 발전시키는 방법을 이해하는 데 도움이 되는 것 외에도 AI 에이전트는 인구 내 언어 행동에 대한 통찰력을 드러낼 수 있는 잠재력이 있어 보다 상호작용적이고 유용한 AI로 이어질 수 있습니다. 

Inria, Google Research 및 Meta AI의 연구원들과 협력하여 우리는 신경 에이전트를 사용한 컴퓨터 시뮬레이션 의 명백한 모순을 부분적으로 해결하기 위해 언어 형성에 있어 인구 내 다양성의 역할을 연결합니다. 그런 다음 AI에서 더 나은 언어 표현을 구축하는 것이 새로운 커뮤니케이션을 이해하는 데 매우 중요하기 때문에 데이터 세트, 작업 복잡성 및 인구 규모를 독립적인 측면으로 확장하는 것의 중요성 도 조사합니다. 또한 여러 에이전트가 단일 목표를 달성하기 위해 통신하는 게임에서 표현성, 복잡성 및 예측 불가능성의 절충점을 연구했습니다.

[익명(49.166)]

큰거하나왔나...?

[익명(222.104)]

큰거같은 소리하네 ㅋㅋ 애초에 bootstrapped 저것도 별거아님

[ㅇㅇㅇ(14.38)]