[📪정보] VL Models as a Source of Rewards

[특갤용(118wshxhtx5h)]

Vision-Language Models as a Source of Rewards

Google DeepMind

Abstract

Building generalist agents that can accomplish many goals in rich open-ended environments is one of the research frontiers for reinforcement learning. A key limiting factor for building generalist agents with RL has been the need for a large number of reward functions for achieving different goals. We investigate the feasibility of using off-the-shelf vision-language models, or VLMs, as sources of rewards for reinforcement learning agents. We show how rewards for visual achievement of a variety of language goals can be derived from the CLIP family of models, and used to train RL agents that can achieve a variety of language goals. We showcase this approach in two distinct visual domains and present a scaling trend showing how larger VLMs lead to more accurate rewards for visual goal achievement, which in turn produces more capable RL agents.

풍부하고 개방된 환경에서 많은 목표를 달성할 수 있는 범용 에이전트를 구축하는 것은 강화 학습 연구의 최전선 중 하나입니다. RL을 사용하여 범용 에이전트를 구축하는 데 있어 주요 제한 요인은 다양한 목표를 달성하기 위한 다수의 보상 함수가 필요하다는 것이었습니다. 우리는 강화 학습 에이전트에 대한 보상의 원천으로 현존하는 시각-언어 모델, 또는 VLM들을 사용하는 가능성을 조사합니다. 우리는 CLIP 계열 모델에서 파생된 다양한 언어 목표의 시각적 성취를 위한 보상이 어떻게 도출될 수 있는지 보여주며, 이를 사용하여 다양한 언어 목표를 달성할 수 있는 RL 에이전트를 훈련시킵니다. 우리는 이 접근 방식을 두 가지 다른 시각적 영역에서 보여주고, 더 큰 VLM들이 시각적 목표 달성을 위한 보다 정확한 보상으로 이어지는 경향을 보여주며, 이는 다시 더 유능한 RL 에이전트를 만들어냅니다.

https://arxiv.org/abs/2312.09187

Vision-Language Models as a Source of Rewards

[부패하는유전자!!!(sansss2015)]