[📪정보] 딥마인드 자가 개선 로봇 에이전트 RoboCat 발표

[익명(asdf045)]

새로운 재단 에이전트는 다양한 로봇 팔의 작동법을 학습하고, 100번의 데모를 통해 작업을 해결하며, 자체 생성된 데이터를 통해 개선합니다.

로봇은 빠르게 일상 생활의 일부가 되어가고 있지만, 특정 작업만 잘 수행하도록 프로그래밍되어 있는 경우가 많습니다. 최근의 AI 발전을 활용하면 더 다양한 방식으로 도움을 줄 수 있는 로봇이 개발될 수 있지만,

실제 학습 데이터를 수집하는 데 필요한 시간 때문에 범용 로봇 개발의 진전은 더디게 진행되고 있습니다.

최신 논문에서는 여러 팔에서 다양한 작업을 수행하는 방법을 학습한 다음 새로운 학습 데이터를 스스로 생성하여 기술을 개선하는 로봇 공학용 자가 개선 AI 에이전트인 RoboCat을 소개합니다.

이전 연구에서는 대규모 멀티태스킹을 학습하고 언어 모델에 대한 이해와 도우미 로봇의 실제 기능을 결합할 수 있는 로봇을 개발하는 방법을 탐구했습니다. RoboCat은 다양한 실제 로봇을 통해 여러 작업을 해결하고 적응하는 최초의 에이전트입니다. 사람이 지도하는 훈련의 필요성을 줄여 로봇 연구를 가속화하는 데 도움이 되며, 범용 로봇을 개발하는 데 중요한 단계입니다.

https://youtu.be/535W4Pih1C0

RoboCat: A self-improving robotic agent

RoboCat이 스스로를 개선하는 방법

RoboCat은 시뮬레이션 환경과 물리적 환경 모두에서 언어, 이미지 및 동작을 처리할 수 있는 다중 모드 모델 Gato (스페인어로 "고양이") 를 기반으로 합니다 . 우리는 Gato의 아키텍처를 수백 가지의 다양한 작업을 해결하는 다양한 로봇 팔의 동작 및 이미지 시퀀스의 대규모 교육 데이터 세트와 결합했습니다.

이 첫 번째 교육이 끝난 후 우리는 RoboCat을 이전에 볼 수 없었던 일련의 작업으로 "자체 개선" 교육 주기로 시작했습니다. 각각의 새로운 작업에 대한 학습은 다음 5단계를 거쳤습니다. 

인간이 제어하는 로봇 팔을 사용하여 새로운 작업 또는 로봇의 데모를 100-1000개 수집합니다.

이 새로운 작업/팔에서 RoboCat을 미세 조정하여 특수 스핀오프 에이전트를 만듭니다.

스핀오프 에이전트는 이 새로운 작업/아암에서 평균 10,000회 연습하여 더 많은 교육 데이터를 생성합니다.

데모 데이터와 자체 생성 데이터를 RoboCat의 기존 교육 데이터 세트에 통합합니다.

새 교육 데이터 세트에서 새 버전의 RoboCat을 교육합니다

이 모든 훈련의 조합은 최신 RoboCat이 자체 생성 데이터를 포함하여 실제 로봇 팔과 시뮬레이션된 로봇 팔 모두에서 수백만 개의 궤적 데이터 세트를 기반으로 한다는 것을 의미합니다. 네 가지 유형의 로봇과 많은 로봇 팔을 사용하여 RoboCat이 수행할 작업을 나타내는 비전 기반 데이터를 수집했습니다. 

새로운 로봇 팔을 작동하고 더 복잡한 작업을 해결하는 방법 학습

RoboCat의 다양한 교육을 통해 몇 시간 내에 다양한 로봇 팔을 작동하는 방법을 배웠습니다. 두 갈래 집게가 있는 팔에 대해 훈련을 받았지만 세 손가락 집게와 두 배 더 많은 제어 가능한 입력이 있는 더 복잡한 팔에 적응할 수 있었습니다.

단 몇 시간 만에 수집된 1000개의 인간 제어 시연을 관찰한 후 RoboCat은 이 새로운 팔을 능숙하게 지시하여 86%의 시간 동안 성공적으로 장비를 집을 수 있었습니다. 동일한 수준의 시연을 통해 보다 복잡한 제어에 필요한 그릇에서 올바른 과일을 제거하고 모양 일치 퍼즐을 푸는 것과 같이 정확성과 이해를 결합한 작업을 해결하도록 적응할 수 있습니다

  스스로 발전하는 제너럴리스트

RoboCat은 교육의 선순환을 가지고 있습니다. 새로운 작업을 많이 배울수록 새로운 작업을 더 잘 배울 수 있습니다. RoboCat의 초기 버전은 작업당 500개의 데모에서 학습한 후 이전에 보지 못한 작업에서 36%의 성공률을 보였습니다. 그러나 더 다양한 작업에 대해 훈련한 최신 RoboCat은 동일한 작업에서 이 성공률을 두 배 이상 높였습니다.

https://www.deepmind.com/blog/robocat-a-self-improving-robotic-agent?utm_source=twitter&utm_medium=social&utm_campaign=robocat

RoboCat: A self-improving robotic agent

- dc official App

[ㅇㅋ(ijh2005)]

이제 이걸 GPT API기반 자율연구시스템이 읽어서 실적용/개선해 나가겠지 ㅇㅇ

[익명(211.178)]

전부 이상할 정도로 풀기 쉽도록 바닥에 펼쳐놓기만 하네 다른 형태로 쌓아서 준비해놨을 때 어떻게 푸는지 보고 싶었는데 그런 실험은 없었나? 못 해서 일부러 영상에 안 넣은 건가?

[익명(211.178)]

AdA를 생각해보면 딥마인드 AI가 겨우 그 정도 조건을 못 풀 리가 없는데 왜 영상에 안 넣어놨지

[익명(rechido)]

[익명(landofooo)]

싹 다 자가개선시켜.