[📪정보] MLM, 메모리 기반 오픈월드 다중작업 Agent

[특갤용(118wshxhtx5h)]

Multimodal, Multitask, LLM agent, embodied agent, in-context (lifelong) learning, Retrieval-augmented generation (RAG) 등 다양한 최신 트렌드를 담은 논문이라 공유드립니다.

GPT4+RAG로 이런것도 가능하다 정도로 보시면 될 것 같습니다.

paper title : JARVIS-1: Open-world Multi-task Agents with Memory-Augmented Multimodal Language Models

paper link : https://arxiv.org/abs/2311.05997

project link : https://craftjarvis-jarvis1.github.io/

요약 : 마인크래프트의 open-world에서 RL없이 LLM만으로 multimodal 상황 인지, 복잡한 장기 계획 생성, 체화된 제어를 통해 다양한 작업을 수행하는 JARVIS-1 모델

1. introduction

기존 AI agent들은 무한한 open world 작업을 처리하거나 점진적으로 개선하는 능력이 부족함

JARVIS-1은 시각+사람 명령 인지, 복잡한 계획, 체화 제어, multimodal 메모리 등을 통해 Minecraft Universe Benchmark 초기-중기 작업에서 만점에 가까운 점수 달성

long-horizon 다이아몬드 곡괭이 작업에서도 이전 SOTA(VPT)의 5배인 12.5% 성공률 달성

multimodal 센서 입력은 MineCLIP과 LLM을 혼합한 MLM(Multimodal Laungauge Model)으로 처리. LLM 대비 open world에서 상황 이해, self-check, self-explain, 계획 수정 등이 개선됨

Multimodal 메모리에 사전 지식, 경험 정보 등 담아서 계획 수정 능력과 일관성 향상. RL과 달리 추가 학습 없이 in-context만으로 exploration과 저장, 계획 정밀화, self-instruct 반복으로 life-long 내 self-improve가 가능해짐

2. open-world 환경에서 AI agent의 과제

Challenge I: Situation-Aware Planning
침대 제작 같은 작업은 현재 위치, 필요한 재료/몬스터까지의 위치, 시간, 날씨, 장비 내구도 등 현재 상황에 대한 인식과 실시간 업데이트가 필요함

GPT 기반 planner과 달리 사람 또는 JARVIS-1은 이러한 situation-aware planning을 보임 (a)

Challenge II: Task Complexity

메인 목표(e.g. ObtainEnchantingTable)을 위한 subgoal 달성, 조건 충족 및 장기 계획이 필요함

LLM의 self-debugging과 상호작용 계획 능력을 이용해 높은 복잡도의 작업에서 GPT보다 나은 성능을 보임 (b)

Challenge III: Life-long Learning
추가 학습없이 open world의 무한한 작업으로 일반화할 수는 없으므로, 현재 작업을 수행하면서 새로운 작업을 학습하는 life-long learning이 필요

JARVIS-1은 gradient 기반 모델 업데이트 없이 모든 경험을 메모리에 저장하고 검색함으로써 계획 성능을 연속적으로 강화할 수 있음

e.g. ObtainDiamondPickaxe과 ObtainDiamondAxe는 같은 재료를 사용하므로 메모리에 저장된 정보를 바탕으로 계획 또는 작업 달성에 서로 도움을 줄 수 있음 (c)

3. 메모리 증강 MLM을 통한 다중작업 Agent 아키텍처

전체 과정 : 수행할 작업과 현재 상황(multimodal input → 텍스트 설명) 인식 → MLM 이용해 multimodal 메모리에서 관련 검색을 위한 query 생성 → 메모리에서 관련 경험, 사전지식 추출 및 planning 명령어 → MLM의 prompt로 입력 → controller를 위한 짧은 목표 g1,...,gK 생성 → 키보드 마우스 액션 수행 → 성공 시 다시 메모리로 저장

이때 스스로 작업 제안 및 exploration을 수행하는 self-instruct, 여러 JARVIS-1 agent가 병렬적으로 경험을 수집해 메모리를 키우는 self-improve가 수행됨

planning 시에는 작업 수행 전에 현재 상황이 목표의 조건을 충족하는지 확인하거나 결과를 예측하고 행동 후 평가하는 self-check를 수행함

또 수행 실패 시엔 환경의 피드백을 MLM에 넣어 실패 원인을 설명하는 self-explain을 수행함

외부 지식을 통해 모델의 내부 표현을 보완하는 RAG(Retrieval-augmented generation)를 사용함. 단 외부 지식이 아닌 모델이 직접 수집한 multimodal 메모리를 사용함

RAG 모델 :

(x는 명령어, y는 계획, z는 가장 유사한 메모리 entry, p_η는 검색 모델, p_θ는 계획모델(MLM))

검색 모델 :

먼저 시각&텍스트 query와 메모리의 각 task key들을 CLIP의 텍스트 인코더로 임베딩하고 유사도를 계산해 임계치를 넘는 entry만 후보로 선정

시각 query(s_x)와 메모리 후보 entry의 시각 key(s_z)에 대해서도 CLIP으로 임베딩해 유사도를 계산한뒤 높은 순으로 top-k 후보를 선정함(z)

4. 실험

모든 작업에서 가장 높은 성능을 달성함

특히 다이아몬드와 관련된 작업에서 DEPS(Wang et al., 2023)보다 3배 정도 높은 성공률을 보임

VPT는 다양한 작업을 수행할 수 있지만 사람에 의한 명령을 수행하기 어려움. 강화학습(RL)으로 특정 작업에 파인튜닝해야 하지만 직후 다른 작업의 성능이 떨어지는 문제가 있음

Steve-1(Lifshitz et al., 2023)에서는 VPT-earlygame에 goal-conditioned 파인튜닝을 통해 다중작업 성능을 유지하는 방법을 제안함

20분 내에 다이아몬드 곡괭이를 제작하는 long-horizon 작업에서 JARVIS-1은 VPT-RL보다도 3배 높은 성공률을 보임 (6.22% vs 2.5%)

60분으로 확장할 시엔 12.5%로 증가하며, 이는 한 lifelong 내에서 JARVIS-1의 기술이 지속적으로 향상됨을 의미함

예시 영상 (철곡괭이 제작)

[익명(118.220)]

로봇가정부 5년 본다

[익명(koohj7266)]

신기하노 - dc App

[dd(rladmstn78)]

이게 되네

[ㅇㅋ(ijh2005)]

결국 저런류의 모델이 자율주행에 매우필요함 내년중으로 자율주행 머신에 장착될정도의 대규모 효율개선이 성능발전과 함께 일어나야하며 또 충분히 그럴거라고봄 그렇게 되면 내년말이나 내후년 초쯤에 자율주행진짜 초고속도입 쌉가능함

[익명(eng1010)]

마크로 지구 맛보기했으니 이제 리얼월드로 오너라

[부패하는유전자!!!(sansss2015)]

맛난 정보글이구나

[부패하는유전자!!!(sansss2015)]

발전이 너무...빨라

[익명(gjtthf)]

[익명(rechido)]

[익명(59.22)]

이제 요리는 로봇에게 맡겨도 되겠노??

[익명(112.165)]

솔직히 뭔 말인지 모르겠음

[익명(rty1x21s8nhq)]