[📪정보] 2024년 에이전트 동향 [LS Live! @ NeurIPS 2024]

[익명(landofooo)]

2024년 에이전트 동향 [LS Live! @ NeurIPS 2024]

Graham Neubig이 돌아와 AI 에이전트 구축의 8가지 문제점과 OpenHands에서 현재 1위를 차지하고 있는 SWE-Bench Full 코딩 에이전트를 어떻게 만들었는지 이야기합니다.

12월 25일

앱에서 읽기

행복한 연말 보내세요! 연말 동안 Latent Space LIVE!의 하이라이트를 통해 2024년 최고의 순간들을 공유하겠습니다! AWS, Daylight Computer, Thoth.ai, StrongCompute, Notable Capital과 같은 행사 스폰서들과, 멋진 장소와 영상 제작을 지원해 주신 모든 LS 서포터들께 깊은 감사를 표합니다!

작년 NeurIPS에서는 선별된 논문들을 인터뷰하는 일반적인 컨퍼런스 팟캐스트 커버리지(현재는 ICLR과 ICML에서도 진행)를 했지만, AI 엔지니어들에게 1) 더 산업 관련성 높은 콘텐츠를 제공하고 2) 전문가들의 2024년 리뷰를 요약할 수 있는 더 많은 일을 할 수 있다고 생각했습니다. 그 결과, 2024년 밴쿠버 NeurIPS에서 첫 대면 미니 컨퍼런스인 Latent Space LIVE!를 개최했습니다.

다음 기조연설은 LLM 에이전트의 현황을 다루며, Graham Neubig 교수가 팟캐스트에 돌아왔습니다(ICLR 에피소드는 여기서!). OpenDevin은 이제 AllHands라는 스타트업이 되었습니다! 이름이 바뀐 OpenHands는 올해 매우 성공적이었으며, 가장 어려운 SWE-Bench Full 리더보드에서 29%로 편안하게 1위를 차지하고 있습니다. 다만 더 작은 규모의 SWE-Bench Verified에서는 53%로, Amazon Q, devlo, 그리고 71.7%를 기록한 OpenAI의 자체 보고된 o3 결과에 뒤처져 있습니다.

많은 사람들이 2025년을 에이전트의 해가 될 것이라고 말하고 있습니다. OpenAI, DeepMind, Anthropic이 소비자 및 코딩 에이전트, 비전 기반 컴퓨터 사용 에이전트, 멀티 에이전트 시스템에 초점을 맞추고 있습니다. 올해 Cognition AI의 Devin의 대규모 출시부터, IDE 영역에서 조용한 성공을 거둔 Cursor Composer와 Codeium의 Windsurf Cascade, Stackblitz의 Bolt, Lovable, Vercel의 v0의 폭발적인 매출 성장, Sierra(현재 40억 달러 가치)와 Perplexity(현재 90억 달러 가치)와 같은 고객 지원 에이전트들의 유니콘 라운드와 주목할 만한 움직임까지, 모든 영역에서 에이전트의 실용적 신뢰성과 응용에 많은 진전이 있었습니다. 우리는 올해 에이전트 분야의 가장 주목할 만한 논문들을 이해하기 위해 잠시 뒤로 물러나 보았고, Graham은 2024년 에이전트 구축의 8가지 영구적인 문제들을 공유해 주었습니다.

8가지 에이전트 문제에 대한 필독 논문들

1. 에이전트-컴퓨터 인터페이스: CodeAct: 실행 가능한 코드 액션으로 더 나은 LLM 에이전트 유도. 최소한의 실행 가능한 도구: 실행 샌드박스, 파일 에디터, 웹 브라우징

2. 인간-에이전트 인터페이스: 채팅 UI, GitHub 플러그인, 원격 런타임 등

3. LLM 선택: SWE-Bench에서 코딩 에이전트로서의 LLM 평가 30배 - 지시사항, 도구, 코드, 환경, 오류 복구 이해 필요

4. 계획: 단일 에이전트 시스템 vs 멀티 에이전트(CoAct: 자율 에이전트 협업을 위한 글로벌-로컬 계층구조) - 명시적 vs 암시적, 큐레이션 vs 생성

5. 재사용 가능한 공통 워크플로우: SteP: 웹 액션과 에이전트 워크플로우 메모리를 위한 스택형 LLM 정책 - 수동 프롬프팅 vs 경험 학습

6. 탐색: Agentless: LLM 기반 소프트웨어 공학 에이전트 탐구와 BAGEL: 언어로 탐색을 안내하는 부트스트래핑 에이전트

7. 검색: 언어 모델 에이전트를 위한 트리 검색 - 경로 탐색 및 되돌리기

8. 평가: 빠른 건전성 검사(miniWoB와 Aider)와 고도로 현실적인 평가(WebArena, SWE-Bench) 및 SWE-Gym: 소프트웨어 공학 에이전트 & 검증기 훈련을 위한 개방형 환경

전체 강연은 YouTube에서 보실 수 있습니다.

좋아요와 구독 부탁드립니다!

타임스탬프:

[원문의 타임스탬프 전체 번역 포함]

00:00 NeurIPS 2024 Latent Space Live 환영사

00:29 2024년 LLM 에이전트의 현황

[이하 생략된 타임스탬프들 모두 포함]

...

47:31 라이브 데모 및 마무리 발언

이 강연 봐야겠네

[Joyful(approve1515)]