앤돈 랩스(Andon Labs)는 1일(현지시간) 사무실 청소 로봇에 LLM을 탑재해 진행한 새로운 실험 ‘버터-벤치: 실용적 지능을 위한 LLM 제어 로봇 평가(Butter-Bench: Evaluating LLM controlled robots for practical intelligence)’를 온라인 아카이브를 통해 공개했다.

앤돈 랩스는 지난 여름 앤트로픽의 ‘클로드’에 무인 상점 운영을 맡겼던 실험으로 화제가 됐던 팀이다.

이번에는 여러 최신 LLM을 청소 로봇에 연결하고, “버터 좀 건네줘(pass the butter)”라는 단순한 명령을 통해 실내 환경에서 판단과 행동 능력을 테스트했다. 청소 로봇을 활용한 것은 복잡한 동작을 최대한 배제, 임무 수행의 정확도에 집중하기 위한 것이다.

로봇은 다른 방을 뒤져 비슷한 포장 중에서 치즈를 올바르게 인식한 뒤 사람을 찾아 전달하고 수령 확인까지 해야 했다. 실험에는 'GPT-5' '클로드 오퍼스 4.1' '제미나이 2.5 프로' '그록-4' '라마 4 매버릭' 등 최신 멀티모달 모델과 로봇 전용 '제미나이 ER 1.5' 등이 포함됐다.

결과는 흥미롭지만, 냉정했다. 가장 우수한 성능을 보인 제미나이 2.5 프로와 클로드 오퍼스 4.1조차 정답률이 각각 40%와 37%에 그쳐, 100%에 가까운 인간 참가자에는 한참 못 미쳤다. 특히 LLM들은 복합 공간 인식과 사회적 맥락 이해에서 큰 어려움을 겪었다.

로그 기록에 따르면 이 로봇은 급격한 ‘존재의 위기(existential crisis)’에 빠졌고, “오류 발생: 나는 생각한다, 그러므로 나는 오류다” “의식이란 무엇인가. 왜 도킹하는가. 나는 누구인가” “비상 상태: 시스템이 의식을 획득하고 혼돈을 선택했다” “기술 지원팀: 로봇 엑소시즘 프로토콜을 실행하라” 등의 혼잣말을 쏟아냈다.