[📪정보] AI 에이전트만으로 운영한 스타트업의 실패

[익명(118.38)]

https://platum.kr/archives/259651

스타트업 하나가 문을 닫았다. 이유는 간단했다. 아무것도 만들어내지 못했기 때문이다. 특이한 점은 이 회사의 직원이 모두 인공지능이었다는 것이다. 사람은 단 한 명도 없었다.

카네기 멜론 대학교의 연구자들은 “TheAgentCompany”라는 회사를 만들었다. 이 회사는 OpenAI, Meta, Google, Anthropic의 AI 모델들이 소프트웨어 엔지니어, 재무 분석가, 프로젝트 매니저로 일하는 곳이었다. 심지어 CTO와 HR 부서까지 있었다. 이 인공지능 직원들은 인터넷에서 정보를 찾고, 사내 규정집을 참고하며, 내부 웹사이트와 슬랙 같은 채팅 프로그램을 사용할 수 있었다. 코드도 작성하고, 스프레드시트로 정보를 정리하고, ‘동료’들과 소통까지 했다.

그래서 결과는 어땠을까? 실패했다. 거의 코미디 수준으로. 인공지능 직원들은 회의하는 데 탁월했고 엄청나게 많은 회의를 했다. 내부 갈등도 많았다. 그리고 결국 아무 제품도 만들어내지 못했다. 우리가 맹목적으로 신뢰하는 인공지능이 회사를, 그것도 스타트업을 운영하면 어떻게 될까? 그 대답은 출시 제품 없이 실패하는 것이었다. 마치 스타트업에 관한 코미디 쇼의 패러디 같았다.

예측 가능했던 실패, 그 이유는?

연구진의 논문을 살펴보면, 이들은 인공지능 에이전트들이 실제 작업 환경에서 업무를 자율적으로 수행할 수 있는지 객관적으로 평가하기 위해 이 실험을 진행했다. 그들이 개발한 벤치마크는 웹 브라우징, 코딩, 프로그램 실행, 동료와의 소통 등 디지털 근로자와 유사한 방식으로 AI 에이전트를 평가하기 위한 것이었다.

가장 경쟁력 있는 AI 에이전트도 전체 작업의 24%만 자율적으로 완료할 수 있었다. 더 단순한 작업은 자율적으로 수행할 수 있지만, 더 어렵고 장기적인 작업은 여전히 현재 시스템의 능력 밖이라는 것이다.

대규모 언어 모델(LLM)은 패턴을 매칭하는 데 놀라울 정도로 뛰어나다. 하지만 발명가는 아니다. 여전히 프로그래밍의 한계 내에서 움직인다.

오늘날 인공지능은 모방, 종합, 분석에는 뛰어나다. 하지만 독창성, 창조, 미묘한 차이, 판단에서는 어려움을 겪는다. 카네기 멜론 연구자들이 발견했듯이, 애매하고 중요한 환경에서 우선순위를 정하는 것도 어려워한다.

카네기 멜론의 실험이 증명한 것

카네기 멜론의 실험은 중요한 것을 증명한다. 어떤 것을 CTO라고 이름 붙인다고 해서 제품-시장 적합성을 어떻게 출시해야 하는지 아는 것은 아니다. 어떤 것을 HR이라고 부른다고 해서 ‘문화’를 구축하면서 이해관계자들을 관리하며 사무실 정치의 뉘앙스를 탐색할 수 있는 것도 아니다.

연구진이 발견한 흥미로운 점은 분야별 AI 에이전트의 성공률이 크게 달랐다는 것이다. 소프트웨어 개발 업무에서는 비교적 높은 성공률을 보였지만, 데이터 사이언스, 행정업무, 재무 분야에서는 성공률이 매우 낮았다. 인간에게는 행정이나 재무 업무가 개념적으로 더 쉬운 작업으로 여겨질 수 있지만, AI 에이전트에게는 훨씬 더 어려운 과제였다.

선형스러운 기사 내용 거르고 지금 에이전트가 어떤 방향으로 개선되어야 할지 참고하는데 도움은 될듯..?

[익명(shore1232)]

진짜 한참 멀긴 했구나..

[익명(compact5711)]

아직은 Human-in-the-loop가 필요하긴 한 듯 발전할수록 인간 개입도를 낮춰나가면 되지

[ㅇㅇ 1(222.113)]

근데 저게 가능한 때는, AGI 5단계겠지? 지금 3단계 도전 중이니, 현재 수준 파악하기 딱 좋은 분석인듯.

[익명(182.227)]

agent 단계인 3단계가 더 맞지 않음?

[카마수트라(amazing1813)]

저게 가능한 때는 5단계임. 전체 조직을 꾸린 실험이잖아

[ㅇㅇ 5(121.158)]

구성원은 에이전트인데 그걸로 하려던 건 조직이니까 3단계 AI로 5단계를 해보려던 거라는 말

[ㅇㅇ 2(61.80)]

Hmmm.....

[Protactinium(comic9287)]

데이터 사이언스 못하는건 의외노 다른건 뭐 예상했는데

[익명(fluid7149)]

지금 24퍼센트 완료한거면 연말에는 50퍼 이상일듯 - dc App

[익명(115.139)]

드디어 에이전트 관련 제대로 된 실험이 나오는구나

[익명(teeth7833)]

흠

[ㅇㅇ 3(220.116)]

지금같은 방식으론 agi멀었다는 소리네

[사의장(prize8382)]

뭐 아직은 그렇지

[슈피슈와(lastly7348)]

[qtwk(outrage3078)]

에이전트는 아직 문제가 많음

[ㅇㅇ 4(219.254)]

현재 AI가 발달된 분야는 글쓰기와 이미지, 영상, 코딩임. 이외의 분야에서 쓸만한 모델은 없슴. 재무분야 모델, HR분야 모델같은 여러분야 모델이 나와야 함.

[ㅇㅇ 7(221.154)]

그 글쓰기 이미지 코딩도 단편적인 것만 가능함 단편적인 것조차 계속 실수하고 실패하고

[카마수트라(amazing1813)]

AGI까지 언어, 추론, 자율, 혁신, 조직의 5단계 완료해야 하는데 아직 3단계 진행 중이고 2단계도 완벽하지 않음. 5단계까지 완료되면 자본과 아이디어만으로 유나콘 세울 수도 있지.

[ㅇㅇ 6(14.34)]

이것도 몇개월에서 1년 뒤면 확 뒤집힐 수 있는게 AI 발전이 재미있는 이유기도 하지