[🏆베스트] 구글 딥마인드 "AI, 이미 인간 지식 넘어섰다" '스트림' 접근법 제시

[초존도초(htr3c654r6ft)]

기사를 읽기 전에, 이 논문(번역됨)을 읽어보시는 것을 추천합니다.

구글 딥마인드 "AI, 이미 인간 지식 넘어섰다"… '스트림' 접근법 제시

인간의 '사전 판단' 없이 AI 모델이 환경 경험으로부터 학습할 수 있게 하는 새로운 '주체적(Agentic)' 접근 방식, '스트림(Streams)' 제안

작성자: Tiernan Ray (선임 기고가)

게재일: 2025년 4월 18일 오전 2:38 (태평양 표준시)

worawit chutrakunwanit/Getty Images

최근 인공지능(AI) 업계는 AI 모델이 쉽게 통과하는 단순한 테스트를 넘어 생성형 AI를 발전시키는 데 몰두해 왔습니다. 유명한 튜링 테스트는 어떤 의미에서는 이미 "정복"되었으며, 최신 모델들이 성능 측정 기준이 되는 벤치마크 테스트를 통과하도록 편법적으로 만들어지고 있는지에 대한 논란이 거셉니다.

구글 딥마인드 연구진에 따르면, 문제는 테스트 자체가 아니라 AI 모델이 개발되는 방식의 한계에 있습니다. AI 학습에 사용되는 데이터는 너무 제한적이고 정적이어서, AI가 새롭고 더 나은 능력을 갖추도록 결코 이끌 수 없다는 것입니다.

참고: OpenAI의 가장 인상적인 행보는 AI와는 아무 관련이 없다

딥마인드가 지난주 공개하고 MIT 출판사를 통해 곧 출간될 책의 일부인 논문에서, 연구자들은 AI가 일종의 "경험"을 할 수 있도록 허용해야 한다고 제안합니다. 즉, 환경으로부터의 신호를 바탕으로 목표를 설정하기 위해 세상과 상호작용해야 한다는 것입니다.

딥마인드 연구원 데이비드 실버(David Silver)와 리처드 서튼(Richard Sutton)은 "경험 학습의 잠재력이 완전히 활용되면 놀라운 새로운 능력이 나타날 것"이라고 논문 '경험의 시대에 오신 것을 환영합니다(Welcome to the Era of Experience)'에서 밝혔습니다.

이 두 학자는 해당 분야의 전설적인 인물입니다. 실버는 체스와 바둑에서 인간을 이긴 딥마인드의 AI 모델 알파제로(AlphaZero)를 탄생시킨 연구를 이끈 것으로 가장 유명합니다. 서튼은 실버와 그의 팀이 알파제로를 만드는 데 사용한 강화 학습(reinforcement learning)이라는 AI 접근법을 개발한 두 명의 튜링상 수상자 중 한 명입니다.

참고: 모든 벤치마크를 압도하는 AI 모델들, 이제는 인간 평가가 필요한 시점

두 학자가 지지하는 접근법은 강화 학습과 알파제로의 교훈을 기반으로 합니다. 이는 '스트림(streams)'이라고 불리며, 개별적인 인간의 질문에 답하도록만 개발된 오늘날의 대규모 언어 모델(LLM)의 단점을 보완하기 위한 것입니다.

Google DeepMind

실버와 서튼은 알파제로와 그 이전 모델인 알파고(AlphaGo)가 갑자기 등장한 직후, ChatGPT와 같은 생성형 AI 도구들이 무대에 올라 강화 학습을 "폐기했다"고 지적합니다. 이러한 움직임에는 장점과 단점이 있었습니다.

참고: OpenAI의 딥 리서치는 당신보다 더 끈기 있게 사실을 찾지만, 여전히 절반은 틀린다

알파제로의 강화 학습 사용은 제한된 응용 분야에 국한되었기 때문에, 생성형 AI는 중요한 진전이었습니다. 해당 기술은 모든 규칙이 알려진 체스와 같은 "완전 정보(full information)" 게임을 넘어설 수 없었습니다.

반면 생성형 AI 모델은 이전에 접해보지 못한 인간의 즉각적인 입력을 처리할 수 있으며, 결과가 어떻게 나와야 하는지에 대한 명시적인 규칙 없이도 가능합니다.

그러나 강화 학습을 버린 것은 "이 전환 과정에서 무언가를 잃어버렸다는 것을 의미한다: 바로 에이전트가 스스로 지식을 발견하는 능력"이라고 그들은 씁니다.

대신, 그들은 LLM이 프롬프트 단계에서 인간이 원하는 것, 즉 "인간의 사전 판단(human. prejudgment)에 의존한다"고 지적합니다. 이러한 접근 방식은 너무 제한적입니다. 그들은 인간의 판단이 "에이전트의 성능에 뚫을 수 없는 천장(impenetrable ceiling)을 부과한다: 에이전트는 인간 평가자가 제대로 평가하지 못한 더 나은 전략을 발견할 수 없다"고 제안합니다.

인간의 판단이 장애물일 뿐만 아니라, 프롬프트 상호작용의 짧고 단절된 특성은 AI 모델이 질문과 답변의 수준을 넘어서 발전하는 것을 결코 허용하지 않습니다.

연구진은 "인간 데이터의 시대에, 언어 기반 AI는 주로 짧은 상호작용 에피소드에 집중해 왔다: 예를 들어, 사용자가 질문하면 에이전트는 (아마도 몇 단계의 사고 과정이나 도구 사용 후) 응답한다"고 씁니다.

"에이전트는 오직 현재 에피소드 내의 결과, 예를 들어 사용자의 질문에 직접 답하는 것만을 목표로 한다."

프롬프팅의 단편적인 상호작용 사이에는 기억도, 연속성도 없습니다. 실버와 서튼은 "일반적으로 한 에피소드에서 다음 에피소드로 정보가 거의 또는 전혀 전달되지 않아 시간이 지남에 따른 적응을 불가능하게 한다"고 씁니다.

참고: 스탠포드 학자들 "AI 모델 경쟁, 갑자기 훨씬 치열해졌다"

그러나 그들이 제안하는 '경험의 시대(Age of Experience)'에서는 "에이전트는 짧은 상호작용 단편이 아닌, 경험의 스트림(streams of experience) 속에 존재하게 될 것"입니다.

실버와 서튼은 스트림과 인간이 평생 축적된 경험을 통해 학습하고, 단지 즉각적인 과제가 아닌 장기적인 목표에 기반하여 행동하는 방식을 유추합니다.

"강력한 에이전트는 인간처럼 장기간에 걸쳐 진행되는 자신만의 경험 스트림을 가져야 한다"고 그들은 씁니다.

실버와 서튼은 "오늘날의 기술"만으로도 스트림 구축을 시작하기에 충분하다고 주장합니다. 실제로, OpenAI의 딥 리서치(Deep Research)를 포함한 웹 브라우징 AI 에이전트와 같은 발전에서 그 초기 단계를 볼 수 있습니다.

"최근, 새로운 프로토타입 에이전트들이 인간이 컴퓨터를 조작하는 데 사용하는 것과 동일한 인터페이스를 사용하여 훨씬 더 일반적인 방식으로 컴퓨터와 상호작용하기 시작했다"고 그들은 씁니다.

브라우저 에이전트는 "전적으로 인간에게 특권이 부여된 소통 방식에서 벗어나, 에이전트가 세상에서 독립적으로 행동할 수 있는 훨씬 더 자율적인 상호작용으로의 전환"을 의미합니다.

참고: 튜링 테스트에는 문제가 있다 - 그리고 OpenAI의 GPT-4.5가 이를 드러냈다

AI 에이전트가 단순한 웹 브라우징을 넘어서면서, 세상과 상호작용하고 학습할 방법이 필요하다고 실버와 서튼은 제안합니다.

그들은 스트림 속의 AI 에이전트가 알파제로와 동일한 강화 학습 원리를 통해 학습할 것이라고 제안합니다. 기계에는 상호작용하는 세상의 모델(체스판과 유사)과 일련의 규칙이 주어집니다.

AI 에이전트가 탐색하고 행동을 취함에 따라 "보상(rewards)"으로 피드백을 받습니다. 이러한 보상은 주어진 상황에서 가능한 행동 중 무엇이 더 가치 있고 덜 가치 있는지를 AI 모델에게 학습시킵니다.

에이전트가 찾도록 허용된다면, 세상은 그러한 보상을 제공하는 다양한 "신호(signals)"로 가득 차 있다고 실버와 서튼은 제안합니다.

"인간 데이터가 아니라면 보상은 어디에서 오는가? 에이전트가 풍부한 행동과 관찰 공간을 통해 세상과 연결되면, 보상의 기초를 제공할 구체적인 신호는 부족하지 않을 것이다. 사실, 세상은 비용, 오류율, 배고픔, 생산성, 건강 지표, 기후 지표, 이익, 매출, 시험 결과, 성공, 방문 횟수, 수확량, 재고, 좋아요 수, 소득, 쾌락/고통, 경제 지표, 정확도, 힘, 거리, 속도, 효율성 또는 에너지 소비와 같은 양으로 가득하다. 또한, 특정 사건의 발생이나 원시 관찰 및 행동 시퀀스에서 파생된 특징으로부터 발생하는 수많은 추가 신호가 있다."

AI 에이전트를 기초부터 시작하기 위해, AI 개발자들은 "월드 모델(world model)" 시뮬레이션을 사용할 수 있습니다. 월드 모델은 AI 모델이 예측을 하고, 현실 세계에서 그 예측을 테스트한 다음, 보상 신호를 사용하여 모델을 더욱 현실적으로 만들 수 있게 합니다.

"에이전트가 경험 스트림을 통해 세상과 계속 상호작용함에 따라, 동적 모델(dynamics model)은 예측의 오류를 수정하기 위해 지속적으로 업데이트된다"고 그들은 씁니다.

참고: 앤트로픽 "AI는 벽에 부딪힌 것이 아니라, 벤치마크에는 너무 똑똑해지고 있을 뿐이다"

실버와 서튼은 여전히 인간이 목표를 정의하는 역할을 할 것으로 기대하며, 신호와 보상은 에이전트를 이끄는 역할을 합니다. 예를 들어, 사용자는 '체력 향상'과 같은 광범위한 목표를 지정할 수 있고, 보상 함수는 사용자의 심박수, 수면 시간, 걸음 수의 함수를 반환할 수 있습니다. 또는 사용자가 '스페인어 학습 돕기'라는 목표를 지정하면, 보상 함수는 사용자의 스페인어 시험 결과를 반환할 수 있습니다.

인간의 피드백은 다른 모든 것이 봉사하는 "최상위 목표(top-level goal)"가 됩니다.

연구자들은 이러한 장기적인 능력을 갖춘 AI 에이전트가 더 나은 AI 비서가 될 것이라고 씁니다. 그들은 수개월 또는 수년에 걸쳐 개인의 수면과 식단을 추적하여 최근 경향에 국한되지 않는 건강 조언을 제공할 수 있습니다. 이러한 에이전트는 또한 장기간에 걸쳐 학생들을 추적하는 교육 조수가 될 수도 있습니다.

"과학 에이전트는 신소재 발견이나 이산화탄소 감축과 같은 야심 찬 목표를 추구할 수 있다"고 그들은 제안합니다. "이러한 에이전트는 장기간에 걸쳐 실제 관찰 결과를 분석하고, 시뮬레이션을 개발 및 실행하며, 실제 실험이나 개입을 제안할 수 있다."

참고: '인류 최후의 시험' 벤치마크, 최고 AI 모델들도 고전 중 - 당신은 더 잘할 수 있는가?

연구자들은 제미나이(Gemini), 딥식(DeepSeek)의 R1, OpenAI의 o1과 같은 "사고(thinking)" 또는 "추론(reasoning)" AI 모델의 등장이 경험 기반 에이전트에 의해 능가될 수 있다고 제안합니다. 추론 에이전트의 문제는 답에 이르는 단계에 대한 장황한 출력을 생성할 때 인간의 언어를 "모방(imitate)"하며, 인간의 사고는 그 안에 내재된 가정에 의해 제한될 수 있다는 것입니다.

"예를 들어, 만약 에이전트가 5,000년 전의 인간 사고와 전문가 답변을 사용하여 추론하도록 훈련받았다면, 물리적 문제에 대해 애니미즘(animism)으로 추론했을 수 있다"고 그들은 제안합니다. "1,000년 전에는 유신론적(theistic) 용어로 추론했을 것이고, 300년 전에는 뉴턴 역학(Newtonian mechanics)으로, 50년 전에는 양자 역학(quantum mechanics)으로 추론했을 것이다."

연구자들은 (앞서 제시된) 경험적 에이전트가 "전례 없는 능력(unprecedented capabilities)을 발휘하게 될 것"이며, "우리가 이전에 보았던 어떤 것과도 근본적으로 다른 미래(a future profoundly different from anything we have seen before)"로 이어질 것이라고 씁니다.

그러나 그들은 또한 많은, 아주 많은 위험이 있다고 제안합니다. 이러한 위험은 단지 AI 에이전트가 인간 노동을 쓸모없게 만드는 것에만 초점을 맞추지는 않지만, 일자리 손실이 위험 요소임을 지적합니다. "장기적인 목표를 달성하기 위해 오랜 기간 동안 세상과 자율적으로 상호작용할 수 있는" 에이전트는 인간이 "에이전트의 행동에 개입하고 중재할" 기회가 줄어들 가능성을 제기한다고 그들은 씁니다.

긍정적인 측면에서, 그들은 오늘날의 고정된 AI 모델과 달리 적응할 수 있는 에이전트는 "자신의 행동이 인간의 우려, 불만 또는 고통을 유발할 때 이를 인식하고, 이러한 부정적인 결과를 피하기 위해 적응적으로 행동을 수정할 수 있다"고 제안합니다.

참고: 구글 "젬마 3, 단일 GPU만 사용하여 딥식 정확도의 98% 도달"

세부 사항을 떠나, 실버와 서튼은 스트림 경험이 세상에 대한 훨씬 더 많은 정보를 생성하여 오늘날의 AI를 훈련하는 데 사용된 모든 위키피디아 및 레딧 데이터를 압도할 것이라고 확신합니다. 스트림 기반 에이전트는 심지어 인간 지능을 넘어설 수도 있으며, 이는 인공 일반 지능(AGI) 또는 초지능(super-intelligence)의 도래를 암시합니다.

"경험 데이터는 인간이 생성한 데이터의 규모와 질을 능가할 것"이라고 연구자들은 씁니다. "강화 학습(RL)의 알고리즘 발전과 함께 이러한 패러다임 전환은 많은 영역에서 어떤 인간이 소유한 능력을 능가하는 새로운 능력을 발휘하게 할 것이다."

실버는 또한 이번 달 딥마인드 팟캐스트에서 이 주제를 탐구했습니다.

원문 링크

[익명(merge3772)]

[익명(bluewarp)]

[Samus(tktlqtk44)]

싹 다 경험시켜

[점심밥(yield0917)]

[ㅇㅇ 1(221.159)]

[이세이미야케(jkwarawara)]

[ㅇㅇ 2(115.139)]

연구자들은 이러한 에이전트가 "전례 없는 능력(unprecedented capabilities)을 발휘하게 될 것"이며, "우리가 이전에 보았던 어떤 것과도 근본적으로 다른 미래(a future profoundly different from anything we have seen before)"로 이어질 것이라고 씁니다.

[ㅇㅇ 2(115.139)]

이부분 번역이 좀 이상함. 이거만 읽으면 '이러한 에이전트'니깐 앞에 나온 추론 에이전트에 대한 내용같이 읽힐 수 있는데, 원문을 보면 such agents. 다시말해서 앞에서 말한 추론 에이전트와는 다른 종류의 '어떠한 에이전트'가 맞는 번역이라고 생각함

[초존도초(htr3c654r6ft)]

ㄱㅅㄱㅅ 수정함

[익명(sigh9970)]

드디어 환경 경험 학습 들어가는 건가

[Moonchild(resolve0716)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 3(121.178)]

"연구자들은 제미나이(Gemini), 딥식(DeepSeek)의 R1, OpenAI의 o1과 같은 "사고(thinking)" 또는 "추론(reasoning)" AI 모델의 등장이 경험 기반 에이전트에 의해 능가될 수 있다고 제안합니다. 추론 에이전트의 문제는 답에 이르는 단계에 대한 장황한 출력을 생성할 때 인간의 언어를 "모방(imitate)"하며, 인간의 사고는 그 안에 내재된 가정에 의해 제한될 수 있다는 것입니다."

[ㅇㅇ 3(121.178)]

이 부분은 기자가 잘못 쓴듯 논문 내용상 r1같이 따로 전문가의 판단없이 인센티브만 제공하는 방식으로 경험의 시대의 좋은 예시 중 하나로 소개됐고 Planning and Reasoning 파트에서 이야기한 인간 데이터 시대에 인간 사고 과정 모방을 모방하는 thinking, reasoning 모델들에 대한 예시는 CoT 프롬프팅이나 Let's verify step by step 같은 인간 전문가의 판단, 인간 데이터가 포함된 애들을 얘기한거라서

[익명(115.139)]

이거 보고 논문에서 r1에 대한 파트로 인용한 부분에 대한 딥시크 논문 찾아봤는데 그 부분은 딥시크의 r1 zero에 대한 내용임. r1 zero는 너 말대로 전문가의 판단 없이 인센티브만 제공하는 방식으로 했는데, 가독성 저하, 언어 혼합 등의 문제가 있어서 v3를 베이스모델로 조정한게 r1임 걔가 cot프롬프팅 같은거로 조정한거라 잘못 쓴 거 아님

[ㅇㅇ 3(121.178)]

나는 r1이던 r1-zero던 결국 추론 능력 향상 핵심 알고리즘은 결과 기반 강화학습으로 봐서 논문에 설명된 '인간 데이터 시대의 추론 방법'에는 포함되지 않는게 마찬가지라고 봤는데, 엄밀히 말하면 그렇게 볼 수도 있긴하겠네. 최종 서비스되는 모델은 SFT로 인간 언어에 맞춰져 있긴하니... 인정함

[ㅇㅇ 2(115.139)]

사실 강화학습 예찬+지금모델 비판하려고 넣은 부분이라 지금 나온 어떤 생성형 ai를 끼워넣어도 크게 문제 없을거임 r1그 자체를 빨거나 까는게 목적이라기 보단 그 과정에서 쓴 강화학습 예찬이라

[ㅇㅇ 4(220.65)]

얀르쿤이... 옳았다고?

[익명(illililli)]

[ㅇㅇ 5(220.84)]

너네가 본 걸 우리한테도 보이라고

[asi2026(dart5404)]

[ㅇㅇ 6(221.166)]

이거는 개나소나 다 생각하고 있던건데 컴퓨팅이 안되니까 못하는거잖아. 뭔 새로운 걸 발명해낸거마냥 호들갑임

[ㅇㅇ 2(115.139)]

컴퓨팅의 문제보단 방법론의 문제 아니냐?

[익명(cideraction)]

생각이 중요한 게 아니잖아. 쟤네는 실제로 한다구?

[Borazine(player4081)]

[ㅇㅇ 7(110.10)]

https://www.zdnet.com/article/ai-has-grown-beyond-human-knowledge-says-googles-deepmind-unit/
원문 링크 수정 좀