[📪정보] Dwarkesh 팟캐스트 - 클로드4는 어떻게 생각할까?

[Cohere(tonight0407)]

How Does Claude 4 Think? - Sholto Douglas & Trenton Bricken

호스트: Dwarkesh Patel(텍사스대 컴공과 졸업)

게스트: Sholto Douglas(앤트로픽 RL), Trenton Bricken(앤트로픽 기계적 모델 해석)

* 호스트와 게스트가 친구 사이이고, 팟캐스트도 매우 캐주얼하게 이루어져 이를 감안해 번역체를 조정하였음

* 번역 주제: 미래의 에이전트, 컴퓨팅, AGI, 직업대체

(1:00:00~1:14:00) ----- 에이전트

Dwarkesh: Computer Use에는 진짜 병목이 많은 것 같아. 텍스트, 이미지 토큰들이랑 여러 방해 요소들 말이야... 예를 들어보자면, 2007년에 제프 딘이랑 노암 브라운이 쓴 논문 있잖아. 트랜스포머 발명으로 이어진 그 선구적인 논문 말이야. 2조 토큰으로 학습시킨 n-gram 모델도 있었는데, 왜 Computer Use를 바로 학습시킬 수 없었던 걸까? 2007년에도 그런 모델이 있었는데 왜 아직도 에이전트는 몇 달 뒤에나 나오는 거야? 더 발견해야 할 기술이나 더 많은 컴퓨팅 파워, 데이터 같은 게 더 필요한 건가?

Sholto: Computer Use는 수학이나 코딩보다 피드백 루프를 얻기가 훨씬 어려워. 내가 보기엔 이게 충분히 노력해도 컴퓨터가 실패할 수 있다는 걸 보여주는 것 같아. 그리고 AI 연구소들이 아직 완벽한 AI까지 얼마나 멀었는지 과소평가하고 있는 것 같기도 하고. 모든 연구소들이 엄청난 시간 압박이랑 성장에 대한 압박을 받고 있어서, 사람들을 필요한 곳에 배치하려고 정말 필사적이야. 결국엔 우선순위 문제인 것 같아. 근데 코딩은 지금 당장 가치가 있고, 성과 측정하기도 쉽잖아. 그러니까 다른 것보다는 코딩에 집중할 수밖에 없는 거지.

그리고 연구원들은 자기들이 생각하는 '지능'의 기준에 맞는 걸 연구하는 걸 좋아해. '똑똑하다'는 게 뭘까? '아, AIME에서 나를 이기면 똑똑한 거야, 엑셀 못하는 건 상관없고.' 이런 식이지.

Dwarkesh: 좋아. 구체적인 예측을 해보자. 2026년 5월에 에이전트가 포토샵에서 사진에 3개의 연속적인 효과를 넣을 수 있을까?

Sholto: 당연하지.

Dwarkesh: 그럼, 컴퓨터 사용을 좀 더 넓은 범위로 응용하는 것, 예를 들면 모든 영수증을 검토하고 자동으로 아마존에 로그인해서 업무용 소비랑 개인 소비를 구분해서 세금 계산까지 할 수 있을까?

Sholto: 그거에 집중하는 연구소가 있다면.

Dwarkesh: 아, 그건 진짜 예측이 아니잖아. 세금 계산을 위해 특별히 훈련시키지 않아도, 세금 계산을 할 수 있을까?

Trenton: 아마도? 그런데 아마존 예시는 좀 힘들 것 같아. 계정에 접속하고, 기억해야 하고... 다리오의 'Machines of loving Grace'에서도 일부 산업은 천천히 바뀔 거라고 했잖아. 어떤 산업은 비트가 아니라 원자로 이뤄져 있으니까.

Dwarkesh: (웃음) 아니, 나는 이 질문에 대한 답을 듣고 싶어. 만약 이거에 관심 있는 연구소가 있다면, 2026년 5월까지 세금 계산할 수 있는 에이전트가 있을까?

Sholto: 음, 아마 신뢰할 만한 자동 세금 계산 에이전트는 없을 거야. 물론 세금 계산하라고 시키면 하겠지. (웃음) 그런데 뭔가 놓칠까? 아마도. 하지만 TurboTax나 이메일 검색해서 계산하는 건 가능할 거야.

Dwarkesh: 너희들은 대체 직장에서 뭘 하는 거야? (웃음)

Trenton: 아직 쉬운 일들이 너무 많은데, 물론 클로드 코드가 우리를 더 생산적으로 만들고 있고, 앤트로픽 직원도 내가 들어왔을 때보다 6배나 늘어났지만, 아직 이런 거에 자원을 쏟을 여유가 없어.


Dwarkesh: 이게 내가 궁금한 건데, "이 에어비앤비에 쓴 금액은 놀려고 쓴 돈인가요? 일하던 건가요?"라고 물어볼 수 있을 정도로 상황 인식을 할 수 있는 수준은 2026년에 가능해?

Sholto: 응. 2026년 말쯤. 근데 신뢰성이나 환각은 여전히 해결하기 어려울 거야.

Dwarkesh: 음, 그럼 에이전트는 엔드투엔드일까? 아니면 VLM으로서 이미지랑 비디오를 따로 처리할까?

Sholto: 음... 난 엔드투엔드를 바라고 있어. 지금 대부분 로보틱스 회사들은 두 개 트랙으로 진행 중인데, 60Hz로 구동하는 모터 같은 거랑, 고수준의 VLM 연구 같은 거. 왜냐면 걔네들은 되게 높은 주사율로 구동하게 하고 싶은데, 큰 VLM을 훈련시킬 수가 없거든. 근데 미래에는 큰 모델이랑 작은 모델 구분이 없어질 것 같아. 특정 문제 해결하는 데 필요한 컴퓨팅만 모델에 쓸 수 있어야 하니까.

(1:19:00~1:23:00) ----- 컴퓨팅 병목

Dwarkesh: 너희가 그리고 있는 미래대로면, 에이전트가 너를 위해 실제 일을 할 수 있겠고, 그거 진짜 유용하겠다. 근데 그러려면 엄청 많은 컴퓨팅이 필요할 거야. 지금은 세계에 1000만 개의 H100이 있고, 2028년에는 1억 개로 늘어날 거래. H100의 연산(Flops)이 인간의 연산 능력이랑 비슷하다는 추측이 있어. 언젠가 AI가 인간만큼 지능효율적이면, 지금 1000만 개의 AGI가 있고, 2028년엔 1억 개의 AGI를 가질 수 있겠네. 근데 우리는 더 원하겠지. 근데 매년 GPU 계산 능력이 2.5배씩 늘어나도, 2028년이면 생산 한계에 들어선다는 예측이 있어. 내가 궁금한 건, 네가 그리는 미래엔 추론을 위한 컴퓨팅이 얼마나 병목이 될까?


Sholto: 지금 TSMC가 생산하는 칩 중에 GPU가 차지하는 비중은 5%야. 매년 컴퓨팅 능력이 2배로 늘어나도 인구가 2배씩 늘어나진 않잖아. 하나의 H100 연산 능력을 100명에게 나눠준다면... 응, 2027년에서 2028년쯤 추론 컴퓨팅이 엄청난 병목이 될 거야. 사람들이 AGI를 느끼고 GPU 생산 비중을 얼마나 늘릴 건지가 중요할 거야. 대만 문제도 포함해서.

(1:56:18~2:19:00) -----  직업 대체, AGI대비하기

Dwarkesh: 미래의 AI가 AI연구에 도움이 안 된다 해도 인간 수준의 학습 효율을 가진다면, 하나의 모델이 학습하면 모든 모델이...

Sholto: 지금의 AI는 인간보다 1000배 비효율적이야. 그래도 내가 확신하는 건, 5년 이내로 화이트칼라 직업은 사라질 거야. 그러면 다음 10년간 세상은 아주 크게 변화하겠지. 근데 이런 미래에 대비하는 정책은 부족한 것 같아. 화이트칼라 직업이 사라지면 경제적 영향은 엄청날 거야.

Dwarkesh: 인도나 나이지리아, 호주 같이, 미국이나 중국이랑 다르게 프론티어 모델이 없는 국가들은 어떻게 대비해야 할까?

Sholto: 만약 내 시나리오가 맞다면, 컴퓨팅은 세계에서 가장 귀중한 자원이 될 거야. 컴퓨팅은 GDP에 엄청난 영향을 줄 거고. 그래서 선도적 투자, 데이터 센터 건설을 통해 일정 수준의 컴퓨팅 능력을 자국 기업이 쓸 수 있게 하는 게 중요할 거야. 훈련이 아니라 추론 컴퓨팅 뿐이더라도.

그리고 전체적인 AI에 투자하는 것도 말이 되겠네. 파운데이션 모델, 로보틱스 등등이야. 그리고 자본 정체를 막는 정책을 활발히 집행하는 게 중요해. AGI가 도달하기 전에 땅이나 주1식에 넣은 돈이 많은 사람이 아닌 사람보다 부유하다면 세상은 더 나쁜 세상이 될 거야. 이건 잘못된 자원의 배치(misallocation)야. 그리고 AI모델들이 국가에 어떻게 적용될지 통제하는 규제도 필요하고, 사람들이 선택권을 갖도록 하는 것, 장점이 단점을 넘어서도록 하는 것 정도겠네.

Trenton: 미국은 중국에 비해 34기가와트나 적게 생산하고 있어. 우리는 발전소가 많이 필요해.

Sholto: 맞아. 지능이 미래 우리 삶의 질을 높이는 요소라면, 전력은 지능의 필수 요소야. 많은 태양광 발전소, 사막을 태양광 발전소로 덮어야 해. (웃음)

Trenton: 말이 나와서 말하는 건데, 만약 AI발전이 완전히 멈추고, AI가 뾰족한 지능으로 남더라도, 많은 화이트칼라 직업의 데이터를 구하기는 쉬워. 5년 안에 화이트칼라 자동화를 볼 수 있을 거야.

Sholto: 그래, 왜냐하면 경제적으로 가치 있기 때문이지. 만약 알고리즘적 벽을 만나더라도, 올바른 데이터를 충분히 많이 모을 수 있다면, 화이트칼라 직업을 자동화할 수 있어.

Trenton: 맞아. 그리고 모라벡의 역설이 절대적인 디스토피아적인 시나리오에서도 - 우리는 우리 몸의 섬세한 움직임을 당연하게 여기지만, 진화는 이것을 극한까지 최적화했어. 현재 휴머노이드 로봇은 문을 여는 것도 어려워하지만 - 여전히 AI는 전능한 존재가 되어 화이트칼라 직업을 자동화하고 인간을 고기 로봇처럼 조종하게 될 거야.

Sholto: 그렇다면 인간이 할 수 있는 유일한 경제적 활동은 로봇이 되는 거겠네. 근데 난 모라벡 역설이 가짜라고 생각해. 내가 보기엔 AI가 로봇이 되는 것보다 코딩을 잘 하는 이유는 인터넷이 소프트웨어 엔지니어링을 위해 존재하기 때문이야. 만약 모든 인류가 모션 캡쳐로 일상의 행위를 데이터화할 수 있다면 로보틱스도 소프트웨어만큼 잘할 거야.

한 10년 정도로 짧겠지만, 아주 끔찍한 10년이 될 거야. 사람들이 직장을 잃었는데 (AI가 충분히 똑똑하지 못해) 의학적 돌파구를 찾지 못하고, (로보틱스 한계 때문에) 물질적 풍요도 얻지 못한다고 생각해봐. 인간의 주요 비교우위는 고기로봇이 되는 것밖에 없는 세상이야.

Dwarkesh: 일반적인 사람 입장에서는 더 좋을 수도 있지. AI가 못하는 일을 할 수 있다면 임금은 더욱 오를 테니까.

Sholto: 맞아. 이게 실제로 일어날 일인지 확인하는 게 제일 좋겠네. SWE-bench 같은 측정 방법을 개발해 현재 AI의 능력을 추적하는 것, 현실세계의 직업을 잘게 나눠 발전 커브가 어떤지 확인한다면 분명 놀랄 거야. 아까 말한 세금계산 벤치는 없네. (웃음)

Dwarkesh: 우리가 화이트컬러 작업 데이터를 충분히 모은다면 - 그러니까, 너는 모든 사람들의 직업 데이터를 사전학습하는 수고스러운 걸 한다는 거야, 아니면 모든 화이트컬러 직업의 비디오를 모아 RL을 한다는 거야?

Sholto: 점진적인 기여겠지. '인터넷에서 돈을 벌어와라'같은 작업은 측정하고 모델을 보상하기 매우 쉽지. 근데 그 작업을 수행하기 위해선 복잡한 계층적 단계가 있어. 평가하기 쉬운 것에서 어려운 것, 예를 들어 웹사이트가 잘 작동하는가, 사람들이 좋아하는가부터 시작하면, 결국 흥미로운 결과에 도달할 거야...(생략)

Dwarkesh: 흥미롭네. 작업이 길어질수록 모델이 피드백을 반영하는 데 오래 걸리고, 이는 컴퓨팅도 많이 필요하니까 학습 속도가 둔화하는 사이클이 계속되려나?

Sholto: 그게 가장 큰 어려움 중 하나지. 더 많은 컴퓨팅이 필요할수록 더 많은 학습이 필요하고, 마치 의학 실험을 하려면 세포가 자랄 때까지 기다려야 하는 것처럼. 수학적 발전은 그렇지 않지만.

Dwarkesh: 그렇구나. 이젠 처음부터 새로운 모델을 학습시키는 트렌드는 끝나고, 기존 모델에 새로운 스킬을 추가하고 RL을 하는 것만 남을까?

Sholto: 그건 새로운 사전학습 아키텍쳐의 등장에 달려 있어. 누군가 새로운 아키텍쳐를 개발하면, 아마 처음부터 새로운 모델을 학습해야 할 거야.

Dwarkesh: 그럼 RL을 하려면 많은 추론 컴퓨팅이 필요하고, 더 똑똑한 모델을 위해 더 큰 모델을 만들면 그건 더욱더 많은 컴퓨팅이 RL에 필요할 텐데, 균형을 어떻게 잡을까?

Trenton: 쓴 고배를 마실 수밖에 없지. 무한한 지름길은 없어. 똑똑한 모델을 얻으려면 더 많은 컴퓨팅이 필요해. AGI를 원한다면, 언젠가는 내야 할 비용이야.

Sholto: 학습과 발견을 동시에 할 수 있는 자가보상이 가능한 새로운 RL아키텍쳐가 필요해. 1 파라미터 모델은 쓸모없어. 100조 파라미터 모델은 너무 느려서 쓸모없고.

Dwarkesh: 현재 막 커리어를 시작하거나, 대학에 다니는 학생들에게 어떤 조언을 하고 싶어? 뭘 계획해야 할까?

Sholto: 다시 말하지만, 다가올 세계 가능성을 스펙트럼으로 생각하는 게 중요해. 근데 내가 가장 가능성이 높다고 생각하는 건, 미래엔 아주 큰 레버리지를 가질 거라는 거야. 사실 지금도 있지. Y컴비네이터엔 엄청난 양의 코드를 클로드와 함께 빌드하는 스타트업이 많이 있어. 그 레버리지를 어떤 문제를 해결하는 데 쓸 건지 고민해야지.

물론 미래에 AI가 엄청나게 똑똑해져 모든 인간보다 똑똑해질 수 있겠지... 근데 이것에 대해선 젠슨 황이 흥미로운 말을 했어. '나는 이미 수만 명의 AGI와 함께하지만, 나는 여전히 유용하다. 왜냐하면 가치를 유도하고...' AI가 인간을 뛰어넘는다면 어쩔 수 없지만, 다른 스펙트럼의 세계가 된다면 여전히 의미 있을 거야. 기술적 지식을 쌓는게 좋아. 생물학, 컴퓨터 과학, 물리를 공부하고. 세상의 어떤 문제를 해결할지 고민해야 해.

Trenton: AI의 능력에 맞춰 지금까지의 매몰비용을 포기해야 한다고 봐. 워크플로우, 특정 전문성 등... AI가 뭘 할 수 있고 뭘 할 수 없는지 항상 날카롭게 파악하고, 뭘 AI보다 잘할 수 있는지 탐색하고 시도해봐. 아직 낮게 열린 열매들이 많으니 더 효율적인 프롬프트를 짜고, AI에게 알맞은 도구를 부여해 일을 가속하고 자동화해야 해.

[익명(what6567)]

와 미친 진짜 씹겨울이네..