[🏆베스트] 트랜스포머의 아버지, 우카시 카이저 팟캐스트 정리

[203847년..(awful6856)]

1. 아이디어와 검증의 병목

(진행자가 연구의 가장 큰 병목이 무엇인지, 좋은 아이디어가 부족한 것인지 묻자)

우카시 카이저: "병목은 아이디어가 아닙니다. 아이디어는 넘쳐납니다.

제 노트에만 해도 시도해보고 싶은 아이디어가 100개는 적혀 있습니다.

진짜 병목은 '검증(Verification)'입니다.

코드를 짜고, 실행해보고, 그게 실제로 작동하는지 확인하는 과정이죠.

만약 AI가 이 코딩과 검증 과정을 대신해 줄 수 있다면, 연구 속도는 엄청나게 가속화될 겁니다."

2. 코덱스(Codex)와 합성 데이터, 그리고 GPU

(AI 코딩 도구를 얼마나 활용하는지, 그리고 합성 데이터가 도움이 되는지에 대해)

우카시 카이저: "저는 코덱스를 아주 많이 씁니다.

GPU에 연결하고 실행하는 복잡한 과정들을 AI가 도와주죠.

합성 데이터(Synthetic data)는 주로 추론 모델(Reasoning model)에서 나옵니다.

이걸 사용하면 사전 학습(Pre-training) 모델을 개선하는 데 도움이 되긴 합니다.

하지만 뭐, 속도가 2배 빨라졌다거나 그 정도의 혁명적인 수준은 아직 아닙니다.

궁극적인 병목은 결국 GPU와 에너지입니다.

돌려보고 싶은 실험은 너무 많은데 자원은 한정적이니까요.

작은 모델로 실험해야 효율이 좋은데, 실험용으로 잘 준비된 작은 모델이 없는 경우가 많습니다.

이런 준비 과정을 AI가 해준다면 분명 큰 도움이 될 겁니다."

3. 계단식 발전 vs 외부에서의 폭발

(기술 발전이 정체된 것처럼 보이다가 갑자기 튀어 오르는 현상에 대해)

우카시 카이저: "일하는 사람 입장에서는 발전이 '계단식(Step function)'으로 보입니다.

다음 아이디어를 찾고 검증할 때까지 정체 구간이 있으니까요.

하지만 밖에서 보면 이건 그냥 '폭발(Explosion)'처럼 보일 겁니다.

내부의 계단 하나하나가 외부에서는 거대한 도약으로 나타나니까요.

4. "우리 소프트웨어는 별로다" (구글, OpenAI의 현실)

(거대 AI 기업들의 내부 코드 품질과 인프라에 대한 솔직한 고백)

우카시 카이저: "솔직히 말해서, 우리 소프트웨어는 별로입니다(Not good).

구글도 그랬고, 오픈AI도 마찬가지입니다.

연구자들은 빨리 결과를 보고 싶어 해서 코드를 엉망으로 짜놓기도 합니다.

그래서 그걸 고치는 데(Refactoring) 엄청난 일을 해야 하죠.

만약 AI 도구가 이 '고치는 작업'을 도와준다면 발전은 더 빨라질 겁니다. 그래서 아직 개선될 여지가 엄청나게 많이 남아있습니다."

(대형 모델 훈련 시 발생하는 버그와 기술 부채에 대해)

우카시 카이저: "버그가 정말 많습니다.

하지만 일단 훈련(Training run)을 시작하면 멈출 수가 없어서 그냥 밀고 나가야 합니다.

그렇게 대형 모델 학습을 끝내고 나면, 고쳐야 할 게 산더미처럼 쌓여 있죠.

이런 문제들을 해결해 나가고 있기 때문에, AI 발전이 멈추는 일은 없을 겁니다."

5. 추론 모델과 멀티모달의 현재

(o1 같은 추론 모델의 수준과 멀티모달 통합에 대해)

우카시 카이저: "추론 모델은 이제 막 초기 단계(Early days)입니다. 예를 들어 지금은 순차적으로 추론하지만, 병렬적으로(Parallel) 추론하는 등 효율화할 방법이 많습니다.

멀티모달 학습도 이미 진행 중입니다.

흥미로운 건 인코더만 수정했는데 텍스트 생성 능력도 유지되면서 손가락이 6개 나오던 문제도 개선되었다는 점입니다.

비디오 생성 능력도 곧(Very soon), 어쩌면 오늘 당장이라도 놀라운 수준에 도달할 겁니다."

6. 비디오 데이터의 한계와 월드 모델

(인터넷의 비디오 데이터를 다 학습하면 AI가 세상을 완벽히 이해할지에 대해)

우카시 카이저: "영상은 굉장히 중복된 정보가 많습니다.

텍스트는 정보 밀도가 높지만, 비디오는 픽셀 단위로는 많아도 '유의미한 정보'의 비율은 낮죠.

하지만 비디오는 모델이 가진 '물리적 세계에 대한 구멍'을 메워주는 역할을 할 겁니다."

언어 모델은 이미 '추상적인 월드 모델'이라고 생각합니다.

물리적인 월드 모델(비디오 학습)은 로봇에게는 필수적이겠지만, 사무직 업무를 하는 에이전트(Agent)에게는 생각보다 덜 중요할 수도 있습니다."

7. AGI와 미래 (개리 마커스, 샘 알트만)

(추론 모델의 미래와 AGI 도달 가능성에 대해)

우카시 카이저: "추론 모델을 계속 개선하고, 이를 지속 학습(Continuous learning)과 결합한다면, 데미스 하사비스가 정의한 수준의 AGI에 도달할 수 있을 것이라 봅니다(1901년 데이터만 주고 상대성 이론을 맞출 수 있냐)."

(개리 마커스 같은 회의론자들의 비판에 대해)

우카시 카이저: "그들이 AI가 거품이라며 욕해도 전혀 타격 없습니다. 저는 그냥 제 할 일을 할 뿐입니다."

(오픈AI CEO 샘 알트만에 대해)

우카시 카이저: "우리 CEO인 샘(Sam)에 대해 제가 생각하는 한 가지 훌륭한 점은,

그는 일단 그냥 시도해 본다(just try)는 것입니다.

사람들이 좋아하지 않을 만한 경로들도 많이 있겠지만, 그중 하나가 성공할 수도 있으니까요.

(중략)

그래서 저는 이 기술이 어떻게 대중화될지 스스로에게 묻지 않습니다.

어쩌면 직장에서 유용하게 쓰일 수도 있고, 우리가 아직 발견하지 못한 다른 부분일 수도 있겠죠.

샘은 그저 시도할 것입니다

(마지막으로 AI가 가져올 미래에 대해)

우카시 카이저: "하지만 AI가 알아서 우리 삶을 낙원으로 바꿔줄 거라고는 보지 않습니다(sns를 예시로 들며).

기술은 도구일 뿐이고, 낙원을 만드는 건 결국 우리 인간이 AI를 어떻게 쓰느냐에 달려 있습니다."

요약된 부분이 많은데 번역본 보는걸 추천. 특뽕참

 

https://www.youtube.com/watch?v=SUYdL4K1GUk&t=7s

트랜스포머의 아버지, 우카시 카이저: 추론은 이제 1층이다

https://i.ytimg.com/vi/SUYdL4K1GUk/maxresdefault.jpg

[천사다천사(jjtheman999)]

결국은 하드웨어+전력이 문제구나 하드웨어 특이점이 필요하다

[203847년걸리겠죠(awful6856)]

하드웨어 병목 해결가자

[ㅇㅇ 1(207.81)]

조용히 올라가는 추천수

[레알팜(lottohelp)]

[행복한천국으로(adjust7431)]

[203847년걸리겠죠(awful6856)]

[fewweekslater(slim4567)]

[203847년걸리겠죠(awful6856)]

[조강현그리고스틸로(qualify7853)]

그래서 소라3언제나옴

[203847년걸리겠죠(awful6856)]

코드레드때문에 8주 밀려서 늦게나올듯

[익명(sleep9291)]

지금은 아이디어가 수백개여도 시간,자원적 제약상 실제로 작업할수있는건 2~3개를 선별해서 진행할수밖에 없다고 하는데도 이 정도 발전속도인거보면 앞으로가 기대됨

[XI(musician3372)]

황제

[슈퍼130클럽(y3xxqs89b55t)]

병목은 인간

[멘토스(gblzvhbddpj2)]

[Moonchild(resolve0716)]

[익명(116.125)]

원본 저거 아님 2025.10월에 올라옴

[익명(wanted7407)]

그거랑 다른거임

[달님(grace0308)]

[익명(average7707)]

[이세이미야케(jkwarawara)]

[ㅇㅇ 2(58.29)]

빛의 트랜스포머