[🏆베스트] 엔비디아 Jim fan 세콰이어 캐피탈 인터뷰 (24.09.18)

[MinasAn..(wipe2561)]

진행자 - 오늘은 엔비디아 시니어 연구 과학자, 짐 팬을 모셨습니다. 엔비디아의 Embodied AI(*) 에이전트 연구를 이끌고 있는 분으로 이번 GTC에 젠슨황과 함께 무대에 올라 엔비디아 휴머노이드 로봇 프로젝트, 그루트를 소개했었죠. 오늘은 지금이 어떤 시기인지, 왜 휴머노이드인지 등을 다양하게 물어볼 예정입니다. 어서오세요

(* Embodied AI - 구현된 AI, 즉 AI가 로봇 등의 형태로 실세계에 나와 상호작용하는 것을 연구하는 인공지능 분야입니다.)

짐 팬 - 초대해주셔서 감사합니다

진행자 - 이전에 OpenAI의 인턴부터 시작하셨다고 들었어요

짐 팬 - 2016년 여름에 박사 과정에 합격하고 나서 잠시 한가했었는데요, 주변에서 재미있는 스타트업이 있다고 권유하길래 살펴보고 합류한 곳이 있었습니다. 바로 OpenAI였죠. 2016년부터 OpenAI는 이미 AGI를 이야기하고 있었습니다. 제 인턴 멘토는 안드레 카파시, 일리야 수츠케버였어요. 비트의 세계라는 프로젝트를 진행했는데 AI가 컴퓨터 화면을 읽고 화면의 픽셀을 이해하며 키보드와 마우스를 제어하는 AI 에이전트를 만드는 내용이었습니다. 이게 제 첫 OpenAI에서의 여정이자 첫 에이전트 프로젝트였죠.

진행자 - 비트의 세계(월드오브비츠), 맞아요 기억나요. 당신이 거기 참여한 줄은 몰랐네요

짐 팬 - 네 그 프로젝트는 정말 재미있었고 OpenAI 생태계를 만드는 일부였습니다. 강화학습을 도입하는 것이 주된 방법이었습니다. 당시만해도 트랜스포머나 LLM이 없었으니까요. 때문에 당시엔 '어느 정도'는 작동했지만 한계가 있었어요. 그래서 스탠포드로 돌아와 페이페이리 교수님과 함께 박사과정을 시작했습니다. 거기서 컴퓨터 비전, embodied AI에 대해 연구했습니다. 그 후 엔비디아로 입사했고 쭉 Embodied AI를 연구해왔습니다.

진행자 - 엔비디아에서 Embodied AI를 이끄시는데 무엇을 의미하는지 청중분들께 설명해주신다면요

짐 팬 - 제가 이끄는 팀은 GEAR 라고 부릅니다. Generalist Embodied Agent Research의 준말이죠. 이 팀은 행동을 생성하고 Embodied AI 에이전트를 구축하며 다양한 세계에서 행동하도록 하는 것입니다. 디지털, 가상세계에서 에이전트가 활동하면 게임AI, 시뮬레이션이 될 것이고 실세계, 물리 세계에서 활동하게 한다면 로보틱스가 되겠죠. 올해 3월 젠슨황은 GTC 기조 연설에서 그루트 프로젝트를 공개했습니다. 이는 엔비디아의 휴머노이드 로보틱스를 위한 토대 모델(파운데이션 모델)을 구축하기로 선언한 것이었습니다. 한마디로 로봇을 위한 AI 뇌를 구축하는 프로젝트죠.

진행자 - 엔비디아가 로봇을 구축하는데 있어서 어떤 경쟁 우위가 있나요?

짐 팬 - 가장 첫번째론 컴퓨팅 자원입니다. 이런 파운데이션 모델들은 스케일링하는데 많은 컴퓨팅 자원이 필요합니다. 아직까지 LLM들은 스케일링 법칙이 통하고 있는데 Embodied AI나 로보틱스 분야의 AI도 스케일링 법칙이 통할지는 아직 연구되지 않았습니다. 우린 이 분야에서도 통할 것이라 믿고 있고, 이에 대해 연구하고 있습니다. 

- 두번째 강점은 시뮬레이션입니다. 엔비디아는 AI 기업이 되기 전엔 그래픽회사였습니다. 때문에 물리 시뮬레이션, 렌더링, GPU의 실시간 가속에 대해 오랜 전문지식을 갖고 있습니다. 로보틱스를 구축하는 데 있어서 시뮬레이션은 굉장히 많이 사용되죠.

진행자 - 로보틱스에 진출하는 많은 기업들은 시뮬레이션이 아니라 현실세계 데이터(Realworld data)에 집중하고 있는데 반대로 가시네요?

짐 팬 - 우린 모든 종류의 데이터가 필요하다고 생각합니다. 시뮬레이션, 현실세계 데이터 뿐 아니라 다른 데이터도 필요해요. GEAR 팀은 세 종류의 데이터를 수집하기로 했습니다. 첫째, 모든 웹상의 비디오 데이터와 텍스트 데이터. 둘째, 엔비디아 시뮬레이션 도구를 사용해 만든 합성데이터. 셋째, 로봇을 풀어놓아 모으는 실제 로봇 데이터. 이 세 종류의 데이터를 모아 통합된 솔루션을 만드는 것이 성공적일 것이라고 봅니다.

- 인터넷 데이터는 가장 다양하고 많은 상식적 선행 정보를 담고 있습니다. 인간 중심적이며 인간이 물체와 상호작용 하는 방법, 물체의 여러 상황에서의 움직임 등을 배울 수 있죠. 이 첫번째 데이터는 로봇 파운데이션 모델에 선행정보를 가르치기에 적절합니다. 하지만 여기엔 '행동'이 포함되어 있지 않습니다. 로봇이 직접 움직여보고 그에 따른 결과를 관찰할 수는 없는, 수동적인 데이터죠.

- 그래서 두번째 데이터, 시뮬레이션 데이터가 필요합니다. 시뮬레이션 상에서 AI는 모든 행동을 가상으로 해볼 수 있고 그에 따른 결과도 관찰할 수 있습니다. 시뮬레이션의 강점은 기본적으로 무한하다는 점입니다. 컴퓨팅만 제공된다면 데이터는 계속해서 생성할 수 있습니다. 시뮬레이션 파이프라인에 GPU를 더 넣을수록 더 많은 데이터를 얻어낼 수 있어요. 실제 로봇에서는 하루에 24시간 분의 데이터밖에 얻어낼 수 없겠지만 시뮬레이션 상에서는 만배 가속해서 훨씬 더 많은 데이터를 얻어내는 것도 가능합니다. 하지만 이쪽 역시 단점이 있는데, 아무래도 실세계 데이터보다는 퀄리티가 떨어진다는 점입니다. 

- 세번째 현실세계 데이터는 퀄리티는 굉장히 좋습니다. 하지만 수집 비용이 너무 비쌉니다. 초기에는 로봇을 조종하는 사람도 직접 고용해야하며 하루 24시간 분의 데이터 밖에 얻을 수 없습니다. 그렇게 수집한 데이터 처리에도 인간이 필요하고 그 비용도 만만치 않죠.

- 그래서 이 세 종류의 데이터들을 강점은 결합하며 약점을 제거하는 솔루션이 필요합니다.

- 이건 순수히 제 추측에 불과하지만, 로봇 파운데이션 모델에서의 돌파구가 2~3년 안에 나타날 것이라고 봅니다. 로보틱스 분야의 GPT-3 같은 연구가 말이죠. 다만 그 연구적 돌파구가 나온 뒤에 바로 휴머노이드가 많아지냐, 그것은 아직 섣부릅니다. 연구적 측면 외에도 로봇이 충분히 저렴해져야하고 하드웨어의 안전성, 규제 부분도 해결되어야하기 때문입니다. 대중 시장까지 로봇이 퍼지기까진 시간이 걸릴 것입니다.

- 저는 향후 2~3년이면 휴머노이드 로봇 생태계가 성숙해지고 우리가 조종할 수 있는 저렴한 로봇 하드웨어들이 나올 것이라고 생각합니다. 그럼 뭐가 필요할까요? 바로 그 로봇들의 뇌입니다. 

- 그루트 파운데이션 모델같은 것이 로봇의 뇌로 들어가게 된다면 이젠 우리가 말로만 명령해도 가정에서 로봇이 세탁, 설거지, 요리를 하게 될 겁니다. 노인을 돌볼 수도 있구요. 레스토랑, 병원, 공장에서 로봇들이 일을 할 겁니다. 이런 미래는 10년 내에 현실화 될 것입니다. 다시 말씀드리지만 여기엔 기술적 돌파구 외에 규제 등 많은 문제가 얽혀있기 때문에 시간이 걸립니다.

진행자 - 휴머노이드 형태를 고른 이유가 있을까요

짐 팬 - 실용적인 측면도 있습니다. 로봇팔이나 그립퍼같은 특정 조작형 로봇들 데이터는 많지 않은 반면, 다섯 손가락으로 물체를 조작하는 동영상은 넘쳐납니다. 그래서 휴머노이드형 로봇을 '먼저' 훈련시킨 후 특정한 형태의 로봇을 훈련시키는 것이 맞습니다.

- GPT-3, ChatGPT 이전의 AI는 모두 각자 다른 방법으로 훈련시킨, 이를테면 전문가(Specialist)였습니다. 특정 분야에서만 일을 잘하도록 훈련된 모델들이었죠. 하지만 GPT-3, ChatGPT는 두루두루 잘하는 제너럴리스트(generalist)입니다. 이 제너럴리스트가 만들어진 후 특정 작업을 통해 파인튜닝하면 '특화된 제너럴리스트'가 됩니다. 이 '특화된 제너럴리스트'는 기존의 '스페셜리스트'보다 훨씬 더 강력하고 관리도 쉽습니다. 하나의 API만 유지하면 되니까요. 

- 이런 범용, 제너럴리스트 개발 후 특화시켜서 전문가를 만드는 방법이 로보틱스에서도 통할 것이라고 봅니다. 2024년의 로보틱스는 여전히 스페셜리스트 단계에 머물러 있습니다. 엔비디아의 그루트 프로젝트는 바로 범용 파운데이션 모델을 만드는 것이 목표입니다. 두루두루 쓸 수 있는 파운데이션 모델을 만든 후 모든 종류의 로봇으로 특화시키는 것이죠. 이것이 우리가 추구하는 제너럴리스트의 순간입니다. 로봇계의 GPT-3 모먼트라고 할 수 있습니다. 제너럴리스트를 만든 후 이걸 프롬프트하고 파인튜닝, 증류하면 특화된 제너럴리스트가 됩니다. 

- 단기적으로는 스페셜리스트를 보이는 것이 더 쉽습니다. 결과를 보이기 더 쉬우니까요. 매우 좁은 영역의 작업 집합에만 집중하면 됩니다. 하지만 엔비디아는 이 '제너럴리스트'에 미래가 있다고 믿고 있습니다. 개발에 더 오랜 시간과 노력이 필요하겠지만 이것이 목표입니다.

- 젠슨황의 말을 인용하고 싶습니다. 제가 가장 좋아하는 말 중 하나인데요, "머지않아 움직이는 모든 것은 전부 자율적이 될 것이다" 입니다. 저도 그 말을 믿습니다. 지금 당장은 아니겠지만, 10년, 그 뒤가 되었든 아이폰보다 더 많은 지능형 로봇이 세상에 퍼지게 될 것이라 믿는다면 우린 지금부터 그것들을 구축하기 시작해야합니다.

진행자 - 정말 멋지네요. 지금까지 성과는 좀 있었습니까

짐 팬 - 네 몇 가지 작업들이 있었습니다. 전 어렸을 적에 손가락으로 펜 돌리는 것을 포기했었는데 로봇이 다섯 손가락으로 펜 스피닝을 하도록 가르치는데 성공하기도 했죠. 저보다 나아요. 로봇이 올바른 행동을 하면 보상을 주고 잘못 수행하면 벌점을 주는 보상함수를 설계해야하는데 이 보상함수를 설계하는 작업은 굉장히 지루하고 수동적인 작업입니다. 저흰 이 보상함수 설계를 자동화하는 알고리즘을 만들었습니다. 덕분에 펜 스피닝같은 매우 복잡한 작업을 수행할 수 있도록 하는데 성공했죠. 앞으론 이를 확장해 더 많은 어려운 작업을 위한 보상함수를 설계할 계획입니다. 우린 엔비디아 시뮬레이션 API를 통해 새로운 작업을 생성하는 것도 편합니다. 이는 우리에게 성장의 발판이 되어 줄 겁니다.

진행자 - 예전에도 로봇에 열광하는 시기가 있었는데 후에 환멸하고 사그라들었습니다. 그리고 지금, 약 1년 전부터 다시 로봇이 활기를 띄는 것 같아요. 왜 지금인가요? 뭐가 달라졌을까요? OpenAI도 로보틱스에 뛰어들고 모든 사람들이 이 분야에 노력하고 있습니다.

짐 팬 - 주요 요소들이 바뀌었습니다. 첫째는 더 좋은 로봇 하드웨어들이 나타나기 시작했습니다. 테슬라의 옵티머스나 보스턴 다이나믹스 같은 기업, 다양한 스타트업들이 등장했죠. 로봇의 하드웨어 자체가 더 좋아졌어요. 둘째는 가격입니다. 2001년에는 나사에서 개발한 휴머노이드가 대당 150만 달러 이상이었습니다. 지금은 3만달러 가격표를 붙일 기업들이 많아요. 자동차 가격이나 비슷해진 겁니다. 역사를 돌이켜보면 제조라인이 성숙해질수록 제품의 가격은 원자재 가격에 수렴하는 성질이 있는데, 휴머노이드의 원자재는 자동차에 들어가는 원자재의 4%에 불과합니다. 앞으로 가격이 더 하락할 가능성을 엿볼 수 있죠. 이것이 휴머노이드가 힘을 모으는 두번째 이유입니다.

- 세번째는 바로 파운데이션 모델입니다. 시스템2 사고, 추론, 계획같은 어려운 '뇌' 문제들이 GPT, 라마와 같은 최첨단 모델에 의해 해결되고 있습니다. 이렇게되면 휴머노이드 로봇이 움직이기 위한 행동 토큰을 만들 수 있습니다.

진행자 - 정말 놀라운 것은 이런 전체 시스템이 잘 작동한다는 겁니다. 매우 강력한 추론 엔진이 일반화된다면 더욱요. 디지털, 가상 세계의 문제해결과 실제, 물리적 세계에서의 문제해결 간에도 접점이 있을까요? 디지털과 실제 세계 간 상호작용은 어떻게 될까요

짐 팬 - 게임과 로보틱스는 다르게 보이지만 실제론 매우 유사한 측면이 있습니다. 실제 세계에서 움직이는 Embodied 에이전트는 비디오, 센서 데이터를 입력받으면 행동을 출력합니다. 디지털 세계의 게임에선 키보드와 마우스 동작으로 행동을 출력하지만 로보틱스는 저수준의 모터로 출력하는 겁니다. 

- 앞으로의 에이전트들은 디지털이든 실제든 세계를 탐험하고 자신만의 데이터를 수집할 겁니다. 다만 물리적 에이전트는 시뮬레이션과 현실간의 격차를 메꿔야 한다는 점이 어려운 점입니다. 시뮬레이션 상에서 실제 세계 물리법칙 렌더링은 결코 완벽하지 않습니다. 때문에 시뮬레이션에서 배운 것을 리얼월드에서 전이학습하는 것은 정말 어렵습니다. 여긴 미해결된 연구과제가 많아요.

진행자 - 그럼 게임에서 디지털 에이전트들이 어떤 혁신을 할 수 있을까요

짐 팬 - 두가지 측면에서 매우 흥미진진할 겁니다. 첫째로 지금 게임에선 NPC들이 고정된 스크립트만 따르는 수동적인 존재입니다. 하지만 그 NPC 들이 이제 '살아나면' 어떻게 될까요. 유저와 상호작용하고 전에 말했던 것을 기억하며 그들 역시 행동하면서 내러티브를 바꿔버린다면요? 아직 우리가 보지 못한 미래지만 전 그 가능성이 크다고 생각합니다. 모든 사람들이 같은 게임에 대해서 각자 다른 결과를 볼 것이며 심지어 한 사람이 그 게임을 다시 해도 다른 이야기가 될 거에요. 각 게임은 이제 무한한 재생가치를 갖게 되는 겁니다.

- 두번째는 그런 게임들이 이제 '생성'될 것이라는 겁니다. 게임 세계가 플레이하는 동안에도 실시간으로 생성되는 거에요. 이는 진정한 개방형 게임이 될 겁니다.

- 엔비디아는 휴머노이드 로보틱스에 베팅합니다. 그것이 우리의 미래라고 믿기 때문입니다. 10년 후에 아이폰 만큼의 지능형 로봇이 세상에 퍼질 것이라고 믿는다면, 우린 지금부터 그 준비를 해야합니다. 

진행자 - 네 정말 좋은 마무립니다. 짐, 함께 해주셔서 감사합니다. 빨리 빨래접는 로봇이 나왔으면 좋겠어요

짐 팬 - 네 초대해주셔서 감사합니다.

https://www.youtube.com/watch?v=yMGGpMyW_vw

Jim Fan on Nvidia’s Embodied AI Lab and Jensen Huang’s Prediction that All Robots will be Autonomous

[익명(1.249)]

오 오오

[익명(182.230)]

[익명(branch4631)]

[익명(clerk5599)]

로봇공학쪽은 gpt2 이후로는 낙관론이 극우세 경향인가보네. 그리고 생각보다 로봇에 들어가는 원자재 비용이 저렴해서 놀랐다. 4프로 밖에 안된다니

[익명(wanted7407)]

이거보고 머스크 2만달러 옵티머스 희망이 생겼다

[익명(mode1667)]

로봇 상용화 10년이면 개빠르네

[외웨(pope8635)]

빨리 소아온 내놔!!!!!!!!

[이세이미야케(jkwarawara)]

가정용 메이드 휴머노이드 렛츠고!!!!!!!!

[블리츠크랭코(about2092)]

인간시대의 끝이 도래했다 - dc App

[익명(railroad9999)]

일리야가 사수 ㄷㄷ 키야

[쇠안경(sorrensmirror)]

세콰이어 캐피탈은 공산당과 유착이 심함 좋은 말을 해도 믿을 수 없음