[🏆베스트] 노암 브라운 20241207 인터뷰 분석

[익명(121.178)]

*TTC : Test Time Computation, o1에 사용된 기술

Q: (한 달전에 샘 알트만은 우리가 기본적으로 AGI를 구축하기 위해 무엇을 해야하는지 알고 있다고 말했으며,

당신은 샘의 견해가 OpenAI 연구자들의 중간 견해와 일치한다고 트윗했습니다.

많은 사람들이 이제 우리가 벽에 부딪혔다고 말했습니다.

그렇게 말하는 사람들이 놓치고 있는 것은 무엇일까요?)

"저는 사실 우리가 이 문제에 대해 상당히 공개적이라고 생각합니다.

저희는 계속해서 발전이 매우 빠르게 진행되는 것을 보고있다고 생각해요.

일부 사람들이 샘이 그저 과장된 선전을 하려고 한다는 말을 들었습니다.

하지만 저는 샘이 우리(OpenAI 연구원)와 같은 말을 하고 있기 때문에, 다소 놀랐습니다.

저희 회사에서는 일이 빠르게 진행될 것이라는게 일반적인 의견이라고 생각합니다."

Q: (OpenAI에 합류하던 시기(2023년)에 대해 말씀해주세요)

"제가 다음 직장을 찾고 있을 때, OpenAI가 TTC에 정말 동의한다는 사실에 놀랐습니다.

왜냐하면 그들은 대규모 사전 학습을 개척한 사람들이고, 누구보다 더 멀리 확장했었기 때문입니다.

하지만 흥미로웠던 부분은 제가 합류했을 때

그들이 염두에 둔 동기 부여는 '데이터 장벽'을 극복하는 것에 더 관련이 있었다는 것입니다.

TTC를 어떻게 확장해야할지보다, 데이터 장벽을 어떻게 극복할지에 더 관심이 많았습니다.

하지만 이 기술은 두 가지 모두에 호환되었습니다."

-> 2023년 중순 OpenAI는 데이터 장벽을 어떻게 극복할지 고민 중이었으며, TTC를 통해 모델 성능을 높이는 동시에 데이터 장벽 극복에도 도움이 되었다.

-> 이는 o1류 모델을 통한 합성데이터에 대한 이야기로 해석됨

-> 언론에 나왔던대로 Orion과 같은 차세대 모델들은 o1류 모델에서 나온 합성데이터를 활용할 것으로 보임

"제가 합류했을 당시에는 회사가 이 방향으로 전념하는 연구 과제가 아니었습니다.

제가 합류하고 몇 달 후에 우리는 여러 가지를 시도해 보았고, 그 중 대부분이 효과가 없었지만,

'한 사람'이 시도한 한 가지가 있었는데, 그것이 큰 가능성을 보였고, 사람들은 '오, 바로 이거야!'라고 말했습니다."

-> 샘 알트만은 최근 Reddit에서 일리야 수츠케버가 결국 o1이 된 기술의 첫 번째 옹호자 중 하나였다고 말했던 바 있음

"그 뒤 회사의 리더십은 여기에 무언가 다르고 가치 있는 것이 있다는 것을 인식했고, 우리가 이것을 확장해야한다고 생각했습니다.

저를 포함한 다른 사람들도 그것을 지지했고, 이것이 OpenAI 조직의 우수성을 인정한 사례였다고 말할 수 있겠습니다."

(중략)

"우리가 모델이 더 오래 생각하게 했을때,

갑자기 질적인 차이를 보게 되었고, 이것이 정말 큰 일이 될거라는 확신을 갖게 했습니다.

네, 아마도 '2023년 10월'이었던 것 같아요."

-> 2023년 10월이라는 지점이 흥미로운데, 2023년 11월에 샘 알트만 축출 당시 로이터에서 Q*로 인해 AGI 돌파구가 마련됐고 알트만과 안전에 대한 견해 차이로 수츠케버가 알트만을 축출했다는 기사가 나왔기 때문

-> 일리야가 봤던 것은 Q*, strawberry 였다는데 큰 증거로 보임

-> 또한 시기상 샘 알트만이 2023년 11월 언급한 OpenAI 역사상 4번째 혁신이 Q*였음이 거의 확실해보임

-> 그리고 유명한 아래 트윗의 날짜

Q: (앞으로 당신이 의미있게 생각하는 o1류 모델들에 대한 이정표는 무엇인가요?)

"저는 이 모델들이 에이전트화 되는 것이 정말 기대됩니다."

(후략)

"에이전트를 다루는 스타트업들의 경우, 조금 까다로운 부분이 있습니다.

실제로 우리가 사람들에게 이 모델들이 빠르게 발전할 것이라고 말하는 이유 중 하나 입니다.

스타트업들이 현재 모델이 잘 하지 못하기 때문에 에이전트를 위해 워크플로우를 만드는 등의 작업을 하지만,

실제로는 모델 성능이 향상되어 갑자기 모델이 그런 작업 없이도 그 일을 할 수 있게 되어 6개월을 낭비하게 되는 상황에 처하게 하고 싶지 않기 때문입니다."

Q: (o1 모델의 활용에 대해 어떤 부분이 기대되시나요?)

"이 모델들이 과학 연구를 발전시키는 걸 보는 것이 정말 흥분된다고 생각합니다.

우리는 모델들이 처음에는 몇 가지 좁은 분야에서 전문가 인간을 능가하는 것을 보게 될 것이고, 그런 다음 점점 더 많은 분야에서 전문가를 능가하게 될 것 입니다.

이것을 통해 인간 지식의 경계를 넓히고, 연구자를 대체하는 것이 아니라 파트너로서 이러한 모델을 사용하여 그 전에는 불가능했던 일을 하거나 훨씬 더 빠르게 수행할 수 있는 가능성이 있습니다."

Q: (현재 AI에서 과소평가된 것과 과대평가된 것은 무엇이 있을까요?)

"과대평가된 부분은 아까도 언급했듯이, 프롬프트 기술과 스캐폴딩 기술(에이전트를 위한 기술)같은 것들이라고 생각합니다.

이것들은 장기적으로 사라질거라고 생각합니다.

과소평가된 것은 o1이라고 생각합니다.

o1에 주의를 기울이는 필드의 사람들에게 이는 큰 업데이트였습니다.

하지만 더 넓은 세상에서 사람들이 그것이 무엇을 의미하는지 아직 인식했는지 모르겠습니다."

Q: (2025년의 모델 진행 상황은 어떻게 될 것이라고 생각하시나요?)

"음, 우리는 진행 속도가 가속화되는 것을 볼 것이라고 생각합니다."

Q: (마지막으로, 청취자들에게 아무것이나 말하고 싶은 것이 있으면 말씀해주세요.)

"네, 제가 말하고 싶은 중요한 것은 저는 이 분야에 오랫동안 몸담았으며,

AI의 상태와 진보에 대한 과장된 광고에 대해 매우 회의적이었습니다.

AI가 발전할 것이라는 것을 어느 정도 알고 있었지만,

이 지점에 도달하려면 훨씬 더 오랜 시간이 걸릴 것이라고 생각했습니다.

지금 우리가 있는 곳이 5~10년 전에 비하면 완전한 공상과학이라는 것을 인식하는게 정말 중요하다고 생각합니다.

제 생각에 '우리가 벽에 부딪힐 것인가', '진전이 멈출 것인가'에 대한 합리적인 우려가 존재한다고 생각하지만,

저는 TTC가 정말 중요하며,

우리가 정말 많은 우려 사항을 이미 해결했으며,

AI의 발전에 회의적인 사람들에게 직접 확인해보라고 권하고 싶습니다.

저희는 블로그 포스팅에 꽤 투명하게 우리가 어디로 향하고 있는지 밝혔으며, 증거가 매우 명확하다고 생각합니다."

-> 어떻게든 앞으로 발전이 매우 빠를 것이라는걸 강조하고, 사람들에게 알리고 싶어한다는게 느껴졌음

[sama(prince2317)]

[sama(prince2317)]

일리야 비주류되고 노암 브라운 없었으면 어떻게 됐나 싶다 정말....

[익명(114.207)]

개추

[익명(218.50)]

지미애플 23년 9월 내부 agi는 도대체 뭐였던거지

[かみ(thank3468)]

나도 o1급이 에이전트화 되는게 제일 기대중임

[니지카엘(eltldd001)]

[외웨(pope8635)]

신나!!!!!!!!!

[도로시냥(slzpdnjsxnf)]

[수직(player5319)]

[익명(182.230)]

[낭만적특이점(next1842)]

[특술람(gpt2030)]

2025

[보수의거인(2000an)]

[MoonChild(aowlr2001)]

[익명(14.46)]

큐스타가 그걸 의미하는 거였다면, 당시 알트만 축출 때 이사회 멤버 중 대가리 속에 짱깨사랑 뿐이었던 헬렌토너라는 년 있었잖아 큐스타 아이디어를 중국에 넘겨준 간첩새끼가 헬렌토너 그년 아닌가 설마? 심지어 그 썅년 큐스타 나왔을때 미국 정부에 중국 ai는 위협되지 않으니까 가속할 필요 없다고 탄원까지 했던 년임. 지금 헬렌토너 이 썅년 앤스로픽에 있지 않나? 앤스로픽은 미국 군사 ai로 노선 바꿨으니까 군사 ai 정보 중국으로 넘어가겠네 시발