[📪정보] OAI 스콧 애런슨 강연 보면서 정리

[익명(123.100)]

현재 OAI에서 일하는 중인 양자 컴퓨터 분야 교수임

최근 강연 내용 보면서 재밌는 부분들 정리해봄

1. 현재의 AI는 우리가 접한 최초의 비인간적 언어 지능입니다.

2019년쯤만 하더라도 이것이 지금 가능하리라고 예상한 사람은 거의 없었습니다.

저 자신조차 확실히 기대하지 않았습니다.

2. 어떻게 이런 모델이 만들어졌을까요?

10년 전, 누군가가 '인터넷에 있는 모든 텍스트에 대해 신경망을 훈련시키는건 어떨까요? 그럼 더 나은 챗봇을 만들 수 있지 않을까요?'라고 말했던 것을 기억합니다.

하지만, 그 당시 언어모델은 작동하지 않았기때문에 분명 놓치고 있는 부분이 있을거라고 생각했습니다.

하지만, 보세요. 그것이 효과가 있다는 것이 밝혀졌습니다.

3. 모델과 훈련 데이터의 크기가 수백만배로 확장된 것으로,

미친 것처럼 보였던 레이 커즈와일과 같은 사람들이 옳았던 것으로 밝혀졌습니다.

OpenAI의 공동 창립자 일리야 수츠케버는 현재의 AI 혁명에 대해 이렇게 말했습니다.

"현재의 AI 혁명에는 3가지만 필요했습니다.

컴퓨팅에 대한 막대한 투자, 훈련 데이터에 대한 막대한 투자, 그리고 그 투자가 성과를 거둘 것이라는 믿음입니다."

(수츠케버 언급)

4. 스케일을 높이는 것으로 모델의 성능이 증가하지만, 계산이 무한하지는 않습니다.

그렇다면 어느 순간 '전기 비용'이 제한 요소가 될 것입니다.

이것이 바로 Microsoft와 Sam Altman이 원자력 발전에 투자한 이유입니다.

그들은 미래의 인공 지능 모델에 전력을 공급하기 위해 자체 발전소를 건설하는 것을 계획하고 있습니다.

5. 저는 몇 달전 현재 저와 OAI 함께 작업을 위해 휴가 중인 친구 교수와 인공 지능의 미래에 대한 이야기를 나누었습니다.

그리고 총 5가지 가능한 시나리오를 정리했습니다.

첫 번째로, '인공지능의 발전이 흐지부지되는 시나리오'입니다.

"어쩌면 GPT-5는 그저 좀 더 인상적인 GPT-4와 같이 보인다던지."

항상 비슷한 종류로 보이는 것입니다.

"하지만 그렇지 않다면", 만약 리만 가설을 1초 만에 증명할 수 있거나 수학과 물리학의 가장 큰 미해결 문제를 해결할 수 있는 것에 도달한다면 인류가 계속 이 발전을 유지할지 결정해야합니다.

6. 예를 들어, '비틀즈만큼 작곡에 있어 뛰어난 AI'를 가진다는 것은 무엇을 의미할까요?

예를 들어 GPT처럼 요청만 하면 5000곡의 새로운 노래를 생성하는 인공지능 모델이 있다고 상상해보세요.

어떻게 들어도 Hey Jude, Yesterday 등의 좋은 노래들, 비틀즈가 10배의 시간을 가졌다면 썼을 것처럼 들립니다.

(Jukebox v2 루머와 연관이 있을까?)

7. 배관공과 전기 기술자는 가장 늦게 대체될 수 있다고 말할 수도 있습니다.

물리적 세계에 대한 충분한 학습 데이터를 얻는게 정말 어렵기 때문입니다.

시뮬레이션을 통해 훈련 데이터를 얻을 수 있지만, 실제로는 실제 세계로 잘 변환되지 않는 경우가 많습니다.

하지만 규모가 충분할 때 단계 전환을 보게 될 것입니다.

2019년이나 2020년 이전에는 자연어를 이해할 수 있는 ai가 없었는데, 갑자기 특정 규모에 도달하니 그렇게 됐습니다.

앞으로 AI가 큰 발전을 이룰 것으로 기대해야하는 작업은 '더 빠르게 합성 데이터를 통해 훈련할 수 있는 것'입니다.

어떤 면에서는 알파 제로가 8년 전에 셀프 플레이를 통해 수백만 개의 게임을 만들 수 있었던 것처럼 말입니다.

이렇게 되면 데이터 병목 현상이 발생하지 않습니다.

원하는 만큼 새로운 데이터를 생성할 수 있습니다.

수학도 같은 성격을 가질 수 있습니다.

(월드 시뮬레이터로서의 Sora나 Q*가 연상되는 부분이었다)

https://www.youtube.com/watch?v=gGsh0_-q7LI

OpenAI INSIDER On Future Scenarios | Scott Aaronson

[익명(112.186)]

[MoonChild(aowlr2001)]

[익명(39.115)]

수츠케버...

[익명(221.144)]

역시나 합성데이터인건가... 아 그런데 중간에 전기. 혹시 원자력이 아니라 핵융합 아니었음? 알트만이 헬리온 투자하기도 하고 핵융합을 자주 말하고 다녀서.

[익명(123.100)]

Nuclear power라고 해서 원자력 말한듯

[익명(tool9196)]

원자력 맞음. 소형 원자로

[ㄴㅇㄴ(61.76)]

핵융합이나 분열이나 같은 원자력 아입니까?

[조바이든(hnn12)]

[루미코드(giraffe8027)]

[222(221.152)]

[부패하는유전자!!!(sansss2015)]

고고고고고고혓

[슈퍼130클럽(y3xxqs89b55t)]

[noosphere(anxious8650)]

개뜬금이긴 한데 저 아재 헨리키신저 닮았다 - dc App

[독라중기병(ehrfkwndrlqud)]

"미친 커즈와일이 옳았다." - dc App

[익명(873dvejis77)]

[싸이버펑크(cyberpunk2025)]

레커 그가 옳았어!!

[익명(125.130)]

이 사람 존나 천재지 20대 초반에 교수된.....