[💡정보] 오픈ai 정형원 박사 MIT 23년 강연

[익명(wanted7407)]

트랜스크립트 따서 구글 ai스튜디오 제미니1.5pro로 번역

—- —- —-

오늘 우리는 OpenAI의 형원 정 씨를 모시게 되어 영광입니다. 그는 연구 과학자입니다. 흥미롭게도 그는 실제로 MIT에서 박사 학위를 받았지만, 머신 러닝이 아니라 재생 에너지와 에너지 시스템에 관한 것이었습니다.

그 이후로 그는 Google Brain에 갔다가 OpenAI로 옮겼습니다. 현원 씨는 대규모 언어 모델에 대한 연구로 매우 잘 알려져 있습니다. 그의 이전 연구 중 일부에는 Flan, Flan T5, Flan PaLM, 그리고 PaLM 모델을 훈련하는 프레임워크였던 T5X의 스케일링이 포함됩니다. 그래서 현원 씨의 이야기를 듣게 되어 매우 기쁩니다. 큰 박수로 그를 다시 맞이합시다.

감사합니다. 다시 돌아와서 정말 기쁩니다. 오늘 제 강연의 제목은 "가르치지 말고 장려하라"입니다.

저의 연구는 특수한 지능이 아닌 일반적인 지능을 개발하는 데 중점을 두고 있습니다. 이를 위해서는 모델에게 가르치고 싶은 모든 것을 열거하는 것이 불가능합니다. 우리는 모델에게서 너무나 많은 기술을 원하며, 심지어 우리가 그것들을 모두 알고 있는 것도 아닙니다.

따라서 제 생각에 일반 지능에 도달하는 유일하게 실현 가능한 방법은 모델을 약하게 장려하여 모델 스스로 방법을 알아내도록 하는 것입니다. 강연의 세부 사항으로 들어가기 전에 오늘 강연의 목표를 말씀드리겠습니다. 이는 대부분의 기술 강연과는 다소 다릅니다. 저는 제 최신 기술 논문이나 실험 결과를 공유하지 않을 것입니다. 대신, AI를 예시로 들어 제가 어떻게 생각하는지 공유하고 싶습니다.

왜냐하면 제 생각에 우리 기술자들은 문제 자체를 해결하는 데 너무 집중하기 때문입니다. 제 생각에 우리는 해결할 훌륭한 문제를 찾는 데 더 많은 관심을 기울여야 합니다. 제가 경력에서 본 최고의 연구자들은 반드시 가장 뛰어난 기술력을 가진 사람들은 아닙니다. 물론 그들도 뛰어나지만, 그것이 그들을 정의하는 특징은 아닙니다. 대신, 그들은 해결해야 할 가장 영향력 있는 문제를 찾는 방법을 알고 있습니다. 그리고 저는 그것이 훌륭한 관점에서 비롯된다고 생각합니다.

그리고 저는 좋은 관점을 갖는 것의 중요성이 과소평가되고 있다고 생각합니다. 그리고 저는 이 기회를 이용해 제 관점을 공유하고 싶습니다. 결코 제가 훌륭한 관점을 가지고 있다고 말하는 것은 아닙니다.

제 바람은 제 관점을 공유함으로써 여러분 중 일부에게 이런 종류의 대화에 대한 관심을 불러일으키는 것입니다. 그리고 우리는 공동체로서 이에 대해 더 많이 논의하고, 따라서 더 나은 문제를 찾는 데 더 능숙해질 것입니다. 그럼 시작해 보겠습니다.

이 강연의 간략한 개요는 먼저 제 관점을 공유하고, 제가 하는 모든 말은 거의 스케일링에 관한 것이 될 것입니다. 나중에 제 버전의 스케일링이 무엇인지 정의하겠습니다. 하지만 매우 일반적인 AI 연구를 통해 그 관점을 발전시킬 것입니다. 그리고 그것을 바탕으로 제가 연구하고 있는 언어 모델로 전문화할 것입니다.

전반적인 개요입니다. 전체 AI에서 제가 아는 가장 중요한 데이터 포인트부터 시작하겠습니다. 이것은 Rich Sutton의 작년 기조 연설에서 가져온 것입니다.

x축에는 1900년에서 2020년까지의 시간이 표시되어 있습니다. 그리고 y축에는 1,000달러를 지불하면 얻을 수 있는 컴퓨팅 파워, 즉 초당 계산량이 표시되어 있습니다.

그리고 이것은 로그 스케일입니다. 따라서 우리가 보고 있는 것은 주어진 금액에 대한 컴퓨팅 파워가 약 100년 동안 기하급수적으로 증가하고 있다는 것입니다. 다시 말해, 컴퓨팅 비용이 기하급수적으로 감소하고 있습니다.

그리고 저는 이것만큼 강력하고 오래 지속되는 추세를 알지 못합니다. 그리고 저는 제 직관을 훨씬 뛰어넘는 놀라운 추세를 볼 때마다 두 가지를 생각합니다. 첫째, 저는 이것과 경쟁해서는 안 됩니다.

둘째, 저는 제 경력과 삶의 모든 측면에서 이를 최대한 활용하고 싶습니다. 따라서 우리는 이 하드웨어가 기하급수적으로 폭발적으로 증가하는 것을 보고 있습니다. 그래서 우리 중 일부는 소프트웨어와 알고리즘을 개발하는 사람들이 이를 따라잡아야 합니다.

특히, 우리는 끊임없이 증가하는 풍부한 컴퓨팅을 더 잘 활용할 수 있는 확장 가능한 방법이 더 필요합니다. 더 일반적으로 AI 연구자의 역할은 무엇일까요? 기계가 생각하는 방법을 가르치는 것입니다. 그리고 매우 흔하지만 불행히도 한 가지 접근 방식은 기계에게 우리가 생각하는 방식을 가르치는 것입니다.

하지만 우리는 우리가 어떻게 생각하는지 알고 있을까요? 아주 낮은 수준에서? 우리는 모릅니다. 따라서 이런 종류의 접근 방식에서 우리가 하는 일은 우리가 완전히 이해하지 못하는 것을 제한된 수학 언어로 가르치는 것입니다. 그리고 이 접근 방식은 일반적으로 문제에 구조를 부과하는데, 이는 더 확장할 때 병목 현상이 될 수 있고 일반적으로 병목 현상이 됩니다.

그리고 Rich Sutton의 쓰디쓴 교훈은 지난 70년 동안 AI의 발전이 본질적으로 덜 구조화된 더 일반적인 방법을 개발하고 더 많은 데이터와 컴퓨팅을 추가하는 것으로 귀결된다는 현상을 요약합니다. 다시 말해, 확장하는 것입니다. 매우 강력한 주장입니다. 우리는 매우 다양한 유형의 발전을 보았지만, 그것들은 모두 이 매우 강력한 주장으로 요약됩니다.

그리고 저는 이에 전적으로 동의합니다. 사실, 저는 이것이 AI에서 가장 중요한 글이라고 생각합니다. 그리고 저는 이 에세이를 여러 번 다시 읽습니다.

따라서 아직 확인하지 않았다면 강력히 추천합니다. 이것은 같은 아이디어를 그래픽으로 표현한 것입니다. x축에는 컴퓨팅이 있습니다. 컴퓨터 데이터 또는 데이터라고 생각할 수 있습니다. y축에는 성능이 있습니다.

일종의 지능 지표라고 생각할 수 있습니다. 매우 만화적입니다. 따라서 우리는 두 가지 방법을 생각할 수 있습니다. 하나는 더 많은 구조를 가진 방법이고, 다른 하나는 더 적은 구조를 가진 방법입니다. 그리고 우리가 반복해서 보는 것은 더 많은 구조를 가진 방법은 일반적으로 빠르게 시작된다는 것입니다. 왜냐하면 구조 자체가 지름길 역할을 하기 때문입니다.

그리고 그것은 더 이상 확장되지 않을 때까지 잘 작동합니다. 반대로 구조가 적은 방법은 일반적으로 작동하지 않습니다. 왜냐하면 우리가 모델에 너무 많은 자유를 주고 모델이 그것을 활용하는 방법을 모르기 때문입니다. 충분한 데이터와 컴퓨팅, 그리고 그것을 활용할 수 있는 좋은 알고리즘을 제공할 때까지는 말입니다. 그리고 어느 시점이 되면 점점 더 좋아지고, 우리는 이것을 더 확장 가능한 솔루션이라고 부릅니다.

아, 한 가지 구체적인 예는 SVM과 같은 고전적인 머신 러닝 알고리즘이 있을 때 딥 러닝과 비교할 수 있습니다. 더 구조화된 버전과 같을 것입니다. 특히 커널 방법과 같은 것들은 데이터에 어떤 종류의 표현을 넣어야 하는지 학습하도록 구조화되어 있는 반면, 딥 러닝에서는 모델이 이 문제가 주어졌을 때 표현을 학습하도록 합니다. 따라서 그것은 효과가 없었지만, 결국 이러한 확장 가능한 특성 때문에 성공했습니다.

그리고 이 딥 러닝 내에서 우리는 계층적인 것이 더 확장 가능한 많은 딥 러닝 접근 방식을 보고, 그렇지 않은 것도 봅니다. 그래서 몇 가지 중요한 관찰을 해 보겠습니다. 인간 연구자가 제시한 영리한 구조는 일반적으로 확장될 때 병목 현상이 됩니다.

장기적으로 좋은 것은 거의 필연적으로 단기적으로는 나쁘게 보입니다. 왜냐하면 이것은 우리가 학습 기반 방법을 사용하고 있고 기계에 가능한 한 많은 자유를 주려고 노력하기 때문입니다. 따라서 장기적으로 이길 것은 단기적으로는 나쁘게 보일 것입니다. 따라서 그것은 다른 과학 분야와는 매우 다른 역학입니다.

그리고 컴퓨팅은 우리가 더 나은 연구자가 되는 것보다 더 빠르게 저렴해지고 있습니다. 따라서 우리는 그것과 경쟁해서는 안 됩니다. 대신 기계에 더 많은 자유도를 부어넣고 기계가 스스로 학습하는 방법을 선택하도록 하십시오.

그것은 인간이 생각하는 인간 지능과 다를 수 있지만, 저는 인간 지능이 어떤 형태의 상한선이라고 생각하지 않으며, 우리는 결국 지능과 그것이 창출하는 가치에 관심이 있습니다. 따라서 우리는 그것이 어떻게 생겼는지 규정해서는 안 됩니다. 그리고 이러한 관찰이 여러분에게는 명백할 수 있지만, 적어도 많은 사람들은 그것이 명백하지 않다고 생각합니다.

그리고 제가 이야기하고 싶은 이유는 많지만, 덜 언급되는 한 가지 이유는 연구자들이 모델링 아이디어를 추가하고 싶어 하기 때문입니다. 왜냐하면 그것은 학문적으로 더 만족스럽기 때문입니다. 그리고 어떤 사람들은 단순히 확장하는 것은 과학적이지 않거나 심지어 흥미롭지 않다고 생각합니다. 그리고 저는 종종 "그것은 단지 지루한 엔지니어링일 뿐이야"라는 말을 듣습니다.

그리고 저는 그런 사람들에게 이 질문을 하고 싶습니다. 우리는 왜 AI를 하고 있을까요? 왜 우리는 그 문제에 대한 어떤 기술을 개발하고 있을까요? 그리고 저는 궁극적인 목표는 인류에게 이익이 되는 가치를 창출하는 것이라고 생각합니다. 그리고 그것은 과학자의 자존심보다 더 중요합니다. 따라서 우리는 어떤 학문 분야가 목표를 달성하든 상관없이 AI가 생성하는 가치를 극대화하거나 단점을 최소화하는 데 집중해야 합니다.

그리고 제가 10년 동안 연구한 것이 가장 확장 가능한 방법이 아니라는 것은 중요하지 않습니다. 이제 저는 제가 진정으로 추구하는 것이 무엇인지, 즉 가치를 창출하는 것인지에 대해 정말로 지적으로 정직해야 합니다. 그리고 그것이 컴퓨팅을 최대한 활용하는 가장 확장 가능한 방법이 아니라면, 저는 다시 생각하고 배워야 합니다.

그리고 저는 이것이 제가 취해 온 접근 방식이라고 생각합니다. 포함해서요. 따라서 제 주제는 바뀌었지만, 컴퓨팅을 더 잘 활용한다는 주제는 변하지 않았습니다. 따라서 저는 스케일링에 대해 다소 모호하게 이야기해 왔습니다.

제가 의미하는 바를 조금 더 정확하게 정의하고 싶습니다. 왜냐하면 종종 사용되는 일반적인 정의인 더 많은 기계로 같은 일을 하는 것과는 조금 다르기 때문입니다. 저는 이것이 사실이지만 그다지 흥미롭지 않다고 생각합니다. 제 버전은 첫째, 추가 스케일링의 병목 현상이 되는 모델링 가정 또는 귀납적 편향을 식별하고, 둘째, 그것을 더 확장 가능한 것으로 대체하는 것입니다.

그리고 이전의 SVM 대 딥 러닝의 예를 생각해 보면, 저는 그것을 스케일링이라고 생각합니다. 왜냐하면 우리는 더 많은 컴퓨팅을 투입하고 싶었고, SVM은 거기서 병목 현상을 일으키고 있었기 때문입니다. 그리고 우리는 이 데이터 표현이 병목 현상이라는 것을 확인하고 학습된 표현으로 대체했습니다.

그리고 저는 그것이 제 생각에 스케일링이고, 더 흥미로운 유형의 스케일링이라고 생각하며, 이것의 많은 예가 있습니다. 그리고 제 개인적인 관점에서 OpenAI가 다른 곳에 비해 정말 잘하고 있는 것은 연구자들이 이런 종류의 아이디어를 정말로 받아들인다는 것입니다. 의식적으로든 아니든, 이것이 우리가 실제로 하고 있는 일입니다.

우리에게는 사용 가능하거나 곧 사용 가능하게 될 엄청난 양의 컴퓨팅이 있으며, 문제는 그것을 어떻게 투입하느냐입니다. 실제로는 상당히 어렵습니다. 생각해 보세요, 만약 제가 여러분에게 1,000억 달러의 컴퓨팅을 준다면, 여러분은 지금 그것을 올바른 방식으로 사용할 수 있을까요? 그리고 저는 아무도 그것을 어떻게 하는지 정말 잘 알고 있다고 생각하지 않습니다. 따라서 우리는 끊임없이 증가하는 컴퓨팅을 투입할 방법을 찾고 있습니다.

그리고 그것이 연구자의 역할입니다. 그래서 그것이 제 관점입니다. 이제부터 제가 이야기할 모든 것은 이 스케일링과 쓰디쓴 교훈을 기반으로 할 것입니다.

그래서 언어 모델에 대해 이야기해 보겠습니다. 저는 대규모 언어 모델, LLM이라고 썼습니다. 왜냐하면 그것은 일반적인 약어이기 때문입니다. 하지만 저는 여기서 두 개의 L이 그다지 의미가 없다고 생각합니다.

대규모는 매우 주관적인 용어입니다. 오늘날의 대규모 모델은 몇 년 후, 아니면 내년에도 작은 모델이 될 것입니다. 그리고 다른 L인 언어, 저는 왜 그것이 좋은 용어라고 생각하지 않는지에 대해 이야기할 것입니다.

지금까지 모든 LLM은 트랜스포머 아키텍처를 사용했으며, 우리는 세부 사항을 살펴볼 필요가 없습니다. 우리는 매우 기능적인 관점을 취하고 이 트랜스포머를 입력이 크기가 D인 벡터 시퀀스이고 출력이 같은 것인 일련의 행렬 곱으로 시퀀스 간 매핑이라고 생각할 것입니다. 적어도 훈련 중에는 그렇습니다.

그것이 일어나는 일이며, 상호 작용은 일련의 행렬 곱에 의해 이루어집니다. 따라서 우리는 아마도 다양한 청중을 가지고 있기 때문에, 모두를 같은 페이지로 데려오고 다음 토큰 예측 프로세스가 무엇을 하는지에 대한 속성 과정을 갖고 그 프로세스의 몇 가지 의미를 살펴보고 싶었습니다.

따라서 우리는 시퀀스 모델로 시작하고, 우리가 생각할 수 있는 한 가지 특정 시퀀스는 단어 시퀀스인 문장입니다. 그리고 첫 번째 단계는 그것을 토큰화하는 것입니다. 왜 그럴까요? 왜냐하면 우리는 컴퓨터에서 단어를 표현해야 하고, 그것은 어떤 종류의 인코딩 메커니즘이 필요하기 때문입니다.

그리고 여기서 우리는 일반적으로 정수 매핑을 사용합니다. 따라서 우리는 유한 정수 집합을 정의합니다. 예를 들어 이 특정 경우에는 33만이라고 생각합니다. 그리고 각 단어 또는 토큰은 훈련 중에 변경될 정수에 매핑됩니다.

따라서 이제 우리는 문자열 대신 정수 시퀀스를 갖게 되었고, 이제 임베딩을 할 수 있습니다. 이것은 결코 필수적인 것은 아니지만, 이것이 더 일반적인 방법입니다. 이제 시퀀스 요소의 각 정수 표현, 이 경우 토큰은 크기가 D인 벡터로 표현됩니다.

그리고 이제 시퀀스 모델에서 무엇을 원하는지 처음부터 생각해 보겠습니다. 시퀀스 모델은 시퀀스의 요소 간 상호 작용을 모델링하는 모델입니다. 트랜스포머는 그 상호 작용이 일련의 점곱으로 모델링되는 특정한 시퀀스 모델링 방법입니다.

따라서 우리는 요소의 두 벡터 표현을 가져와 점곱을 합니다. 값이 크면 우리는 이것이 의미적으로 관련이 있다고 생각합니다. 그런 다음 점곱이 낮은 다른 쌍을 가져오고, 우리는 그것이 의미적으로 무엇을 의미하는지 정말로 규정하지 않습니다.

우리는 그것을 이해하려고 노력할 수 있지만, 저는 그것이 정말 쉽거나 의미가 있다고 생각하지 않습니다. 따라서 일련의 점곱 후에 우리는 같은 크기의 벡터 표현을 얻지만, 이제 각 벡터는 다른 벡터의 존재를 알고 있고, 바라건대 어떻게든 그들 사이의 관련성을 측정하고 무슨 일이 일어나고 있는지에 대한 풍부하고 깊은 이해를 가지고 있습니다. 따라서 이것의 최종 프로세스는 손실 함수를 취합니다.

우리는 스칼라가 필요합니다. 단지 우리가 기울기 기반 최적화 방법을 사용하고 싶기 때문입니다. 따라서 이제 스칼라를 얻고 모델의 모든 매개변수에 대한 스칼라의 기울기를 취한 다음 어떤 종류의 기울기 방법을 사용하여 업데이트합니다. 그것이 한 단계이며, 가능한 한 여러 번 반복합니다. 그것이 훈련 프로세스입니다.

그런 다음 이 벡터 표현에서 단일 스칼라로 가져오는 것에 대해 이야기해 보겠습니다. 이것은 최적화 목적 함수입니다. 그리고 이 특정 경우에는 오늘날 대부분의 대규모 훈련은 어떤 형태의 다음 토큰 예측을 사용합니다. 따라서 그것을 더 자세히 살펴볼 가치가 있다고 생각합니다.

따라서 저는 이 슬라이드에 원래 문장을 다시 넣었습니다. 따라서 우리가 하는 일은 본질적으로 첫 번째 토큰이 주어졌을 때 다음 토큰을 예측하려고 하는 것입니다. 제가 언급했듯이 이 인코딩 메커니즘은 유한 어휘로 시작합니다. 예를 들어 10만 개 항목이라고 하고, 모델은 그 위에 확률 분포를 출력합니다.

따라서 여기서 숫자는 합쳐서 1이 되어야 합니다. 그리고 우리의 바람은 모델이 다음 토큰 단어가 지능과 같은 것보다 더 높은 확률을 갖도록 구조에 대해 학습한다는 것입니다. 많은 지능은 의미가 없습니다.

그리고 그 후에 우리는 다시 많은 단어가 주어졌을 때 다음 토큰인 don을 예측하려고 노력합니다. 이런 식으로 계속합니다. 그것이 프로세스입니다. 끝까지 모든 것을 수행합니다.

따라서 이것은 조건부 확률에 대해 생각하는 것입니다. 우리는 이전의 모든 토큰이 주어졌을 때 다음 토큰을 예측하려고 합니다. 통계적 배경을 가진 사람들에게는 동등하고 어쩌면 더 자연스러운 것은 이러한 조건부 확률을 곱하면 전체 시퀀스의 확률이 된다는 것입니다.

그리고 그것이 우리가 최대화하려는 것입니다. 그리고 이것은 최대 가능도 프레임워크입니다. 하지만 저는 그것을 멀티태스크 학습이라고 생각하는 것이 더 직관적이라고 생각합니다.

이전의 모든 것이 주어졌을 때 다음 토큰을 예측하는 각 작업은 동일한 가중치를 갖습니다. 우리는 어떤 토큰이 무엇인지 정말로 구분하지 않습니다.

그리고 업계 규모에서는 웹 규모의 텍스트 데이터에서 그렇게 하고 트랜스포머에 입력합니다. 그곳에서 마법이 일어납니다. 그러면 어떤 종류의 마법이 일어날 것이라고 예상할까요? 이것은 우리가 Google에서 작업했을 때 PaLM 논문에서 가져온 것입니다.

제가 이것을 선택한 이유는 오늘날 사람들이 사전 훈련만으로는 보고하지 않기 때문입니다. 따라서 다음 토큰 예측의 성능 자체를 이해하려면 이전 논문으로 돌아가야 합니다. 세부 사항은 중요하지 않으며, 일련의 BigBench 작업입니다.

그리고 우리가 보여주는 것은 다음 토큰을 예측하는 것만으로도 실제로 많은 인간 평균 성능보다 더 나아진다는 것입니다. 그리고 저는 모르겠지만, 저에게는 다음 토큰 예측만 하고 그렇게 많은 다른 것들에서 더 나아지는 것은 그저 마법입니다. 저는 여전히 그것이 매우 놀랍다고 생각하며, 우리는 그것을 당연하게 여겨서는 안 된다고 생각합니다.

그래서 다음 토큰 예측에 대해 몇 가지 관찰을 해 보겠습니다. 우리는 다음 토큰이 동사다, 다음 토큰이 무엇이다와 같은 이러한 언어적 개념을 직접 가르치지 않습니다. 우리는 그런 것들을 전혀 하지 않습니다. 하지만 어떻게든 다음 토큰을 예측하는 것만으로 언어가 그냥 나타납니다.

저는 그것이 그러한 작업을 수행한 거의 부산물과 같다고 생각합니다. 언어는 학습됩니다. 그리고 저는 더 나아가 언어를 가르치는 가장 좋은 방법은 언어를 가르치지 않는 것이라고 말하고 싶습니다. 왜냐하면 우리는 기계가 언어에 대해 학습하는 데 어떤 구조도 넣고 싶지 않기 때문입니다.

따라서 그것은 매우 흥미로운 부산물이며, 그래서 저는 언어 모델, 여기서 L은 잘못된 이름이라고 생각합니다. 왜냐하면 우리는 어떤 언어도 가르치지 않기 때문입니다. 언어 모델은 어떤 단어 지식을 학습하는 것이고, 언어는 그것의 한 가지 표현입니다. 따라서 또 다른 흥미로운 점은 모델이 추론, 수학, 코딩, 그리고 이 모든 것들을 할 수 있다는 것입니다. 비록 우리가 그것에 대한 특정한 교육을 하지 않더라도 말입니다.

따라서 제가 아는 모든 연구자들은 본질적으로 이러한 것들이 왜 그렇게 잘 작동하는지에 대한 어떤 버전의 가설을 가지고 있다고 생각합니다. 그리고 저는 어떤 것도, 왜 이것이 그렇게 좋은지에 대한 합의가 있다고 생각하지 않습니다. 그리고 저는 제 연구 프로젝트에 대해 생각하는 데 상당히 도움이 된 제 자신의 버전을 가지고 있습니다.

따라서 저는 이것을 공유하고 싶습니다. 제 버전은 그것이 대규모 암시적 멀티태스크 학습이라는 것입니다. 암시적이라는 것은 우리가 모델에게 수행하도록 요구하는 멀티태스크가 무엇인지 직접적으로 명시하지 않는다는 의미입니다. 그것들은 우리가 사용하는 다양한 코퍼스에 의해 부과됩니다.

따라서 실제로 이것에 대해 생각해 보겠습니다. 저는 이제 언어 모델이 잘 작동한다는 것을 당연하게 여기지만, 모델이 훈련 중에 겪는 어려움에 대해 생각해 보는 것이 아마도 유용할 것입니다. 따라서 다음 토큰을 예측하는 것이 어떤 것인지 설명해 보겠습니다.

그리고 여기서 저는 문장을 보여줄 것이고, 밑줄 친 부분은 제가 예측하려고 하는 것입니다. 그리고 그렇게 할 때 가능한 한 적은 노력으로, 가능한 한 모든 지름길을 사용하여 수행해 보겠습니다. 따라서 저는 이것을 예측하고 싶다면, The terrible movie was really. 그리고 나서 boring을 예측하려고 한다면, 저는 아마도 지름길을 택하고 "좋아, terrible은 부정적인 것이니까 부정적인 무언가가 될 것이고, 그것은 영화야."라고 말할 수 있습니다.

따라서 저는 아마도 그 패턴 매칭을 사용하여 boring이라는 단어를 얻을 수 있습니다. 이제 한 문장 더 보여드리겠습니다. After the earning call, the share price of Google went up by 5% from 1000, ending in 1050.

여기서 저는 가능한 한 적은 노력을 기울이고 싶기 때문에 첫 번째 예에서 배운 기술을 재활용하여 이것을 할 수 있는지 생각합니다. 그리고 그것은 관련이 없기 때문입니다. 저는 어떤 종류의 새로운 기술, 즉 수학을 배워야 합니다. 세 번째 예는 이제 완전히 다른 언어이므로 저는 이것을 재활용할 수 없습니다. 왜냐하면 저는 새로운 언어를 배워야 하기 때문입니다.

따라서 저는 세 번째 기술을 배웠습니다. 넷째, 제가 가장 좋아하는 주제였던 열역학 제1법칙은 종종 에너지 보존이라고 불립니다. 이제 이것을 예측하려면 우리는 알아야 합니다. 우리는 위의 어떤 것도 재활용할 수 없으며, 새로운 기술, 즉 과학적 지식을 배워야 합니다. 이런 식으로 계속됩니다. 우리가 웹 규모로 할 때 우리는 수십억 또는 어쩌면 수조 개의 문장에 대해 이야기하고 있습니다.

그리고 각 문장에는 어쩌면 수천 개 정도의 여러 다음 토큰이 포함되어 있기 때문에 우리는 이런 식으로 구성될 수 있는 수조 개의 작업 유형에 대해 이야기하고 있습니다. 그리고 여러분이 이것을 해결하려고 한다면, 그리고 어느 시점에서는 대규모 모델에게도 다루기 힘들어집니다. 이것은 다룰 수 있는 것처럼 보이지 않습니다. 그리고 저는 정말로 가능한 한 적은 노력으로 하고 싶다면, "좋아, 내가 배울 수 있고 가능한 한 많은 테스트 유형에 적용할 수 있는 일반적인 기술은 무엇일까?"라고 생각하는 것이 아마도 더 쉬운 길일 것입니다.

이제 우리가 모델에 수조 개의 테스트 유형을 부과한다면, 그리고 저는 그것이 멀티태스크 학습 가설에 대해 생각하는 정말 손짓하는 방식이라고 생각합니다. 어떤 규모를 넘어서면 그렇게 하는 것이 더 쉽습니다. 제가 일반적인 기술이라고 말하는 것은 무엇을 의미할까요? 첫째, 이것들은 텍스트 데이터이므로 이해합니다. 제 말은, 언어는 아마도 제가 배우고 싶은 것이라고 생각합니다. 비록 우리가 언어에 대해 아무것도 가르치지 않더라도 말입니다.

따라서 우리가 모델에 입력하는 언어는 어쩌면 수백, 수백 개가 있습니다. 따라서 그것들을 모두 배우는 것은 아마도 적어도 그것의 구문 구조를 이해하는 데 매우 유용할 것입니다. 둘째, 그 후에 저는 언어를 이해하고 싶습니다. 그래서 저는 어떤 종류의, 그것은 거의 대부분의 문장에 적용 가능합니다.

다음 토큰 예측입니다. 그리고 셋째, 어쩌면 개념을 구성하기 위한 추론과 더 비슷할 수 있습니다. 저는 그냥 지어내고 있지만, 저는 이것들이 마치 제가 이 작업을 하고 있다면 아마도 생각할 것들과 같다고 생각합니다.

그리고 어느 시점에서는 모델에 주어지는 압력입니다. 따라서 저는 결정적으로 우리가 이러한 일반적인 기술을 직접 가르치지 않고, 그것들은 단지 이 학습 목표와 데이터에 의해 장려되고, 이러한 능력이 나타난다고 생각합니다. 나타나는 능력은 일반적으로 더 일반적입니다. 아마도 일반적인 기술을 개발해야 할 필요성에서 비롯되었기 때문일 것입니다.

따라서 여러분은 "좋아, 이 약한 모델 장려는 훨씬 더 많은 컴퓨팅을 필요로 하므로 비효율적인 프로세스야."라고 생각할 수 있습니다. 그리고 저는 그것을 이렇게 생각하고 싶습니다. 그것은 더 많은 컴퓨팅을 추가할 수 있게 하고, 우리는 더 많은 컴퓨팅을 갖게 될 것입니다.

이것은 더 확장 가능한 훈련 전략입니다. 그리고 저는 그것이 이것이 그렇게 잘 된 이유라고 생각합니다. 그리고 이 가설을 조금 더 일반화해 보겠습니다.

주어진 데이터 세트와 학습 목표에 대해 명시적 학습 신호와 일련의 유도된 인센티브가 있습니다. 따라서 이 다음 토큰 예측의 경우 명시적 신호는 다음 토큰을 예측하는 것이었습니다. 왜냐하면 그것이 주어진 작업이기 때문입니다. 유도된 인센티브는 언어 이해, 추론 등과 같은 가능한 한 많은 작업을 수행할 수 있도록 일반적인 기술을 배우는 것입니다.

다른 예는 무엇일까요? 게임 끝에 한 번 보상을 받는 제로로 체스를 두는 것입니다. AlphaGo Zero와 같은 것을 생각해 보면 명시적 신호는 게임에서 이기는 것입니다. 그리고 우리는 그것 외에는 아무것도 가르치지 않습니다.

따라서 이 경우 유도된 인센티브는 좋은 수가 무엇인지 배우는 것입니다. 그리고 모델은 무엇이 좋은지, 좋은 것의 개념에 대해 생각조차 하지 않을 수도 있지만, 그것은 단지 인센티브일 뿐입니다. 게임에서 이기려면 어떤 종류의 그것들을 알아야 합니다.

그리고 체스의 경우 환경이 너무 좁아서 아마도 중요하지 않을 것입니다. 하지만 우리가 이런 종류의 프로세스를 사용한다면, 그것이 배우는 것, 게임에서 이기는 것이 중요할 수 있습니다. 하지만 이 환경에서 무엇이 좋은지에 대한 일반적인 개념은 매우 일반적인 것입니다.

그리고 저는 우리가 그것에 점점 더 관심을 가져야 한다고 생각합니다. 세 번째 예입니다. 그것은 아마도 오늘날 더 관련이 있을 것입니다. 환각은 언어 모델에서 해결되지 않은 핵심 문제 중 하나라고 생각합니다.

따라서 여기에 John의 강연에서 가져와 제 목적에 맞게 각색한 예가 있습니다. 예를 들어 우리가 간단한 질문 응답을 하고 있고 모델이 이 간단한 질문에 답하는 데 환각을 보인다고 가정해 보겠습니다. 우리는 이와 같은 것을 정의할 수 있습니다. 보상은 답이 정확하고 단정적이면 1이고, 정확하지만 모델이 "잘 모르겠지만 아마도 이것일 거야"라고 말하고 정답을 맞히면 0.5입니다.

모델이 "모르겠어"라고 말하면 0입니다. 이것은 중요한 답변 유형입니다. 그리고 셋째, 답이 단정적이지만 틀리면 -2이고, 모델이 매우 확신 있게 틀리면 -4입니다. 이 구조에서 명시적 신호는 무엇일까요? 답입니다. 우리는 질문에 정확하게 답했습니다.

그것이 명시적 신호입니다. 하지만 우리가 이것을 수조 개의 질문으로 한다면 유도되는 것은 무엇일까요? 그것은 모델이 자신이 무엇을 모르는지 알아야 한다는 것입니다. 그것이 무엇을 의미하는지 설명해 보겠습니다.

제가 여러분에게 100개의 질문을 주고 여러분이 그 중 50개의 답을 모른다면, 여러분은 이 질문을 외울 수 있습니다. "저는 답을 모릅니다." 등등입니다. 하지만 제가 여러분에게 수조 개의 질문을 준다면, 각각의 수조 개의 질문 중 어떤 것을 알고 어떤 것을 모르는지 추적하는 대신 무언가를 안다는 것, 무언가를 모른다는 것이 무엇을 의미하는지에 대한 일반적인 개념에 대해 생각하는 것이 더 쉽습니다.

그리고 그 능력은 어떤 종류의, 이런 종류의 유도된 인센티브 구조에서 나타날 수 있는 것입니다. 그리고 저는 그것이 환각을 해결하는 유일한 근본적인 방법이라고 생각합니다. 그리고 이 과정에 대한 대략적인 비유를 들어보겠습니다. 우리에게는 "사람에게 물고기를 주면 하루 동안 먹일 수 있지만, 물고기 잡는 법을 가르치면 평생 동안 먹일 수 있다"는 오래된 속담이 있습니다.

따라서 첫 번째는 하드 코딩이라고 생각할 수 있고, 두 번째는 기술을 직접 가르치는 것입니다. 이 문제에 대한 인센티브 기반 접근 방식은 무엇일까요? 그것은 물고기 맛을 가르치고 그를 배고프게 하는 것입니다.

그리고 나서 이 사람은 가능하다면 나가서 낚시를 포함한 많은 기술을 배울 것입니다. 그리고 그 과정에서 유도된 인센티브는 그가 인내심, 날씨, 이 물고기가 좋아하는 미끼 등과 같은 다른 것들을 배울 것이라는 것입니다. 그리고 이것들은 인내심과 같이 상당히 일반적인 더 일반적인 기술일 수 있습니다.

따라서 그것은 이 오래된 속담을 확장한 제 대략적인 비유입니다. 따라서 이것을 보고 여러분은 "좋아, 이것은 매우 비효율적이야. 왜 그렇게 할까?"라고 생각할 수 있습니다. 그리고 목표를 달성하는 것과 너무 많은 시간을 소비하는 것 사이에는 상충 관계가 존재합니다.

그리고 더 일반적으로 우리가 생각하고 있는 것은 이런 종류의 상황에서 상충 관계가 존재한다는 것입니다.

상충 관계가 있을 때 우리가 생각하는 부족한 자원이 있습니다. 그리고 이 경우에는 그 일을 완료하는 데 필요한 시간입니다.

따라서 각 방법으로 완료하는 데 필요한 시간을 x축에 표시하면 기술, 죄송합니다. 낚시 기술 자체를 배우도록 장려하는 데 훨씬 더 많은 시간이 걸립니다. 하지만 그 한계는 인간에게 해당됩니다. 기계의 경우 상충 관계를 생각할 때 이야기하는 부족한 자원은 시간이 아니라, 시간이긴 하지만 점점 더 필요한 컴퓨팅에 관한 것입니다. 그리고 우리는 이것으로부터 벗어날 수 있습니다.

그리고 이것은 매우 풍부한 의미를 내포합니다. 그리고 그중 하나는 저는 "좋아요, 우리는 어떤 범용적인 대규모 모델보다 아마도 더 나은 소규모 전문가 모델을 가지고 있습니다."라는 말을 많이 듣습니다. 그리고 제가 이 말을 들을 때 여기서 숨겨진 가정은 전문가와 범용가가 되는 것 사이에는 어떤 종류의 상충 관계가 있기 때문에 좁은 영역에서는 소규모 전문가 모델이 이길 수 있다는 것입니다.

저는 이것이 우리가 인간이기 때문에 갖게 되는 편견이라고 생각합니다. 왜 그럴까요? 왜냐하면 다시 말하지만, 상충 관계는 우리가 부족한 자원, 즉 시간에 대해 생각하고 싶어 하기 때문입니다. 그리고 대부분의 인간은 거의 같은 시간 예산으로 활동합니다.

그리고 여러분은 1시간 덜 자거나 더 잘 수도 있지만, 대략 하루에 16~17시간입니다. 그것은 인간에게 주어진 것입니다. 그리고 그것 때문에 범용가가 되는 데 쓰지 않은 시간은 전문가가 되는 데 쓰는 시간이고, 그 반대의 경우도 마찬가지입니다.

따라서 그것이 상충 관계입니다. 하지만 기계의 경우 전혀 그렇지 않습니다. 한 모델은 다른 모델보다 훨씬 더 많은 컴퓨팅을 누릴 수 있습니다.

따라서 여러분이 드래곤볼을 좋아한다면 정신과 시간의 방이 있습니다. 그 안에서 1년을 훈련하면 밖에서는 하루입니다. 따라서 이 경우 그런 것에 접근할 수 있는 사람은 다른 사람들보다 365배 더 많은 시간을 갖게 됩니다. 하지만 우리가 기계에 대해 이야기할 때 승수는 365가 아니라 훨씬 더 높습니다.

그리고 저는 그것이 상황이라고 생각합니다. 따라서 저는 이 상충 관계가 전혀 존재하지 않는다고 생각합니다. 오히려 범용가가 특별한 일을 더 잘합니다.

그리고 이 인센티브 구조, 여러분은 이것이 매우 오래된 아이디어라고 생각할 수 있습니다. 오히려 인간 문명 전체가 아마도 인센티브에 의해 움직일 것입니다. 그리고 심지어 진화도 생존을 위한 인센티브 구조로 생각할 수 있습니다.

그렇다면 왜 제가 이 오래된 아이디어에 대해 이야기하고 있을까요? 왜 지금 관련이 있을까요? 그것이 제가 언급해야 할 것입니다. 그리고 이것으로 시작하겠습니다. 아무리 많은 바나나도 원숭이가 수학적 추론을 하도록 장려할 수 없습니다. 따라서 보상이 무한하고 인센티브 구조가 완벽하더라도 그냥 작동하지 않을 것입니다. 불가능합니다.

그리고 그것은 어떤 종류의 임계 지능이 주어진 문제가 인센티브 구조와 함께 작동하려면 필요하다는 것을 의미하며, 현재 GPT-4와 같은 것으로 우리는 많은 작업에 대해 그 임계값을 넘었습니다. 따라서 저는 이제 모델에게 우리가 관심 있는 것을 가르치기 위해 인센티브 기반 구조에 대해 생각하는 것이 확실히 의미가 있다고 생각합니다. 그것은 모델 크기 또는 모델 규모에 따라 인센티브 구조가 달라진다는 개념으로 이어집니다.

어떤 능력이 나타나는지는 모델 크기에 따라 달라집니다. 그것은 흥미로운 매개변수 중 하나입니다. 그리고 모델이 너무 작으면 모델은 이러한 일반적인 기술을 개발하는 것을 포기하고 단순한 휴리스틱스를 남겨두고 훈련 프로세스 중에 높은 손실을 감수할 수도 있습니다.

따라서 인센티브 구조 부분은 여기까지입니다. 그리고 저는 이 창발 능력에 대해 조금 이야기해 왔습니다. 대략적인 의미에서 저는 그것에 대해 이야기하고 싶습니다.

따라서 특히 우리는 확장할 때 어떤 능력이 나타나는 것에 대해 이야기하고 있으며, 이것은 정말로 올바른 관점을 갖는 것이 필요합니다. 그리고 이 분야에서는 "좋아요, 창발 능력과 신기루 또는 창발적 사건은 일어나지 않습니다." 등과 같은 논의가 있습니다. 저는 세부 사항이 중요하다고 생각하지 않습니다.

생각해 볼 수 있는 한 가지 방법을 알려드리겠습니다. 저는 가장 작은 트랜스포머를 만듭니다. D 모델은 1, 2개의 레이어, 가장 작은 트랜스포머 모델이며, GPT-4에서 작동하는 어떤 작업, 예를 들어 수학을 가져와서 이것으로 해결하면 작동하지 않을 것이고, 여기서는 작동합니다. 따라서 거기에 어떤 종류의 변곡점이 있습니다.

그리고 어떤 문제에 대해서도 작동하지 않는 가장 작은 모델을 찾을 수 있습니다. 그리고 현재 모델에서 작동한다면 저에게는 그것이 창발입니다. 따라서 저는 그것이 실제로 일어난다는 것을 증명하는 것이 매우 쉽다고 생각합니다.

그리고 그렇지 않다면 그 문제는 저에게 충분히 흥미롭지 않습니다. 그리고 이것이 제가 의미하는 바입니다. x축에는 어떤 규모가 있고, 그런 다음 작동하지 않다가 어느 시점에서 갑자기 나타납니다. 모든 것에 대해 작동하지는 않지만 추론과 같은 많은 흥미로운 것들에 대해 이것은 우리가 반복해서 보는 패턴입니다.

그리고 우리가 정말로 생각해야 할 첫 번째 관점은 이러한 "아직"의 관점입니다. 왜냐하면 지금 작동하지 않는 것이 나중에도 작동하지 않을 것이라는 것을 의미하지는 않기 때문입니다. 따라서 우리가 해야 할 일은 이 아이디어가 작동하지 않는다고 말하는 대신 이 아이디어가 아직 작동하지 않는다고 말하는 것입니다. 그리고 그것은 인간이 생각하기에는 정말 부자연스럽습니다.

그리고 저는 그 이유가 우리가 이 환경에서 활동하는 방식에 편견이 너무 크기 때문이라고 생각합니다. 우리는 자주 바뀌지 않는 기본적인 공리, 즉 물리학을 가진 환경에서 활동하고 있습니다. 따라서 여러분이 지금 열역학 실험을 한다면, 그리고 여러분이 결과를 얻는다면, 여러분이 3년 후에 그 실험을 한다면 아마도 같을 것입니다. 그 문제에 대해 300년 후에도 아마도 같을 것입니다.

우리는 이런 종류의 환경에 익숙합니다. 따라서 우리가 활동하고 있는 기본적인 공리는 물리학이고, 언어 모델의 경우 우리가 활동하고 있는 공리와 동등한 개념은 무엇일까요? 그리고 그것은 가장 유능한 모델과 더 비슷합니다. 따라서 2020년에 GPT-3가 나왔을 때 연구자들이 이러한 종류의 기술을 활용하는 방법에 대한 직관을 쌓는 데 공리 역할을 했습니다.

GPT-4는 작년에 나왔습니다. 많은 것들이 바뀌었고, 그 이전 모델을 기반으로 구축된 많은 것들이 관련성이 없습니다. 마치 몇 년마다 우리가 다른 행성으로 이사하고 물리적 이해가 바뀌는 것과 같습니다.

이것은 끊임없는 학습 해제 과정의 필요성을 요구하며, 이제 잘못된 공리를 기반으로 구축된 직관과 아이디어는 학습 해제되어야 합니다. 하지만 저는 이것이 그렇게 자주 이루어진다고 생각하지 않으며, 이것은 이 분야의 신규 이민자들에게 흥미로운 역학 관계로 작용합니다. 저는 연구 경험이 많지 않은 학부생들이 1년 안에 들어와서 전체 분야의 궤적을 바꾸는 논문을 쓰는 것을 많이 봅니다. 그리고 그것은 불가능합니다.

여러분이 이론 수학 물리학에 대해 생각해 본다면, 저는 그것이 가능하다고 생각하지 않습니다. 가우스 시대로 돌아가지 않는 한 말입니다. 따라서 이것은 정말 흥미로운 역학 관계입니다. 여러분이 많은 지식 없이 들어온다면, 여러분은 학습 해제해야 할 짐이 많지 않다고 생각할 수 있으며, 더 유연합니다.

적어도 저는 그것을 그렇게 생각했습니다. 그리고 OpenAI의 많은 사람들은 전통적인 머신러닝 박사가 아니며, 그들은 증거가 바뀌는 것을 보면 항상 새로운 패러다임을 채택하는 것과 더 비슷합니다. 따라서 저는 그것이 정말 중요한 역학 관계라고 생각하며, 지적하고 싶습니다.

따라서 제가 그것을 어떻게 생각하는지 다시 한번 마지막 만화를 보여드리고 마무리하겠습니다. 이것은 창발 능력일까요? x축에 어떤 규모가 있고 y축에 능력이 있다고 생각해 보겠습니다. 그리고 저는 크기가 다른 두 모델 3과 4를 넣었습니다. 중요하지 않습니다.

먼저 능력 1을 살펴보겠습니다. 능력 1에서 우리는 GPT-3와 4가 이 변곡점 전에 있으므로 불가능합니다. 하지만 GPT-4보다 조금 더 나은 모델은 어떤 생명의 징후를 얻을 수 있을 것입니다. 능력 2는 훨씬 더 오래 걸릴 것입니다.

능력 3은 GPT-3도 할 수 있습니다. 예를 들어 이것은 감정 분석과 같은 것일 수 있습니다. 따라서 제가 이것으로 의미하는 바는 우리가 이 능력을 볼 때마다, 왜냐하면 우리는 창발 능력에 대한 어떤 이론도 갖고 있지 않기 때문입니다.

어떤 능력에 대해 연구하고 있는지 알 수 있는 방법이 없습니다. 하지만 적어도 이런 종류의 시각적 그림을 갖는 것은 도움이 될 수 있습니다. 저는 이것을 사용하여 스스로를 준비할 수 있습니다.

따라서 저는 실용적인 사람으로서 능력 2에 대해 연구하고 싶지 않습니다. 저는 능력 1에 대해 연구하고 다음 모델에 대비하고 왜 이것이 작동하지 않는지 생각하고 싶습니다. 어디에 더 많은 컴퓨팅을 투입하여 생명의 징후를 얻을 수 있을까요? 그리고 어쩌면 덜, 이러한 점진적인 것에는 아무런 문제가 없지만, 저는 단지 작은 모델만 할 수 있는 것들에 대해 연구하고 있다면 개선의 여지가 유한하다는 것을 알아야 합니다. 우리가 이야기한 내용을 요약하면서 이 강연을 마무리하겠습니다.

가장 중요한 근본적인 원동력은 컴퓨팅 비용이 기하급수적으로 감소하고 있으며, AI 연구자의 역할은 이를 인식하고 그것과 경쟁하지 않고 더 확장 가능한 방법을 설계하여 그것을 활용하는 것입니다. 현재 세대의 언어 모델은 다음 세대, 다음 토큰 예측에 의존하며, 이는 수조 개의 작업 유형을 처리할 수 있도록 일반적인 기술을 배워야 하는 약한 인센티브 구조로 생각할 수 있습니다. 그리고 더 일반적으로 우리는 다음 토큰 예측이 훌륭했지만 그것이 전부는 아니라고 생각하기 시작해야 합니다.

그리고 우리는 정말로 모델을 위한 인센티브 구조에 대해 생각해야 합니다. 그리고 그것이 우리가 정말로 참여하고 몰두해야 하는 새로운 종류의 학습 패러다임이며, 창발 능력은 일어납니다. 이것은 언어 모델의 고유한 특징 중 하나입니다. 따라서 우리는 구식 공리에 기반한 것들을 학습 해제하는 것과 같은 올바른 관점을 가져야 합니다.

이상입니다. 감사합니다.

[익명(wanted7407)]

https://youtu.be/kYWUEV_e2ss?si=VO6mt-5Otb3LuINw

[익명(wanted7407)]

https://x.com/hwchung27/status/1836842717302943774?s=46&t=wb8N3QmbKOwoEwsZ5Tg61g

[딥부이 1(218.232)]

GPT야 요약해줘

[Joyful(approve1515)]