[📪정보] [프리드먼] 오리올 비니알스

[Informa..(59.6)]

출처 : https://cafe.naver.com/futuresci

https://youtu.be/aGBLRlLe7X8

오리올 비니알스는 딥마인드의 연구 이사 · 딥러닝 부서장입니다. 렉스 프리드먼의 팟캐스트에는 두번째 출연입니다.

AI 팟캐스트

· 팟캐스트 진행자와 게스트를 AI로 교체하는 게 우리 생애 안에 가능하겠지만 나한테 별로 재미 없을듯

· AI가 스스로 묻고 답하는 건(self-play) 흥미로울지도 모르겠음

· 재미라는 요소를 측정하고 최대화하는 게 가능하다면 최소한 한쪽이 AI인 팟캐스트는 꽤 재밌을지도

· 사람이 시스템을 만들고 재미 라벨링은 사람 몫이기 때문에 시스템에 인간성이 많이 들어갈듯

현 AI의 문제점

· 오프라인 학습에선 에이전트가 참여하지 않고 관찰만 함

· 우리가 그런 AI와 상호작용할 때 AI의 데이터 생성은 매우 제한적

· 알파고나 알파스타는 훈련되고 나서 인간과 대결할 땐 배우지 않음 가중치는 고정됨

· 하지만 모델에 컨텍스트를 주면 그걸 작업 기억에 넣어두고 그 위에 쌓아갈 수 있음

· 이 작업 기억은 언어 모델에선 2000여 단어밖에 안될 정도로 지금은 아주 제한적

· 평생의 경험을 기억하게 할 기술이나 벤치마크가 부족

· 하지만 이 오프라인 학습은 매우 강력해 인터넷에서 배운 기초적인 상식이 가중치에 새겨짐

· 그렇지만 모델은 경험이 없고 사용될 땐 작업 기억이 변할 뿐 가중치가 변하는 식으로 학습하지 않음

· 그래서 기억과 경험이라는 아이디어가 필요

· 그리고 내가 보는 또다른 문제는 우리가 모델을 백지부터 훈련한다는 것

· 생물이나 우주의 요소는 이전의 무언가로부터 변화함

· 인공신경망이 이전의 가중치를 버리지 않고 새로 배우게 하기가 아주 어려움

· 이걸 어떻게 해결해야할지 확실치 않지만 많은 아이디어가 있고 흥미진진함

범용성

· 딥러닝의 핵심에는 어떤 과제라도 해결할 수 있는 하나의 알고리즘이라는 아이디어가 있음

· 주어진 새 작업에 공들여 작업할 필요 없이 쓸 수 있는 보편적인 방법론이 무엇인가

· 아직 이 방법론을 찾지 못했지만 특정한 무언가를 할 때 더 적은 조정이나 트릭이 필요해지고 더 일반적인 알고리즘이 나오게 되어 분야가 들뜨고 있음

· 알파폴드를 보면 트랜스포머나 그래프 신경망, BERT같은 이전의 기초 방법론에서 많이 가지고 왔지만 알파폴드만을 위한 특별한 요소가 필요함.

· 보통 방법론은 공통적이지만 가중치는 버림

· 하지만 2~3년 전부터는 배우는 걸 배우는 메타 러닝이나 몇몇 발전들이 있었음

· 언어 영역에선 GPT-3는 한 번만 훈련해도 꽤 범용적이고 프롬프트를 줘서 뭘 하라고 가르칠 수 있음

· 그리고 최근 2년 간 언어를 넘어 시각, 행동, 게임으로 확장됨

· 혁신이 더 필요하겠지만 이런 방법이 꽤 좋은 시작이라고 느낌

· 이게 AGI로 가는 발전의 벤치마크일지도 모름

· 어떻게 모델을 더 강력하게 만드나, 어떻게 훈련하나, 어떻게 키우나, 키울 시 가중치를 바꿔야 하나 등 많은 흥미로운 질문들이 남아있음

가토

이름

· 가토는 끝이 아니라 시작이라는 트윗을 올렸었음

· 최근 딥마인드에서 대형 시퀀스 모델에 동물 이름에 붙여왔음

· 고퍼, 친칠라는 언어

· 플라밍고는 언어+시각

· 가토는 언어+시각+행동

· 발표하기 전에 어떤 이름을 붙일까 팀이 논의했는데 General Agent, 줄여서 GA가 들어가는 동물이 좋겠다 싶어서 GATO(스페인어로 고양이) 선택

작동 방식

· 가토는 트랜스포머고 이전의 어떤 무언가에서 다음에 올 무엇이든 예측

· 이전에 오는 건 언어, 이미지, 상하좌우 행동, 관찰 등등

· 입력으로 텍스트, 이미지, 영상, 행동, 로봇 센서 데이터, 출력으로 텍스트, 행동

· 이미지 출력은 그때는 고려 안했음 가토는 시작에 불과한 이유

· 가토는 대화가 가능한 언어 모델이면서 게임도 하는 에이전트

· 모델이 에이전트라는 건 모델이 환경에서 행동을 취하고 그 환경은 행동에 대한 반응을 해 모델이 다시 관찰하고 그에 맞춘 행동을 한다는 의미

· 가토는 대량의 데이터를 관찰하며 모방 학습함

· 언어는 보통 언어 모델이 그렇듯이 인터넷에서 수집한 데이터 이용

· 게임은 다른 게임용 에이전트들의 플레이 데이터 이용

· 이런 데이터를 섞어 훈련

· 가토는 매개변수가 10억여개 정도로 꽤나 작지만 매우 다양한 데이터셋에 훈련

· 가토가 보고 배운 스승격인 특화된 모델만큼 가토가 뛰어나진 않음

· 가토는 시작일 뿐이라고 한 게 크기가 작기 때문인 것도 있음

· 규모를 확장함에 따라 텍스트나 게임같은 서로 다른 데이터끼리 연결되어 시너지 효과가 일어날 수도 있음

· 이 시너지는 규모 확장에서 창발할 수도 있고 아타리 게임을 시작할 때 텍스트 컨텍스트를 덧붙이는 것처럼 데이터 측면에서 일어날수도 있음 텍스트는 데이터를 강화할 좋은 원동력이 되어줄 것

토큰화

· 토큰은 일종의 퍼즐 조각

· 언어 토큰화는 이전부터 쭉 연구돼왔던 방법 그대로 사용

· 이미지 토큰화는 이미지를 16×16 픽셀 패치로 압축해서 양자화

· 언어와 이미지 토큰은 서로 분리된 영역에 있음

· 알고리즘이 이미지 주석 달기를 배우면서 언어와 이미지의 관계를 형성

· 행동 토큰화는 비슷한 압축 방법 사용

벡터

· 가토는 트랜스포머와 같은 비교적 최신 기술을 사용하지만 역전파나 경사하강법같은 기본적인 작동 방법은 옛날이나 지금이나 같고 정수가 들어오면 다음 정수를 예측

· 가토의 가중치는 모든 작업에서 같음

· 정수가 들어오면 실수 벡터로 바꿔 매핑

· 실수는 경사하강법으로 최적화 가능

· 훈련을 진행함에 따라 서로 독립적인 영역의 벡터들이 서로 맞춰지게 됨

· 예를 들어 cat이라는 단어의 벡터와 고양이 픽셀의 벡터가 맞춰짐

· 두 영역 간 잠재적인 연관관계를 배우는 것

· 모달리티마다 다른 벡터를 가지는 것 대신 다른 방법도 있을 거라고 생각

· 아타리에서 행동이 별도의 벡터가 아니라 말 그대로 '아타리에서 행동'이라는 언어일수도 있음

· 이런 식이면 언어의 힘을 더 많이 받을 수 있음

· 가토에선 그렇게 안했지만 이렇게 하면 모델이 연관관계를 더 쉽게 배우고 모델의 행동을 고치도록 가르칠 수도 있음

· 규모뿐만이 아니라 앞으로의 새로운 연구로부터도 더 인상적인 결과가 나타날 것

플라밍고와 모듈성

· 모델을 키우는 건 다시 훈련하면 어렵지 않음

· 이미 훈련한 작은 모델의 가중치를 더 큰 모델에 재사용할수가 있냐가 진짜 어렵고 흥미진진하고 실용적인 문제

· 우리는 언어 시각 모델인 플라밍고에서 모듈성을 활용했음

· 플라밍고는 언어 모델인 친칠라의 가중치를 고정시키고 볼 수 있는 능력을 더한 것

· 사전 훈련된 시각 모델을 붙이고 언어와 이미지를 연결하는 데이터셋을 사용

· 그리고 처음부터 훈련되는 작은 신경망도 붙임

· 그래서 나온 게 이미지에 대해 대화도 가능한 플라밍고

· 친칠라 매개변수 700억 개+위에다 덧붙인 신경망 매개변수 100억개=플라밍고 매개변수 800억개

· 플라밍고는 시각과 언어에 훈련

· 이미지와 텍스트가 입력이고 텍스트가 출력

· 대형 언어 모델처럼 플라밍고도 퓨 샷 러닝 가능

· 친칠라가 가진 언어의 힘을 많이 받았음

· 플라밍고는 기존의 모델을 활용하는 모듈식 접근 방법이었고 가토는 처음부터 훈련

· 모듈성을 활용할지 아님 처음부터 훈련할지는 커뮤니티의 큰 질문

· 수백개의 신경망을 모듈식으로 연결하는 비전도 멋지지만 우리가 다음 언어 모델을 만들 때 친칠라를 써야 하는가의 질문이 여전히 남아있음

· 그런 비전은 소프트웨어 엔지니어링과도 유사함

· 이미 만들어놓은 라이브러리를 사용하지 처음부터 만들지 않음

· 모듈성도 내가 가토는 시작이지 끝이 아니라고 한 이유 중 하나

메타 학습

· 우리가 얘기했던 2019년 이후로 GPT-3가 나오고 분야가 계속 발전하면서 메타 학습은 의미가 많이 변화해옴

· 그땐 벤치마크 쪽에 중점을 둔 사람들이 이야기했는데 메타 학습은 객체 식별(object identity)을 할 수 있는 능력으로 시각이나 객체 분류에 많이 집중함

· 여기서 메타적인 게 뭐냐면 모델이 배우는 카테고리가 이미지넷 데이터셋에만 국한된 게 아니라 모델과 상호작용하며 정의될 수 있는 카테고리도 배운다는 것

· 머신러닝 데이터셋 형식으로 프롬프트를 하나 주면 즉석에서 그걸 토대로 분류나 예측

· 퓨 샷 러닝이 가능한 GPT-3가 나오고 나서 벤치마크에서 해방돼 언어로 작업을 정의할 수 있게 됨

· 이전과 달리 자연어로 프롬프트를 주면 새로운 작업을 배워서 수행하니 메타 학습

· 플라밍고는 이를 시각과 언어로 확장

· 플라밍고에게 사진 속 숫자로 덧셈하는 예시를 보여주면 플라밍고가 그렇게 할 수 있음

· 이는 이미지넷 분류를 훨씬 뛰어넘은 것

가까운 미래의 메타 학습

· 앞으로 모달리티가 계속 확장될 것

· 급진적인 희망이긴 하지만 5년 뒤엔 스타크래프트도 이렇게 즉석에서 가르칠 수 있을 것 실력은 알파스타 수준까진 아니겠지만

· 시스템에 플레이 예시를 보여주고 여기서 뭘 잘했는지 알려줌

· 시스템은 플레이하고 자신이 잘 했는지 인간에게 물어볼 수도 있음

· 앞으로의 5~10년 간 메타 학습 능력이 훨씬 더 상호작용적이고 풍성해질 것

· 시스템과 상호작용하고 게임의 위키피디아 페이지를 주고 함으로써 어떤 게임이든 플레이할 수 있게끔 될 것

· 이는 가능성의 영역 안에 있지만 연구가 더 필요

· 인간이 프롬프트를 주는 걸 넘어서 더 상호작용적으로 시스템이 인간에게 피드백을 요청하거나 할 것

· AGI의 의미적인 면에서 보자면 전에 AI가 바둑, 체스, 스타크래프트에서 인간을 이겼지만 다음 AI는 모든 작업에서 인간의 20% 쯤 달성하는 것도 괜찮음

· 미래의 이런 모델들이 우리가 희망하는 그러한 방향의 발전을 알려줌

· 트랜스포머로는 모자라고 새로운 혁신이 필요할 수 가능성도 있음

· 5~10년 뒤의 모델은 가중치는 이미 훈련이 된 상황에서 사용자가 어떻게 유도하고 가르치냐에 따라 지금의 산수 같은 기능을 훨씬 넘어선 능력을 보여줄 것

· 프롬프팅을 고전적인 최근접 이웃 알고리즘처럼 생각하는 것도 방법

· 최근접 이웃 알고리즘은 각 데이터간의 거리를 계산하고 새로운 데이터를 가장 가까운 데이터에 연결함

· 프롬프팅을 통한 메타 학습은 단순한 거리 계산보다 훨씬 복잡하지만 고전적인 방법의 진화

· 최근접 이웃 알고리즘은 컴퓨터 비전 쪽에서 잘 알려진 방법이고 지금은 이미지뿐만 아니라 단어, 단어 시퀀스, 이미지, 행동으로도 새로운 것을 가르침

· 메타 학습에서 모델의 가중치는 고정되고 변하지 않는다는게 꼭 사실은 아니라고 생각

· 메타 학습의 어떤 기술, 측면은 새로운 과제에 모델을 미세조정함

· 모델이 어떤 것도 수행하기 위해 세상을 배우려면 뭘 어떻게 배워야 하냐는 큰 열린 질문

트랜스포머

· 5년 전 쯤 트랜스포머가 발표되고 나서 트랜스포머를 이용한 발전이 계속 나오는 게 놀라움

· 트랜스포머는 어텐션(attention)의 귀납 편향(inductive bias)이 내재되어 있음

· 사람이 읽을 때 이전의 뭔가를 집중해서 찾고 다음에 뭐가 올지 예측하는 것이 느슨하게 복제되있음

· 만일 다음에 올 단어가 고양이인지 예측하는 과정이면 고양이와 연관된 단어가 전에 있었는지 심층적으로 계산

· 단순히 어떤 단어가 방금 전에 나왔다고 중요하게 보는 것이 아니라 내용적으로 뭐가 중요한지 파악

· 트랜스포머의 문제는 넣은 수 있는 프롬프트의 한도가 게임같이 복잡한 걸 알려주기엔 너무 적다는 것

· 이걸 해결하기 위한 연구들이 있음

창발

· 전통적인 머신 러닝에선 하나의 입력을 넣으면 하나의 출력이 나오는 작업에서 데이터 크기, 모델 크기, 훈련 시간이 커짐에 따라 매끄럽게 성능이 올라감

· 이미지 인식이 그런 작업이고 인간이 아주 짧은 생각으로 간단하게 처리할 수 있음

· 언어는 훨씬 더 숙고해야 하는 영역

· 트랜스포머 언어 모델이 올바른 답을 얻기 위해 올바른 질문을 하기 전까진 성능이 무작위

· 그 임계치를 넘으면 성능이 무작위에서 비무작위로 바뀜

· 여기 이론이 있는 건 아니고 경험적인 것

· 이런 종류의 작업을 작게 분해한다면 훨씬 부드럽게 성능이 올라갈수도 있음

· 이 현상의 문제점은 어떤 작업을 하려면 최소한의 모델 크기가 필요하다는 것

· 손실은 확장 법칙(scaling law)의 외삽으로 예측이 가능하지만 창발은 외삽할 수 없음

· 현재의 경험적 확장 법칙보단 물리 법칙처럼 이론적 토대가 탄탄한 법칙의 등장 기원

AI의 지각

· 오늘날 AI가 지각이 있다고 한 번도 생각해본 적 없음

· 알파폴드 연구할 때 생물학도 공부했는데 생물 시스템의 복잡성은 컴퓨터 시스템에 비해 차원이 다름

· 지각이 있는 컴퓨터 시스템은 아주 먼 미래의 이야기

· 사람들이 시스템에 어떻게 반응하는지도 연구자로서 나에게 중요

· 내가 머신 러닝을 잘 알고 있기에 컴퓨터 시스템을 덜 마법처럼 느껴지는 것처럼 생물학도 잘 알게되면 생물을 덜 마법처럼 느낄듯

· 이런 교육적인 측면도 중요하다 생각

· 아주 유용한 알고리즘을 만드는데 꼭 의식이 들어갈 필요는 없을 것 같다고 생각

· 생물학이 알고리즘 발전에 영감을 줄 수 있고 AGI 제작에 도움이 될 것

· 의식을 시스템에 추가하는 건 너무 어려울 것 같지만 나도 생물을 잘 아는 것도 아니고 더 배워야 함

· AI의 의식 이야기는 너무 이르지만 너무 늦는 것보단 나음

씁쓸한 교훈

· 씁쓸한 교훈이 딥러닝의 철학과 거의 유사하다고 생각하고 아주 동의

· 놀랍고 복잡한 시스템 구축에 혁신이 더 필요해 규모만으로 충분하진 않겠지만 규모는 필수

· 씁쓸한 교훈의 주된 요소인 규모와 탐색 중 탐색에 대해 난 좀 더 뒤섞인 의견을 가지고 있는데 바둑같은 분야에선 탐색이 명확하지만 그렇지 않은 분야가 있음

· 그렇지만 알파코드는 막대한 규모와 탐색으로 인간 중간 수준까지 달성

· 어떤 방법이 확장되어야 하냐에 따라 새로운 하드웨어가 필요할지도 모름

· 분야의 발전 속도, 최근의 규모 확장에서 하드웨어 복권스러운 측면이 있음

인간 수준 인공 지능

· 내 생애에 인간 수준을 넘어선 AI는 분명 가능성 있고 인간 수준은 확실함

· 현재 모방 학습 방식 관점에서 보면 인간 수준을 넘는 AI는 정의하기 어려움

· 모방으로 인간 수준까지 발전은 아주 가능해 보임

· 인간을 넘어서려면 강화 학습이나 다른 것들 필요할 것이고 몇몇 분야에서 이미 인간을 뛰어넘는 걸 보여줬음

· 하지만 일반적으로 인간 수준 지능에 도달하고 뛰어넘는 보상 함수의 정의는 내 생애엔 확실하진 않지만 인간 수준은 확실함

· 초인적인 수준까지는 아니어도 인간 수준 지능만 돼도 아주 강력함

미래

· 자원이 제한되어 인간에게 제약이 있는데 디지털 존재는 매우 흥미로운 질문일듯

· 디지털 존재도 제약이 있겠지만 아마 에너지가 결정

· 이런 미래가 온다면 성장이나 공존을 우리가 어떻게 해나가야 할지 함께 알아봐야 함

· 어떤 자원이나 지식에 접근하지 못하는 사람들이 그것에 접근하게 해준다는 점에선 자동화가 매우 들뜨는 일이고 개인적으로 연구하는 방향

· 인간이 우주로 뻗어나간 미래에서 인간과 기계가 1대1 비율인게 좋을듯 불균형은 별로

[익명(39.117)]

[익명(118.39)]

개추