[🏆베스트] 주요 AI 인터뷰들 정리 (24.08.11)

[MinasAn..(wipe2561)]

1. OpenAI 리드 호프먼, 브렛 타일러 인터뷰 (2024.08.09)

- 점점 더 미래를 예측하는 것이 어려워지고 있다. 그동안 우리는 컴퓨터가 정확한 데이터만을 뽑아내는 매우 강력한 규칙기반 연산기라 생각했었다. 하지만 환각을 만들어내는 것을 보면 LLM은 새로운 유형의 소프트웨어다. 사회는 아직 이 신 유형의 소프트웨어를 이해하는 초기단계라고 본다. 

- AI는 뛰어난 사람을 더 뛰어나게 만들고 그들의 영향력을 더 키울 것이다. 이는 최고와 최악의 격차를 더 벌릴 거다. AI라는 아이언맨 슈트가 생겨났기 때문이다. 

- 기존의 일자리들이 사라지고 새로운 일자리들이 만들어질 것이다. 인간은 누구나 자신을 차별화하고 싶어한다. 교실을 가봐라. 어떤 아이는 똑똑해지고 싶어하고, 어떤 아이는 강해지고 싶어하고, 어떤 아이는 잘생기고 싶어한다. 우리 모두는 사회의 지위를 놓고 경쟁한다. 

- 많은 것을 경험하고, AI를 가까이하고 활용해라. 현재 LLM들이 가장 잘하는 것은 정보를 통합하고 요약하는 것이다. 수많은 데이터들을 살펴보는데 큰 효용이 있다. 

- OpenAI의 미션은 인공지능이 모든 인류에 혜택을 주도록 하는 것이다. 이사회 멤버로서 나는 인류에게 혜택을 주는 것인지 생각하며 참여한다.

OpenAI’s Bret Taylor & Reid Hoffman: Your business can’t wait until AI is perfect | Masters of Scale

2. 제프리 힌튼 인터뷰

- 일리야 수츠케버와 처음 만났을 때를 회고해보면 다음과 같다. 아마 내가 사무실에 있었고 일요일이었을 거다. 난 프로그래밍을 하고 있었는데 갑자기 누가 다급하게 문을 두드렸다. 문을 열었더니 젊은 학생이 한 명 있었다. 여름에 감자튀김을 만드는 알바를 하고 있는데 그거 관두고 내 연구실에서 일하고 싶다는 거다. 그래서 "그럼 약속을 잡고 언제 한 번 대화해봅시다" 했더니 "지금은 안되나요?" 라고 대답했다. 그게 일리야의 성격이다. 그래서 조금 대화를 나누고 나서 네이쳐지에 실린 역전파에 대한 논문을 읽고 오라고 했다. 일주일 뒤에 일리야가 다시 왔는데, "이해가 잘 안됩니다"라고 하더라. 실망했다. 거기 담긴 수학이라고 해봐야 체인룰(합성함수 미분)일 뿐인데, 그걸 이해못하다니. 겉으론 똑똑해보였는데 말이다. 근데 일리야는 "아니 아니, 그건 이해했는데 왜 기울기(gradient)를 좀 더 효율적인 최적화 도구에 대입하지 않는지, 그게 이해가 안간다는 뜻이에요" 라고 했다. 일리야의 직관은 참 탁월했다. 그런 직관이 어떻게 생겨나는 지는 아직도 잘 모르겠다. 

- 어떤 때에는 같이 프로젝트를 하는데 길이 막혀있었다. 그러던 차에 일리야가 MATLAB 기반으로 다시 인터페이스를 만든다고 하는거다. 그래서 난 "아니야 일리야, 그거 하려면 한 달 넘게 걸릴거다. 한 눈 팔지마." 라고 말했다. 그랬더니 일리야는 "아뇨. 오늘 아침에 다 끝내놨습니다." 한 적도 있었다.

- 일리야는 늘 모델을 "더 크게 만들면 더 잘될 거에요" 라고 말해왔었다. 난 그걸보고 일종의 회피 아닌가 싶기도 했다. 새로운 아이디어나 아키텍처가 필요한 것 같다고 생각했기 때문이다. 하지만 결과적으로 일리야가 옳았다. 

- 다음 토큰을 예측하려면 그 앞에 내용을 이해해야한다. 뿐만 아니라 추론도 해야한다. 모델의 크기가 커질수록 특별히 추론기능을 따로 더 넣지 않아도 추론을 해내기 시작한다. 나는 아마 더 커지면 더 많은 추론을 해낼거라고 믿는다. 예를 들어, 사람들에게 "퇴비와 원자폭탄이 왜 비슷한가?" 라고 물어보면 보통 사람들은 잘 대답하지 못할 것이다. 하지만 GPT에게 물으면 이렇게 대답할 것이다. "에너지 스케일이나 시간 스케일은 많이 다르지만 둘이 비슷한 점은 연쇄적이라는 것입니다. 퇴비도 뜨거워지면 더 열을 만들어내고 원자폭탄 역시 중성자 생성이 더 빠른 중성자 생성을 만들어낸다는 점입니다." 라고 말이다. 모델은 퇴비와 원자폭탄이 둘다 연쇄반응의 형태라는 것을 이해한 것이다. 모델은 이런 이해들을 자신들의 가중치에 압축하고 있다. 이런식으로 사람은 발견해내지 못하는 수백가지 유사성들을 찾아내면, 이것이 창의성의 원천이 된다. 나는 모델이 사람보다 더 창의적이 될 것이라 믿는다. 

- 알파고의 37수와 같은 창의적인 수가 나온 것은 LLM에는 아직 부족한 강화학습에서 비롯된 것이다. 하지만 그 강화학습이 '반드시 필요'한 것은 아니라고 생각한다. MNIST 예제로 신경망이 손글씨 숫자를 인식하게 하는 테스트를 한 적이 있다. 신기한 현상이 있었다. 훈련 데이터가 50%의 오류율이 있었음에도 불구하고 그걸 역전파로 학습시키니 오류율이 5% 미만으로 떨어졌다. 우리 직관적으론 잘 이해가 되지 않는 현상이지만 이렇게 생각하면 된다. 지도교수보다 학생이 더 똑똑해지는 경우를 상상해보면 된다. 지도교수가 알려주는 것의 절반은 틀린 것이라 할지라도 학생은 그걸 알아서 공부해 더 똑똑해지는 것이다. 결론적으로 신경망은 주어진 훈련 데이터보다 더 똑똑해지는 것이다. 대부분의 사람들은 이걸 모른다.

- 추론에 휴리스틱을 접목시키거나 멀티모달을 도입하는 것 또한 AI에게 큰 발전토대가 될 것이다.

질문자 - 우리 뇌가 언어에 맞게 진화한 것일까, 언어가 뇌에 맞게 만들어진 것일까?

- 세 가지 주장이 있다. 기존의 Symbolic AI 처럼 기호주의 측은 우리의 '인지'가 기호로 연결되며 일정한 추론 규칙이 있다는 주장이다. 이에 반대되는 두번째 주장은 머릿속에 들어온 모든 데이터는 '벡터'가 된다는 것이다. 단어들이 머릿속에 들어오면 히든 스테이트에서 정보를 축적해 생각벡터(thought vector)를 만들어낸다는 것이다. 언어를 벡터로 변환한다는 뜻이다. 마지막 세 번째 주장은, 제가 믿는 것인데 기호들을 임베딩해 여러 계층을 통해 그 임베딩을 풍부하게 만든다. 그리고 이 벡터들이 상호작용해 다음 단어의 기호를 나타내는 벡터를 생성해내는 것이다. 난 이게 '이해'라고 생각한다. 이해란 기호를 벡터로 변환하는 법을 알고, 그 벡터들의 요소들이 상호작용해 다음 벡터를 예측하는 방법을 아는 것. 그것이 이해인 것이다. 

- 촘스키가 말했던 생득이론처럼 모든 인간이 사실 태어날때부터 언어를 학습하기 위한 토대가 뇌 속에 숨겨져 있고 커가면서 이게 성숙한다는 말은 이제 분명히 말도 안되는 이론이다. 촘스키의 중동문제에 대한 합리적 발언은 참 좋게 보는데, 어떻게 언어학에 대해서는 이렇게 잘못된 생각을 할 수 있는지 놀랍다.

- AI도 감정을 가질 수 있을 거라 생각한다. 인간이 지각을 위해 내부 극장 모델을 갖고 있는 것처럼 말이다. 감정은 전두엽에서 오는 억제력이 없다면 나타나는 행동을 의미한다. 억제하지 못할 때, 우리가 취하는 행동. 저는 실제 1973년에 실제로 로봇이 감정을 표현하는 것을 본 적 있다. 장난감 자동차를 조립하도록 하는 로봇이었는데 시각 기능이 떨어져서 잘 보이지 않자 양 집게손을 모아 쾅 하고 내리쳤었다. 마치 사람이 잘 안보여서 화가 난 것처럼 말이다.

질문자 - 좋은 직관과 나쁜 직관을 가진 사람을 어떻게 구분하나

- 나쁜 직관을 가진 사람의 공통점은 모든 것을 믿어버린다는 점에 있다. 그건 치명적으로 잘못된 행동이다. 보통 사람들은 현실을 이해하기 위한 프레임워크가 있어서 누가 어떤 말을 하면 자신이 가진 프레임워크에 잘 맞는지 비교해본다. 그리고 맞지 않으면 그 새로운 정보를 거부한다. 이는 매우 좋은 전략이다. 좋은 직관이 있다면 믿어야 한다. 

질문자 - 그럼 지금 AI가 거의 한 방향으로 발전하고 있지 않나, 이러지말고 좀 더 다양하게 가야하는 것 아닌가?

- 모델을 더 크게 키우고, 멀티모달 데이터를 도입시키는 것. 이는 아주 유망한 방식이다. 우린 여기에 거의 올인해야 한다. 매우 잘 작동하고 있기 때문이다.

질문자 - 지금 가장 많이 생각하는 고민이 뭔가?

- 넷플릭스에서 뭘 볼까하는 거다.

https://www.youtube.com/watch?v=n4IQOBka8bc

Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition

3. Gmail 개발자 폴 부크헤잇 인터뷰 (24.08.10)

진행자 - Gmail을 만들고 구글의 "Don't be evil" 구호를 만든 사람, 폴 부크헤잇의 인터뷰를 시작합니다.

폴 - 구글은 사실 AI 기업을 목표로 시작했다. 래리와 세르게이는 매우 큰 컴퓨팅 클러스터를 구축하고 모은 데이터를 기계학습시키려고 했다. 

- 초창기 1999년 구글은 팔로알토 찻집 2층에 있던 작은 스타트업이었다. 활기가 넘쳤고 매일 출근하고 싶었었다. 

- 초기 구글에서는 철자교정기를 개발하고 있었는데 80%의 엔지니어들이 그걸 어떻게 만드냐고, 전혀 아이디어가 없었다. 나머지 20%는 그냥 평범한 아이디어를 내놨고. 근데 정말 뛰어난 답변을 한 엔지니어가 딱 한 명 있었다. 구글에 입사한지 2주밖에 안된 엔지니어였는데 고유명사의 철자까지 교정하는 놀라운 아이디어를 내놓은 것이다. 그래서 그를 꼭 붙잡아야한다고 말했었는데, 그가 바로 노암 샤지르(Noam Shazeer)였다. Attention is All you need의 핵심 저자 중 한 사람이자 Character.AI를 시작하고 지금 다시 구글로 돌아온 그 인물이다.

- 나는 2006년 구글을 퇴사했다. 꾸준히 세르게이 브린과 래리 페이지가 구글을 이끌었다면 위험회피적 성향을 피하고 공격적으로 모델을 내놨을 거라 생각한다. 지금의 구글도 OpenAI 때문에 의도치않게 강제로 대응하고 있다고 본다.

- 내가 인터뷰한 일리야 수츠케버는 AI를 금지하기보다 AI를 개발하는 것이 공익을 위한 길이라고 생각하고 있었다. 샘 알트만은 놀라운 조직가다. 그렇게 이해관계가 다른 사람들을 한데 모을 수 있는 사람을 난 본적이 없다. OpenAI가 성공한 이유는 구글이 느렸기 때문이다. 대기업은 보통 내부적으로 잘못된 인센티브 구조를 갖고 있다. 구글의 내부 인재들은 내가 여기서 연구해봤자 그 결과물이 구글 내부에 갇힐 거라고 생각한 반면, OpenAI는 내가 연구한 것이 세상에 나아갈 것이라는 믿음이 있었다. 그것이 많은 인재들을 끌여들였다. 2016년의 OpenAI는 1999년의 구글보다도 더 상황이 안좋았다. 더 불확실했고, 일론 머스크조차 당시에 OpenAI의 성공확률이 0%라고 말한 것이 최근 소송으로 드러났었다. 

- GPT-2가 처음 개발됐을 때, 샘이 흥분해서 보여주고 싶어했던게 기억난다. 하지만 당시에도 많은 사람들은 "그거 그냥 단지 다음 단어를 예측할 뿐이잖아. 속임수야" 라고 했었다. 하지만 다음 단어를 한 번 예측해봐라. 그게 쉬운 일인가. 다음 단어를 예측할 수 있다면 무엇이든 예측할 수 있다는 뜻이다. 

진행자 - 지금 메타의 저커버그가 오픈소스의 영웅이 되었다. 근데 보면 가중치는 우연히 유출된거고, GPU 대량주문도 틱톡이랑 경쟁하려고 넣었던 것이지 않나. 우연의 일치라고 볼 수도 있는데 어떻게 생각하나

폴 - 좋은 질문이다. 그 자세한 내막은 나도 잘 모르지만 확실한 것은 그 사람은 똑똑한 인물이다. 과소평가해선 안된다. 여러 면에서 뒤쳐져 있었기 때문에 메타가 오픈소스를 택하고 OpenAI나 경쟁사들을 약화시키는 전략을 선택한 것이다. 이게 잘못된 것이라고 볼 순 없다. 

진행자 - 그럼 계속 오픈소스를 그 사람에게 의존하는 것은 좀 걱정되지 않나? 전략적인 인물인데

폴 - 맞다. 그 사람에게만 의존해선 안된다. 메타 사람들이 지금 올바른 방향에 서있는 것은 감사한 일이지만 그들이 유일한 해결책이 되어선 안된다. 자유와 오픈소스를 위한 연합을 구축해야한다. 페이스북이 우릴 모두 구원해줄거란 믿음에 베팅해선 안된다.

- 갑자기 저커버그가 맘이 바뀌어서 더이상 오픈소스 모델을 공개하지 않으면 어떻게 되나. 훈련에만 수십억 달러가 드는데 그 돈을 어떻게 조달할까. 

진행자 - 맞다. 모델을 구축하는데 너무 많은 돈이 들어서 본질적으로 중앙 집중화가 일어난다. 만약 AGI 구축에 수조달러가 들면? 그래서 더 싼 하드웨어, 더 효율적인 학습 아키텍처가 나오길 고대한다.

폴 - 아마 다음 프론티어 모델은 10억달러면 훈련을 할 수 있을 거다. 그 돈이면 메타가 메타버스 구축에 쓴 돈 20~50억 달러보다 훨씬 싼 편이다. 

진행자 - 맞다. 뿐만 아니라 채용에도 큰 도움이 될거다. 오픈소스 vs 클로즈드 소스, 전자가 더 매력적이니까. OpenAI가 지금 모든 자금을 빚으로 해결하고 있고, AGI를 달성하면 갚겠다고 하는데 진짜 가능할까?

폴 - 솔직히 아무도 모른다. 하지만 난 AGI에 도달할 것이라 믿는다. 이미 '투자를 받아서 연구해도 별 소득이 없을만한 단계'는 지났다. 돈을 투자하면 더 많은 것을 얻어낼 수 있는 단계에 진입했다. 마치 핵분열이 임계치에 도달한 것처럼 말이다. 혹은 아파넷(ARPAnet)이 인터넷이 된 것처럼, 인터넷도 90년대 중반에 성과가 나타나기 시작하면서 그 임계치를 순식간에 넘어 발전했다. 

- 지금 보면 세상이 거의 AI에 돈을 쏟아붓지 못해 안달이난 것 같다. 이제 AI 훈련을 위한 전력공급 문제까지 국가 안보문제로 대두되고 있다. 이 사이클이 돌아가기 시작하면, 계속해서 성장하게 된다. 더 많은 투자 -> 더 똑똑한 모델 -> 더 많은 문제 해결 식으로 말이다. 나는 이 루프가 계속 개선될 것이라고 본다.

진행자 - 얀 르쿤은 계속 우리가 걷는 이 길이 AGI에 도달하지 못할거라 말하는데 어떻게 생각하나?

폴 - 나도 얀 르쿤이 왜 그러는지 모르겠다. 그가 오픈소스를 지지하는 건 나도 동의하는데 다른 부분에선 이해하기 어렵다. 최근 시스템1, 시스템2 사고에 대한 연구도 나오고 있다. 고차원적인 사고, 시스템-2 사고 방식의 연구가 더 진행되면 AGI로 더 한걸음 나아갈 수 있다.

- 중국이 SuperAI를 갖게 되면 AI가 우리 생각조차 검열할 수 있게 된다. 인간종에 이는 재앙이 될 것이다. 이런 통제의 길을 걷게 되면 결국 우리 모두는 동물원 속 동물처럼 될 것이다.

진행자 - SB1047같은 법안이 AI로 인해 잘못된 결과가 나오면 그 모델 구축자들이 형사처벌까지 받는다는 이상한 법안이 나오고 있다. 이는 자동차 사고가 나면 자동차 설계자가 처벌받는다는 법안 아닌가. 중국은 이미 그런 SB1047과 같은 일을 하고 있다고 들었다.

폴 - 맞다. 그래서 우리가 더 앞서가는 것이다. 그런 환경에서는 좋은 모델을 만들 수 없다. 천안문 사태와 같은 일에 대해 질문하면 거짓말을 해야하지 않나. 그런 면에서 내가 가장 좋아하는 AI 연구소 선언문 중 하나가 xAI의 것이다. 그들은 아직 훌륭한 모델을 내놓진 않았지만 "최대한의 진실을 추구한다"는 그 사명문은 정말 훌륭하다. 

https://www.youtube.com/watch?v=LSUviaN1eso

Gmail Creator Paul Buchheit On AGI, Open Source Models, Freedom

[익명(182.230)]

[후리렝(boxing8245)]

[익명(61.76)]

정상화를 실시하는 신창섭

[익명(6hwbpqxtc4kuv)]

고맙다 좋은 자료네 - dc App

[디비휴(runny7837)]

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

[MoonChild(aowlr2001)]

[익명(119.195)]

'나도 얀 르쿤이 왜 그러는지 모르겠다.' ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(219.248)]

르쿤이햄ㅋㅋ

[도로시냥(slzpdnjsxnf)]

[익명(211.104)]

질문자 - 지금 가장 많이 생각하는 고민이 뭔가? - 넷플릭스에서 뭘 볼까하는 거다. 인간미 뭐놐ㅋㅋㅋㅋ - dc App

[익명(landofooo)]

ㄹㅇ 존나웃기네 ㅋㅋㅋㅋㅋㅋ

[익명(119.207)]

천재는 말하는 것도 깊이가 다르네

[ㅇㅇㅇ(lsh0320jpgpw)]

캬

[외웨(pope8635)]

넷플릭스 뭐볼지는 중요하지ㅋㅋㅋㅋㅋㅋㅋ - dc App

[익명(landofooo)]

일리야 일화는 ㄹㅇ 신기하네