[📪정보] NVIDIA GTC AI의 미래 토론 요약 정리

[나일론마스크(flx1012)]

2022년 9월 21일 GTC AI 토론 내용 요약 :

H : 지오프리 힌튼
L : 얀르쿤
B : 요슈아 벤지오

Disclaimer : 참고로 쉽게 풀어서 설명하고 의역한거라 자세하고 정확하게 알고 싶으면 시간 들여서 직접 봐라. 기술적인 내용 너무 자세하게 번역하면 개노잼되서 그냥 대충 의역했다.

Q. 너네들 최근에 뭔 생각하고 지내냐?

H: 생물학적 학습 알고리즘 연구하고 있음. 여러가지 대안 고민중

L : 기계가 훨씬 더 사람과 비슷하게 학습하는 방법 연구중. Self Supervised 학습에 대해 관심있음. 

B: 인간 뇌가 어떻게 일반화를 하는지 관심있음. 뉴럴넷에 인과관계를 적용 시키려 함.


Q. 최근에 스케일링만이 답은 아니고 일반화 ( Generalization )와 적응화 ( Adaptation ) 도 중요하다고 했음. 이것에 대한 최근 생각은?

B : 현재 뉴럴넷이 일반화를 아예 안하지는 않지만 아주 제한적임. 그래서 요즘 뇌과학이나 인지과학에서 영감을 받은 아키텍쳐 사용을 연구중임.
그래서 사고하고 상상하고 계획하는 지능을 만들고자함.

L : 나도 스케일링이 필요는 하지만 충분하지는 않다고 생각. 그리고 단순한 보상체계도 충분치 않음.
뭔가 중요한거 우리가 놓치고 있고 벤지오가 말한 부분이 그런 부분일 수 있음. 우리가 생각하는 모든 과정이 단순한 반응들은 아닐거임.
우리는 미리 계획하기도 하고 복잡한 컨셉을 심플하게 분리 하기도 함. 근데 솔직히 ㅅㅂ 이걸 우리가 어떻게 다 해내는지 모르겠다.

H : 구글의 Palm라는 모델이 어떤 농담이 왜 재밌는지 설명할 수 있었다는 거에 놀랐었음. 그래서 너네들 말하는 다른 방법들이 근본적으로 기존의 방법들이랑 
약간의 아키텍쳐 차이말고는 뭐가 크게 다른지 모르겠음. 내가 그냥 늙어서 그러는 지도 ㅋㅋ

L : 구글의 PALM이 사고하는것 같고 다 좋지만 아직 많은 부분이 모자르다고 생각함. 언어모델이 아무리 커진다고 해도 인간의 지능에서 언어 표현은 일부일 뿐임.
거대한 언어모델이 어느정도의 발전을 가져다 줄것은 맞지만 그게 다라고 생각하지 않음. 우리는 불확실성에 대해 뇌가 어떻게 대처하는지 이해하고 
제한되지 않은 사고를 할 수 있는 지능이 필요함.

B : 큰 데이터와 모델에 기반한 특정 해석만으로는 부족함. 그걸로는 불확실성에 대해 잘 대처할 수 없음.

H : 인간들도 불확실성에 대해 어차피 잘 대처 못함. 인간들이 대처하는 방식은 다른 사람들이 다른 이론가지고 실험해보는거임. 마찬가지로 여러 AI가 여러 이론을 가지고 사고하면 됨

B: 엥? 꼭 그런것만은 아니지. 인간의 뇌는 항상 다른 사람들의 의견/이론을 반영해서 불확실성에 대처 하지는 않아. Implicit 하게도 할 수 있음. 


Q. ㅋㅋㅋ 님들 너무 싸우지 마셈. 기초과학과 인공지능의 결합으로 인한 응용분야에 대해서 말을 돌려보도록 할게요 

B : ㅇㅇ 예컨데 생명공학쪽 생각해보면 너무 방대한 데이터가 있어서 실험 모델을 수립하는데 AI의 도움이 점점 절실해지고 있음. 뉴럴넷이 어떻게 그 많은 데이터에서 인과관계를 추론할 수 있을지 알아내는것에 관심이 있음. 과학에서 중요한게 실험을 설계하는건데 AI가 이를 도와서 불확실성을 줄여줄 수 있는 실험들을 도울 수 있음. 가능한 실험들이 ㅈㄴ 많다고 하면 그 중에 가장 흥미로울 수 있는 실험이 무엇일지도 잘 알아내야 함. 생명공학과 인공지능의 결합은 ㅈㄴ 위험하던지 엄청나게 좋은 것들을 창조해 낼 것임. 

L : 기후변화 예측이 특정 공식으로 될 수 없는것처럼 요즘 과학 분야에서는 단순한 공식하나로 불확실성을 줄일 수 있는게 쉽지가 않음. 그래서 인공지능이 필수임. 이제 그 혁신들이 시작했다봄.

H : ㅇㅇ 특히 생명공학쪽 기대됨. 엄청난 양의 데이터로 노이즈들을 다 걷어내고 진짜 무슨일이 일어나는지 알 수 있을듯. 그래서 당연히 뇌과학 연구도 도와줄거임.

Q. 그러면 뇌과학이랑 인공지능은 앞으로 어떻게 같이 발전할까요?

H : 딥러닝이 뇌과학 데이터를 해석하는데 도움을 줄거임. 뇌과학 실험 설계하는것도 도움을 줄거고. 또한 완전히 다른 방향으로도 도움을 줄 수 있는게 뇌가 어떻게 학습하는지 학습할 수 있다는거임. 뇌가 어떻게 gradient들을 얻게 되는지 배울 수 있음. 그 분야가 또 하나의 큰 틀이 될거임. 

 B : 뇌가 어떻게 작동하는지에 대한 많은 연구 성과들이 근 20년동안 있었음. Back Propagation 보다는 여러 objective에 대한 gradient 값을 어떤 방식으로 뇌가 알아내는 듯. 


Q. 15분밖에 안 남았으니까 가장 중요한 질문해볼게. 너네들 2015년에 잘 예측 했듯이 올해에도 AI의 미래를 예측해봐.

B : 인과관계 추론이랑 일반화 잘 해야 될거임. 이 분야들이 인공지능 쪽에서 중요한 주제가 되고 있음. 인간은 항상 스스로에게 질문을 함. 그래서 인공지능이 이 질문들에 대한 답을 설명할 수 있도록 해야함. 그리고 인간들은 빠르게 새로운 환경과 인풋에 적응할 수가 있음. 어떤 일이 일어나서 상황이 바뀐건지 추론할 수가 있고 제한된 정보만으로도 과거의 지혜를 이용해 빠르게 적응함. 스케일링으로 다 때려박는게 답이 아니라 그러한 효율성이 인공지능에도 적용되야함. 인공지능도 사람처럼 기존의 데이터 셋과 다른 이상한 일이 일어나거나 심지어 일어나기 전에도 미리 상상하고 계획해서 그러한 이상한 일들에 대한 대응을 대처할 수 가 있어야 함. 예를들어 자율주행에도 이런 능력은 필요함. 

H: ㅈㄴ큰 모델있으면 그 안에 대처에 대한 내용도 있어서 지가 알아서 해결함 빼엑

B : 아니 ㅅㅂ 아예 일어나지 않은 일에 대해 상상도 하고 대응도 할 수 있어야 한다고 ㅂㅅ아.

H : 벤지오 너같이 어떻게 작동하는지 설명 못하면 참지 못하는 놈들 극혐한다. 니가 이해 못한다고 해도 괜찮을거야 ^^

B : 그냥 ㅈㄴ 많은 데이타 모아놓고 잘 해결되리라 고사지내는거랑 똑같은거 아니냐.

H : 나 경험 ㅈㄴ 많아서 너보다 잘 안다. 더 많은 데이터가 답이다. 

B : 늙어서 노망남? 아니 내 말은 상황이 갑작스럽게 바뀌고 변수가 생기면 그놈의 방대한 데이터가 별로 쓸모가 없어지는 순간들이 ㅈㄴ 많다니까? 그때도 일반화를 통해 추론해야함.

H : I'm not convinced. ( 어쨌든 내말이 맞음 )

B: ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅂㅅ 

L : 벤지오 말이 맞는것 같은데.. 제프 힌튼 말도 딱히 틀리진 않는것 같고.. 어쨌든 너무 싸우지 말자 ㅎㅎ 


Q. 하아.. 시간 다 됐다. 마지막으로 한마디씩만 하고 그냥 다 꺼져라. 

H : 멍청한 놈들이나 미래 예측한다. 미래를 ㅅㅂ 내가 어떻게 예측하냐. 모든 변화는 기하급수적인데 우리는 선형적으로 사고해서 예측하기 힘들다. 5년뒤 미래가 어떨지 모름. 

B :  ㅇㅈ.. 그렇긴 한데 너처럼 한가지 방법만 맞다고 고집하지 말고 여러 방법들이 가능하다고 믿는 겸손함이 필요함

L :  ㅇㅇ 오늘처럼 ㅂㅅ처럼 싸우지 말자. 항상 기존의 방법이 옳다고 볼 수는 없다. 인공지능의 발전은 눈부시게 빠르고 장애물들을 뛰어넘을 방법들이 계속 나오는 중임. 

B: 우리는 돌파구를 찾기 위해서 여러가지 창의적인 시도와 방법들이 필요함. 여러명의 도움이 필요함. 그 돌파구를 이걸 보고 있는 너가 찾을 수도 있음. 

[익명(211.196)]

힌튼은 완전 특붕이네 ㅋㅋ

[슈퍼130클럽(y3xxqs89b55t)]

[익명(222.96)]

ㅋㅋㅋㅋ 개읏기네 만담하는거

[MoonChild(aowlr2001)]

[익명(122.44)]

역시 스케일이 답이네 나머지 두명은 선형이구나

[나일론마스크(flx1012)]

???

[나일론마스크(flx1012)]

본문 제대로 다 읽은거 맞냐.. 그리고 스케일만이 답이 아니라고 하면 선형이 되는 거였어?? 흑백논리 이상하네

[ㅁㅇ(14.38)]

2줄요약 ㅋㅋㅋㅋㅋㅋ - dc App

[ㅇㅇㅇ(222.99)]

어제부터 기다렸는데 좋은들써줘서 고맙다능 - dc App

[ㅇㅇㅇ(222.99)]

ㄴ 글 - dc App

[나일론마스크(flx1012)]

유알 퍼킹 웰컴

[익명(amazonia)]

ㅋㅋㅋ

[익명(1.239)]

근데 3명이 대담하는데 시간을 한시간도 안잡노 일인당 30분 이상은 할당해줘야지

[익명(222.112)]

개싸움 개웃기네 ㅋㅋㅋ

[익명(cn86cvla)]

유쾌하네ㅋㅋ

[펩시라임제로(chj12224055)]

[ㅇㅇㅇ(14.38)]

[익명(121.174)]

그래서 결론은 의견 통합도 안되고 인간 수준ai까지 언제 가능한지 모르니까 싸우는거네 특이점 주의자 입장에서는 전혀 좋은 반응이 아닌데 베시시 쪼개고 있노

[익명(218.37)]

방향이 어떻든 그냥 각자 뭐든 해보고 결과물 만들면 될뿐임.

[익명(58.231)]

특갤이랑 비슷해서 주작글인줄 알았노 - dc App

[익명(182.231)]

사람사는곳이 다 비슷함

[익명(218.37)]

저기에 하사비스 없는게 아쉽다. 하사비스도 토론좀 하자!!!! ㅜㅜ

[ㅁㅇ(14.38)]

몇달만에 념글다운 념들 - dc App

[익명(amazonia)]

윾쾌하다