[📪정보] 이번 힌튼 인터뷰가 의미가 큰 이유, 과거와 현재.

[익명(27.255)]

https://www.axios.com/2017/12/15/artificial-intelligence-pioneer-says-we-need-to-start-over-1513305524

Artificial intelligence pioneer says we need to start over

[과거 2017년 인터뷰]

Hinton, a professor emeritus at the University of Toronto and a Google researcher, said he is now "deeply suspicious" of back-propagation, the workhorse method that underlies most of the advances we are seeing in the AI field today, including the capacity to sort through photos and talk to Siri. "My view is throw it all away and start again," he said.

The bottom line: Other scientists at the conference said back propagation still has a core role in AI's future. But Hinton said that, to push materially ahead, entirely new methods will probably have to be inve.nted.

But Hinton suggested that, to get to where neural networks are able to become intelligent on their own, what is known as "unsupervised learning," "I suspect that means getting rid of back-propagation."

다른 학자들이 역전파 쓸만하다고 할 때 그거 존나 쓰레기 같아 보이니 진짜 지능을 위해선 다 버리고 새로운 돌파구를 찾아야 한다고 인터뷰함.

실제로 그는 캡스넷과 FF 알고리즘 등 현 패러다임의 한계를 돌파해보려는 노력을 많이 했다.

딥러닝의 아버지이면서 과거 딥러닝 자체를 의심하고 비판하고 보수적으로 발언하던 사람이

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=140404&exception_mode=recommend&page=1

딥러닝 아버지 제프리 힌튼 최신 인터뷰 요약

[현재 2023년 인터뷰]

그전엔 AGI 달성하려면 20~50년 걸릴 거로 생각했는데 지금은 그것보다 더 빨리 올것 같음 ( 20년 이하 )

몇년 전에는 AGI가 5년안에 온다고 하면 개소리 하지 말라고 했겠지만 지금은 불가능하다고 못하겠음.

AI로 인해 인류가 ㅈ될 가능성도 충분히 있음. 하지만 우리가 ㅂㅅ이 아니라면 최대한 그러지 않도록 준비를 할거라 믿음.

대규모 언어모델이 그냥 자동완성기능이라고 조롱하는 사람들이 있다. 

그게 틀린게 아니긴 하지만 잘 생각해보면 다음 단어 예측하려면 그 전 문장들을 제대로 이해할 수 있어야 함.

이미 인공지능쪽에서 엄청 많은 아이디어들이 나왔지만 컴퓨터 성능의 한계로 제대로 시도 못해본 것들 많을 수 있음.

인공지능의 재귀발전으로 인한 특이점 올 수 있음. 그걸 어떻게 통제할 수 있을지 고민해야 함.

인공지능 혁명은 산업/전기 혁명에 비교될 정도로 엄청나게 큰 역사적 사건임.

제품에 기반한 연구가 아닌 호기심에 기반한 연구들도 펀딩을 해줘야 함.  (얀 르쿤 보고 있나?)

https://www.aitimes.com/news/articleView.html?idxno=133299

‘AI 대부’ 얀 르쿤, GPT3를 쓰레기 취급하다니···왜?

그에 반해 힌트은 어땠는가?

챗지피티 자체는 놀랍지 않았다. GPT-2 처음 나왔을때랑 구글 람다가 처음 사람 농담 이해했을 때 놀랐음.

https://www.aitimes.com/news/articleView.html?idxno=133488

삼성 AI 2020엔 없는 제프리 힌튼 인터뷰 "딥러닝으로 인간 이성 구현 가능할 것" MIT테크 보도

"딥러닝으로 인간 이성 구현 가능할 것"

힌튼 교수는 '돌파구를 찾는다면 딥러닝으로 인간 지능을 모두 구현할 수 있는가'라는 질문에 

"인간의 이성과 같은 것을 구현하기 위해 신경활동의 큰 벡터를 얻는 것과 같은 돌파구를 찾는다면 가능하다"고 답했다.

현존하는 가장 큰 언어 모델인 오픈AI의 GPT-3는 1750억개 매개변수를 가지고 있지만, 

여전히 인간의 뇌가 가진 100조개 매개 변수보다 1000배는 작은 수치임으로 이를 더 큰 규모로 발전시켜야 한다는 것.

힌튼 교수에 따르면 더 큰 규모란 신경망 층의 증가와 더 많은 데이터 확보를 뜻한다는 

2017년 Ashish Vaswani가 트랜스포머를 도입한 논문(Attention is All You Need)을 예시로 들었다. 

해당 논문은 CNN과 RNN에 의존하지 않으면서 번역에 효과적인 성능을 보여 주목을 받았다. 

현재 대부분의 자연어 처리 연구에 적용되고 있는 알고리즘이다.

그는 비록 이젠 나이든 학자가 되었지만 여전히 유연한 뇌를 유지하고 있는 인공지능 분야의 뛰어난 선구자이다.

[익명(3rgzcoc0rmt5)]

확실한건 멀게 보였던 특이점이 조금은 가까이 왔음 - dc App

[익명(agiscoming)]

[익명(175.124)]

[익명(211.222)]

나이가 들어도 도전하는 게 멋짐

[익명(222.101)]

꿀잼 개추