2010년대까지는 비용대비하드웨어가 썩어서 데이터가적어서
못쓰고
전문가시스템같이 바로성과가나오는 이론쓰다가
2010년대에 비용대비하드웨어가 제프리힌튼의 인공신경망이론으로 돌려보니
Agi는 아니더라도 성과가 나왔다(알파고 뮤제로 gpt 코덱스 등등)
그런데 이 딥러닝이 agi로 가는길인지는 정확히모른다
얀르쿤말처럼 비행기는 로켓이될수없듯이 우주가려면
새로운패러다임이 필요하다 vs 현재에서 스케일만올리면된다
이렇게 두가지가 나오는이유는 확실치않아서?
못쓰고
전문가시스템같이 바로성과가나오는 이론쓰다가
2010년대에 비용대비하드웨어가 제프리힌튼의 인공신경망이론으로 돌려보니
Agi는 아니더라도 성과가 나왔다(알파고 뮤제로 gpt 코덱스 등등)
그런데 이 딥러닝이 agi로 가는길인지는 정확히모른다
얀르쿤말처럼 비행기는 로켓이될수없듯이 우주가려면
새로운패러다임이 필요하다 vs 현재에서 스케일만올리면된다
이렇게 두가지가 나오는이유는 확실치않아서?
애초에 이 질문에 답하려면 "지능이란 무엇인가" 를 알아야한다고 생각해. 지능이란 무엇이고 딥러닝은 어떤 원리로 동작하는지 등등.. 사실 인공지능 연구하시는 분들도 지능에 대한 이론은커녕 인공지능이 왜 이렇게 작동하는지 모르는 경우가 많다고 해. 이 부분에 대해 무지하니 확실하게 답할 수가 없는거지
https://www.gwern.net/Scaling-hypothesis#
Lukas Biewald: “딥 러닝을 보면 갑자기 찾아온 것 같은 느낌이 들지만 그런 기술들이 많이 있었고, 사실 당신의 책에는 아주 오래전으로 기억합니다. 현장에서 뭔가 놓친 것이 있다고 생각하십니까? 아니면 이러한 신경망 기술이 초기에 사람들이 기대했던 것보다 더 잘 작동하고 있음을 보여주는 데 필요한 규모로 실행하는 것이 불가능했던 것입니까?”
Peter Norvig: "응. 내 말은 만약 당신이 갑자기 말한다면, 우리는 Hinton이 30년 동안 같은 것을 시도한 후에 컴퓨터 비전과 이미지 네트에서 갑자기 비약을 얻었습니다, 맞죠?…그리고 마침내 작동했습니다. 그리고 가장 큰 차이점은 컴퓨팅 파워라고 생각합니다. 확실히 데이터의 발전이 있었습니다. Fei-Fei Li와 다른 사람들이 이 큰 데이터베이스를 수집했기 때문에 ImageNet 을 할 수 있었고 그것은 정말 중요했습니다. 확실히 알고리즘의 차이가 있죠? 약간 다른 스쿼시 기능이 있습니다. 이 [sigmoid] 모양 대신에 [ ReLU ] 모양입니다. 그게 얼마나 큰 일인지는 모르겠지만 확률적 경사 하강 법을 조금 더 잘하는 방법을 배웠습니다.
우리는 그 탈락 을 알아 냈습니다.당신에게 조금 더 나은 견고함을 주었습니다." “그래서 작은 것이 있었지만 가장 큰 것은 아마도 컴퓨팅 파워였을 것입니다. 제 생각에는 Geoff Hinton이 제가 1981년 대학원생이었을 때 버클리에 와서 이러한 신경망에 대해 이야기했을 때를 기억합니다. 그리고 우리 동료 대학원생들은 그것이 정말 멋지다고 생각했습니다. 그래서 우리는 '연구소로 돌아가서 구현해 봅시다.'라고 말했습니다.”
“ 물론 다운로드할 수 있는 것이 전혀 없었기 때문에 처음부터 모든 것을 구축해야 했습니다. 배타적이거나 [ XOR ]을 수행한 다음 조금 더 복잡한 작업을 수행하도록 했습니다. 그리고 흥미진진했습니다. 그리고 나서 첫 번째 실제 문제를 냈고 밤새 실행했지만 수렴하지 않았고 하루 더 실행했지만 여전히 수렴하지 않았습니다. 그리고 우리는 포기하고 일종의 지식 기반 시스템 접근 방식으로 돌아갔습니다. 그러나 오늘날과 같은 컴퓨팅 성능이 있었다면 5초 후에 수렴했을 것입니다. "
이거 보고 얘기한거임
5초 후 수렴 ㄷㄷ
머신 러닝 분야에서 일하는 사람들은 신경망이 많은 일을 할 수 있다고 생각하지 않았습니다. 사람들은 대규모 신경망이 훈련될 수 있다고 믿지 않았습니다...아이디어가 모두 존재했지만 누락된 것은 많은 감독 데이터와 많은 컴퓨팅이었습니다. [이 두 가지]가 있으면 세 번째로 필요한 것이 있습니다. 그것이 바로 확신 입니다. 이미 존재하는 올바른 것을 취하여 많은 데이터와 컴퓨팅과 적용하고 혼합하면 실제로 효과가 있을 것이라는 확신. 그래서 그것이 누락된 부분이었습니다. 일리야 수츠케버
해독의 문제에서 우리가 소유할 수 있는 가장 중요한 정보는 우리가 읽고 있는 메시지가 횡설수설하지 않다는 지식입니다… 마찬가지로 원자 반응 및 원자 폭발과 같은 자연의 문제를 고려할 때, 우리가 공개할 수 있는 가장 큰 단일 정보 항목은 그것이 존재한다는 것입니다. 과학자가 답을 알고 있는 문제를 공격하면 그의 전체 태도가 바뀝니다. 그는 이미 그 답을 향한 길의 약 50%를 진행하고 있습니다 … .이 중요성에 대한 문제를 가지고 과학계에 답이 있다고 확신시키십시오. 그러면 과학자들의 지적 능력과 기존의 실험실 시설이 모두 널리 분포되어 있어 준독립적으로 과제를 실현하는 것은 전세계 어디에서나 불과 몇 년 만에 이루어질 것입니다. Norbert Wiener
이게 먼소리임
노버트 위너가 했던 말임. 읽으면 뭔 말인지 알잖아. 과학자도 사람이야. 불확실한 미래, 가망이 있는지 없는지 모르는 걸 연구하는 거랑 방향에 대한 확신을 가지고 연구하는 거랑 천지차이지
그 분야의 미래에 대한 확신이 없으면 제프리 힌튼 같은 소수의 사람들이나 꾸준히 파지 주변 다른 학자들은 하나 둘 등을 돌림. 그러면 그 방향으로의 발전은 엄청나게 느려지지. 물론 너무 과대광고와 흥분으로 들끓어도 안되겠지만 확신이 생기면 학계 전반이 에너지넘치고 활발한 피드백이 이루어지지. 그것도 크게 보면 하나의 신경망 활성화 같은거지
그렇겠네 학자들이 가능성 없다고 등돌린 인공신경망에 제프리힌튼과 그의확신이 없었다면 gpt3 코덱스 알파고등등의 성과는 없을테니까 물론 딥러닝으로 agi가 가능할지는 모르는것이지만
ㄴ맞음 누가 자기 시간들여서 헛짓을 하고 싶을까?
https://twitter.com/geoffreyhinton/status/1270814602931187715
제프리 힌튼이 이런 트윗도 했었네? 농담조인가? GPT-3의 놀라운 성능을 미래로 추정하면 생명, 우주 및 모든 것에 대한 답은 4조 3980억 매개변수에 불과하다는 것을 알 수 있습니다.
Gpt3 처음나올때니까 gpt3성능에 과흥분한듯