https://gall.dcinside.com/m/thesingularity/165872

밑에 정보글 보고 내가 찾아본 정보들, 불안한 애들은 보고가라.https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=165849&page=1 우리는 대체 언제가 되어야 '충분'해질까gall.dcinside.com


나다 씹새끼들아.
반박글 안올리면, 그거 가지고 계속 꼬투리 잡아서, 사람 하나 담그려는, 그런 덜 떨어진 놈이 또 나올까봐, 반박글 겸 이전 글에 대한 보충글 좀 적어봤다.




1. 뉴런들은 컴퓨터의 트랜지스터나 인공신경망과 다르 게 해부학적, 전기적, 화학적 특성에 따라 수많은 뉴런들로 구분하고 식별할 수 있다.
따라서 그 수많은 뉴런들 중 하나를 가지고 한 실험을 가지고 '1뉴런 = 1000파라미터'의 결론은 옳지 못하다.
해부학적, 전기적, 화학적 특성을 맵핑하여 시뮬레이션 한 단일 뉴런은 실제 뉴런과 똑같지 않다, 실제 뉴런이 더 복잡할 수도 간단할 수도 있다. ?

물론, 어느정도 맞는 말이다.

하지만, 글쓴이도 인정했듯, 이는 쥐새끼 한마리의 '어떤 뉴런' 1개를, 컴퓨터에 시뮬레이션 돌려 나온 결과 값이라는 것이다.

1뉴런 = 1000파라미터 라는 결론은, 실제로는 더 복잡할 수도 있고, 더 간단할 수도 있다는 것이다.

더 간단하다면 다행이고.

그럼 반대로 생각해서, 1뉴런 = 10000파라미터 짜리 뉴런도 있을 수도 있다는 것 아닌가?

그리고, 그것이 쥐라는 포유류의 뇌에 있어, '지능'을 관장하는 영역의 최중요 뉴런이라면?

1뉴런 = 1000파라미터 짜리 뉴런은, 사실 쥐에게 있어 다른 잡기능을 관장하는 영역의 뉴런이었다면?

하물며, 인간은 어떨까?





인간은 쥐새끼 따위와는 비교하기가 실례일 정도로, 초규모의 뇌를 가진 생물이다.

짤에서 볼 수 있듯, 인간은 진화 과정에서, 뇌의 규모를 중시해, 자연계의 다른 동물과는 차별화 되는, 제3 층의 영역 인간에게 있어 '고등지능'을 담당하는 '대뇌피질'의 영역을 뇌에 구축했다.

이는 과학을 발달시키고, 언어를 만들고, 문명을 이룩하고, 인간을 지구 생태계의 최상위 포식자로 만들어준, 가장 큰 이유이기도 하다.

아마, 우리가 인공지능을 만드는데 있어, 가장 참고해야 하며, 가장 알아내야 하는 부분은, 단연코 저 3층 '사고의 뇌' 영역일 것이다.

한낱, 쥐새끼 따위의 어떤 뉴런과(이마저도 이게 정확히 어떤 영역을 관장하는지 확실하지 않은데 반해) 비교해, 인간의 '고등지능'을 관장하는 영역의 뉴런이 더 간단할 확률이 과연 얼마나 될까?

1000배 아니, 10만배, 100만배, 혹은 1억배가 된다해도, 이상할 것은 전혀 없지 않은가?




2. 인공지능 연구에서 실제 뇌의 현상에서 영감을 얻거나 역공학하는 것은 중요한 과정이나
애초에 딥러닝에 사용되는 역전파는 실제 뇌에서 찾아볼 수 없는 현상이다, 즉.. 독자적인 노선으로 가고 있다.
해부학적, 전기적, 화학적 특성을 맵핑 해 시뮬레이션 한 단일 뉴런 모델의 전기적 활동을
애초에 뇌에 있지도 않은 역전파를 쓰는 딥러닝을 통해 모사하는 것은 '비효율적'이다. ?

솔직히 이 주장에 관해선, 아직 확답을 내리기엔 너무 이르다고, 난 생각한다.

우리는 아직, 우리 뇌에 대해서 모르는게 너무나 많기 때문이다.

일례로, 이런 연구 결과도 있다.


https://www.news-medical.net/news/20210503/IBEC-researchers-discover-the-neural-mechanism-of-autonomous-learning.aspx


However, based on a combination of considerations from the current practice of AI, computational neuroscience, and an analysis of the hippocampal physiology, with this new article the authors show that self-supervision and error backpropagation co-exists in the brain, and with a very specific area of the brain involved: the hippocampus.



대충 요약하면,


원래 인간 뇌에서는 딥러닝의 가장 중요한 요소 중 하나인 역전파 알고리즘이 발견되지 않았음.

그런데 이번에 인간의 '해마'에서 '역전파 알고리즘'이 발견됨.

이는 상대적으로 잘 알려진 인간의 '시청각 처리방식'만을 본따서 만들었던 딥러닝이,

의외로 인간의 기억을 담당하는 해마의 연산방식과도 겹치는게 있을 수도..?


정도가 되겠다.


이 연구가 정말 사실이라면, 우리가 수십년 간의 연구를 통해 어렵게 찾은, 그리고 여태까지 기계학습의 전유물이라고만 여겨졌던 '역전파'라는 알고리즘이, 사실 우리의 뇌의 어떤 영역에서, 일어나고 있을지도 모르는 것이라는 바를, 우리에게 시사한다.

그리고 이는 해석에 따라, 인간의 뇌에 있어 '역전파'라는 하나의 퍼즐을 풀었다는, '호재'로 작용할 수도 있을 것이다.

반대로 관점을 바꿔, 우리는 우리가 발견한, 딥러닝이라는 하나의 '퍼즐판'을, 역전파 알고리즘을 통해, 거의 완성했다고 생각했는데,

사실 그건 그냥, 역전파라는 하나의 '퍼즐 조각'이었다는 '악재'로도 작용할 수 있을 것이다.

이처럼, 우리의 뇌는 연구되어야 할, 미지의 영역이 아직 너무 많기에, 비효율적이니 뭐니 하는 확답을 내리기엔 너무 이르다고 생각된다.


특이점교의 창시자 '레이 커즈와일'조차 10엑사 급의 슈퍼컴퓨터가 상용화 될, 2020년대가 되면 인간 뇌의 '브레인 커넥톰'이 완성되어, 그렇게 AGI에 도달할 것으로 예측했다. 하지만 결과는 어떤가?


https://gall.dcinside.com/m/thesingularity/165652


참담하다.

아직 포유류 단계조차 진입 못하고, 왠 초파리새끼 한마리 완성했다고 ㅈㄴ 좋아라 하고 있다.

심지어 저거 꼬마선충처럼 움직이는 것도 아니라며?

아직 2030년까지 7년 남았지만, 그 안에 쥐, 개, 돌고래, 넘어서 인간까지 완성될까?

이젠 걍, AGI의 영역이지

난 절대 무리라고 본다.


뭐? 힌튼이 신경망이 뇌보다 효율이 개쩐다고 했다고?


맞는 말이다.

다만 전에도 썼지만, 그건 '학습'에 있어서만 그렇다는 거고.

뇌의 다른 부분은 전혀 고려하지 않은 얘긴데, 왜 자꾸 이 소리가 나오는지 모르겠다.

전자식 컴퓨터 기반 신경망이랑, 바이오 기반 생체 뇌, 누가 더 지식량과 학습 속도가 빠를진, 너무 뻔한 소리 아닌가?


대표적으론, 전성비가 있겠지?


https://gall.dcinside.com/m/thesingularity/165525



인간의 뇌는 하루에 밥 3공기 먹고, 하루의 1/3 이상 일할 수 있을 만큼 전력 효율이 좋다.

반면에 거대 신경망? 최소 끝판왕급 그래픽카드 수천~수만 개는 동시에 좆빠지게 굴려야, 그 성능이 제대로 나온다.


이마저도 감당 안되는지, GPT-4는 하루 질문 갯수 200개로 줄였음에도, 적자라 한다.

GPT-3 같은거 튜닝 없이, 스마트폰 같은 저전력 기기에서 로컬로 돌리는 사람 봤음?

광 프로세서? 아직 시제품 나오지도 않은 걸로 왈가불가 해서 뭐함?

회로 돌릴거면, 차라리 걍 양자컴이나 들고오던가.




3. 수츠케버는 최근 인터뷰에서 새로운 돌파구보단
"AGI 몇 년 안에 올 것. 정확한 숫자를 예측하는 건 너무 어려움,
AGI를 만들려면 아마도 이미 기존에 나왔던 여러가지의 아이디어들을 모두 통합하는 과정에서 나올 것이라 생각함."라고 하였으며. ?

이것도 일단, 맞는 말이다.

근데, 앞에 수식어 하나 빠뜨렸네?





"정의에 따라 다르지만."


질문: 다음 분 안녕하세요. 전지전능한 인공지능의 정의가 무엇인지 구체적으로 말씀해 주시겠어요? 그리고 아까 말씀하신 AGI도 그렇고요.

샘 알트만: AGI의 정의가 매우 중요하거나 전혀 중요하지 않을 정도로 우리는 충분히 가까워지고 있다고 생각합니다. 하지만 사람들은 매우 다른 정의를 내리고 있습니다. 어떤 사람들은 GPT-4가 새로운 일을 할 수 있고 일반화 할 수 있기 때문에 이미 AGI라고 말하는 사람들이 있습니다. 그리고 태양계 주변에 다이슨 구를 건설하기 전까지는 AGI에 가깝지 않다고 말하는 사람들도 있습니다. 그리고 그 중간에는 많은 사람들이 있습니다.


위는 같은 회사인, CEO 샘 알트만의, 일본 게이오대 회담 중 일부분이다.

그의 말처럼 GPT-4를 AGI에 가깝게 보는 사람도 있느가 하면, 다이슨 스피어 같은 초거대 건축물을 만들어도 AGI로 인정하지 않는 사람도 있을 것이다.

무슨 말을 하고싶냐면, 잘 알듯이, 애초에 'AGI'라는 단어 자체가 명확한 정의가 없다는 것이다.

기업들의 마케팅 용어론 잘 쓰이고 있다만.







전에 알트만인가, 수츠케버인가, 아무튼 누가 인터뷰에서 "대학생 수준이면 AGI인가요?"라고 역질문을 하던데,

애초에 이 '대학생'이라는 단어는 어떻게 정의함?

대학생이라 해도 일반 지방 국립대 다니는 사람부터, 명문대나 의대생이 있고.

또 거기서도 개인마다 IQ의 차이도 나뉠 것이며, 지식량의 차이도 있을 것임.

그리고 대학생이라 해봐야, 아인슈타인이나 폰 노이만 같은 초천재가 아닌 이상, 석사나 교수 선에서 정리당하는게 일반적임.

조금씩 차이는 있겠지만, 여기서 원하는 'AGI'라는 물건의 최소 기대치는, 대학 학과가 있는 거의 모든 분야에서 '전문가'급 수준에 통달하고, 그 통합된 지식을 활용, 응용하여 과학 발전을 가속화 시킬 수 있는, 대충 그 정도의 물건 아님?

뭐, 아닌 사람도 있겠지만, 적어도 저기 나온 샘 알트만은 그 정도로 생각하는 것 같더라.

그래서, 저 일리야 수츠케버가 말한, 몇년 후면 나올 것 같다는 AGI는 저걸 충족할까?

이게 과연 우리들에게 있어, '진짜'라고 부를 수 있는 것일까?




4.









왜 수츠케버의 이 발언에 대한 반박 내용은 하나도 없음?

위에 AGI 몇 년 안 남았다는 인터뷰나, 이거나 같은 소스에서 나온 건데 말임.

진짜 듣기 좋고, 보고 싶은 것만 봄?

뭐, 이건 내 개인적인 아쉬움이니, 글쓴이의 재량에 맡기겠음.




5. 이러한 흐름은 오픈 AI 수장인 알트만의 130조 투자&재귀개선 모델 계획을 통해 다시 한번 확신을 얻을 수 있다.
나는 이 글을 통해 무지성 규모 확장을 말하는 것이 아닌
'Scale Is All You Need'란 아직 아무도 가보지 않은 길을 우리가 달려나가는 도중이라는 것을 말하고 싶은 것이다.
달려나가는 방향성에 대해 올바른 비판을 하고 그것을 논하여 수용하는 것은 매우 중요하다고 할 수 있다. ?

이건 반박이라기 보단, 걍 내 개인적 견해라 생각하고 들어주면 고맙겠음.

물론, AGI를 개발한다는 명분도 있겠지만, 실상은 오픈ai가 결국, 하드웨어 문제나 인력유출 문제로, 펀드를 알아보는듯 하다.


https://gall.dcinside.com/m/thesingularity/161481


https://gall.dcinside.com/m/thesingularity/165036


실제로, 오픈ai는 GPT-4 출시한지, 3달도 넘었는데 멀티모달 출시도, 계속 미루고 있고,


위에도 언급했지만, 질문 갯수에 제한을 뒀음에도, 계속 적자가 나고 있다고 말했잖음?

게다가 차세대 모델의 개발에 필요한 하드웨어 문제, 인재가 계속 타사로 유출되는 문제등.

그래서 '기업가' 역할인 알트만이 두발벗고 나서서, 펀딩 절찬 모집 중인거 같음.

지금은 왜인지 몰라도, 비공개로 돌렸지만, 본인들의 오피셜도 있었고.


https://humanloop.com/blog/openai-plans

Sam Altman에 따른 OpenAI의 계획

지난 주 저는 Sam Altman 및 20명의 다른 개발자와 함께 OpenAI의 API 및 제품 계획에 대해 논의할 수 있는 특권을 가졌습니다. Sam은 놀라울 정도로 개방적이었습니다. OpenAI의 사명과 AI의 사회적 영향과 관련된 더 큰 그림 질문뿐만 아니라 실용적인 개발자 문제에 대한 토론이 이루어졌습니다. 주요 내용은 다음과 같습니다.

1. OpenAI는 현재 GPU에 크게 제한되어 있습니다.

토론 내내 공통된 주제는 현재 OpenAI가 극도로 GPU 제한적이며 이로 인해 많은 단기 계획이 지연되고 있다는 것입니다. 가장 큰 고객 불만은 API의 안정성과 속도에 대한 것이었습니다. Sam은 그들의 우려를 인정하고 대부분의 문제가 GPU 부족의 결과라고 설명했습니다.


애초에 말이다, 이건 원래 비영리를 추구하던, 오픈ai가 MS와 손잡은 이유가 뭐였는지, GPT-4의 매개변수 같은 상세한 정보공개를 왜 계속 미루는지 생각해보면, 답이 저절로 나올거라 본다.





그러니까, 내가 하고 싶은 말을, 한번 더 정리하자면.








지금 우리가 만들어낸 '비행기'는 이 단계지.





이런 게, 아니란 말이다.


하물며, 저 원시 비행기를, 제트엔진 탑재하고 현대식 여객기로, 그리고 그를 훨씬 능가하는 초음속 제트기로,

여기서 더 마개조하여 저 멀리, 달, 우주까지 여행하려면, 얼마나 더 많은 난관이 남아있을까?



물론, 이런 '레플리카'라도 개선에 개선을 거치면, 언젠간 '진짜'에 한 없이 가까워지거나, 뛰어 넘을 수 있을 것이다.

마치, 새와 비행기의 관계처럼 말이다.



만약, 이것을 부정하는 사람이 있다면, 진지하게 특갤에서 나가길 바란다.

이는 선형충이건, 특붕이건, 시기의 차이일 뿐이지, 특이점을 바라는 사람이라면, 모두 동의하기 때문이다.


하지만..








우리가 지금 만들고 있는 비행기가, '이카로스의 날개'가 아니란 보장은, 어디에도 없다는 것을 명심하자.