[📪정보] 밑에 정보글 보고 내가 찾아본 정보들, 불안한 애들은 보고가라.

[익명(61.255)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=165849&page=1

우리는 대체 언제가 되어야 '충분'해질까?

해당 링크의 글은 'Scale Is All You Need'라는 말이 왜 나왔는지 그동안의 이야기를 꽤 깔끔하게 정리해놓았다.

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=57040

1뉴런 = 1000 인공뉴런

글쓴이의 핵심 의견은 '1뉴런 = 1000 인공 뉴런'으로 축약할 수 있다.

현재 모델들은 컴퓨팅 성능만 따라준다면 규모를 늘리면 모델의 성능도 같이 올라갔기에 'Scale Is All You Need'란 말이 나오게 되었다.

같은 모델인데도 작은 규모에선 '이것' 밖에 못 했는데 

중간 규모로 늘리니 '저것도' 할 수 있게 되었고 

큰 규모로 늘리니 '이것도 저것도 그리고 무엇도' 할 수 있게 되었던 것이다.

그래서 사람들은 현재 GPT 시리즈들이 개선되어 나가면서 규모가 사람 뇌의 시냅스 규모인 100조 개에 달하는 규모를 가지면

인간급 지능이 갑자기 가능해질 수 있지 않을까 생각하게 된 것이다.

여기서 저 글쓴이는 '1뉴런 = 1000 인공 뉴런'에 대해 문제를 제기한다.

'쥐 단일 뉴런 1개를 구현 - 1000개의 인공 뉴런 OR 5~8층 심층 신경망 필요'

(정확히 말하면 생체 뉴런을 디지털적으로 재구성하고 시뮬레이션 했는데 

그 생체 뉴런의 전기적 특성을 인공 신경망으로 모사하려고 하니 1개의 뉴런 모사에 1,000개의 파라미터가 필요했다는 이야기이다...)

즉.. 현 패러다임을 이어간다면 필요한 파라미터의 수치는 100조 개가 아닌 10경 개라는 것이다.

그리고 이것이 현 패러다임으로 AGI로 가기엔 불충분 한 이유이며 

이러한 문제를 극복할 수 있는 트랜스포머 급의 혁신이 몇 개는 더 필요한 상황이라는 것이 글의 핵심이다.

하지만 우리 뇌의 뉴런 구조는 컴퓨터의 트랜지스터나 인공 신경망처럼 일정하지 않다.

https://youtu.be/DvE-nphgswY?t=510

Homo digitalis - Henry Markram

이 이미지는 쥐 뇌 시뮬레이션을 추진하는 프로젝트인 블루 브레인 프로젝트를 이끌고 있는 헨리 마크람이

Homo digitalis라는 영상에서 'An Atlas of Neurons'라고 쓴 이미지이다. (8:30)

이미지의 원본은 그의 논문인 'Reconstruction and Simulation of Neocortical Microcircuitry'

'Neuron-type Nomenclature' 부분에서 찾아볼 수 있다.

'Neuron-type Nomenclature'란 뉴런들을 해부학적, 전기적, 화학적 특성에 따라 구분하고 규칙에 따라 식별자를 부여하는 것을 말한다.

그냥 쉽게 말하면 '뉴런 카탈로그'라고 할 수 있다.

따라서 해부학적, 전기적, 화학적 특성에 따라 구분할 수 있는 수많은 뉴런들 중 1개를 연구 한 '1뉴런 = 1000 인공 뉴런' 논문은 딱히 의미가 없는 것으로 판단된다.

https://singularityhub.com/2021/09/12/new-study-finds-a-single-neuron-is-a-surprisingly-complex-little-computer/

New Study Finds a Single Neuron Is a Surprisingly Complex Little Computer

"Also, the model neuron is from a rat’s brain, as opposed to a human’s, and it’s only one type of brain cell. 

Further, the study is comparing a model to a model—there is, as of yet, no way to make a direct comparison to a physical neuron in the brain. 

It’s entirely possible the real thing is more, not less, complex."

해당 논문을 리뷰 한 기사에서도 본인과 똑같은 문제를 제기하고 있다.

아무튼 나의 생각을 축약하면 이와 같다.

1. 뉴런들은 컴퓨터의 트랜지스터나 인공신경망과 다르 게 해부학적, 전기적, 화학적 특성에 따라 수많은 뉴런들로 구분하고 식별할 수 있다.

따라서 그 수많은 뉴런들 중 하나를 가지고 한 실험을 가지고 '1뉴런 = 1000파라미터'의 결론은 옳지 못하다.

2. 해부학적, 전기적, 화학적 특성을 맵핑하여 시뮬레이션 한 단일 뉴런은 실제 뉴런과 똑같지 않다, 실제 뉴런이 더 복잡할 수도 간단할 수도 있다.

3. 인공지능 연구에서 실제 뇌의 현상에서 영감을 얻거나 역공학하는 것은 중요한 과정이나

애초에 딥러닝에 사용되는 역전파는 실제 뇌에서 찾아볼 수 없는 현상이다, 즉.. 독자적인 노선으로 가고 있다.

(얀 르쿤이 신경과학과 AI 융합형 인재를 양성해야 된다고 주장하는 이유가 이것.. 독자적인 노선으로만 자본이 쏠리다가 한계가 오면 겨.울이 올 수도 있다.)

= 결론

해부학적, 전기적, 화학적 특성을 맵핑 해 시뮬레이션 한 단일 뉴런 모델의 전기적 활동을 

애초에 뇌에 있지도 않은 역전파를 쓰는 딥러닝을 통해 모사하는 것은 '비효율적'이다.

마치 커즈와일이 자신의 저서 '특이점이 온다'에서 뇌의 연산 능력은 1~10페타플롭스로 추정되며 

시뮬레이션엔 최대 1,000배인 10엑사 플롭스 슈퍼컴퓨터가 필요하다고 말한 것과 같다.

정확하게 구분해야 하는 것은 우리가 만들고 싶은 건 '비행기'이지 '생물학적인 새'를 그대로 구현하는 것이 아니라는 점이다.

물론 비행기로 가는 경로에 생물학적인 새에게서 영감을 얻거나 역공학하는 것은 매우 멋진 일이다, 하지만 매우 복잡하며 많은 비용이 들어가고 결과물에 대한 기약이 없다.

그렇기에 다른 독자적인 이미 유효한 결과를 내는 경로가 있다면 그것을 우선하여 더 복잡한 일을 해결하기 위한 발판으로 삼는 것이 중요한 것이다.

또한 이러한 방식이 중요한 이유는 커즈와일이 그리도 강조하던 가속적 발전이 가능한 이유인 

이전 단계의 혁신에서 사용했던 지식과 도구들이 계속 누적되고 그것들을 이용하여 더욱 강력한 기술을 더 빠르게 창조할 수 있다는 '수확 가속의 법칙'의 핵심이기 때문이다.

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=139853

OpenAI 코파운더 Ilya Sutskever 오늘자 인터뷰 요약

수츠케버는 최근 인터뷰에서 새로운 돌파구보단 

"AGI 몇 년 안에 올 것. 정확한 숫자를 예측하는 건 너무 어려움, 

AGI를 만들려면 아마도 이미 기존에 나왔던 여러가지의 아이디어들을 모두 통합하는 과정에서 나올 것이라 생각함."라고 하였으며.

이미 기존에 나왔던 여러 가지의 아이디어들을 모두 통합하는 것(그동안 연산력의 한계로 못 해 봤던 것들) = 이것 역시 수확 가속의 법칙의 핵심이라고 할 수 있다.

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=164866

(정보글) 얀버러지 팬 분들 이 글에 입장해주세요~

또한 오픈 AI 오피셜 스케일링의 법칙은 여전히 유효하며

연산력의 한계는 빌 게이츠 피셜 실리콘에서 광 프로세서로 패러다임이 넘어가며 해결될 것이라고 한다.

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=155456

샘 알트먼의 130조 투자 계획

이러한 흐름은 오픈 AI 수장인 알트만의 130조 투자&재귀개선 모델 계획을 통해 다시 한번 확신을 얻을 수 있다.

나는 이 글을 통해 무지성 규모 확장을 말하는 것이 아닌 

'Scale Is All You Need'란 아직 아무도 가보지 않은 길을 우리가 달려나가는 도중이라는 것을 말하고 싶은 것이다.

달려나가는 방향성에 대해 올바른 비판을 하고 그것을 논하여 수용하는 것은 매우 중요하다고 할 수 있다.

하지만 가보지도 않은 길을 무작정 비판하여 오픈AI가 투자를 받지 못 하였다면 현재의 추세는 없었을 것이다.

[부패하는유전자!!(sansss2015)]

위아래로눈물을흘렸다ㅠㅠㅠㅠㅠ

[부패하는유전자!!(sansss2015)]

[익명(landofooo)]

ㅋㅋㅋㅋ

[익명(210.106)]

현재의 한계를 인정하고 앞으로 나아가자

[익명(gjtthf)]

factos

[6번객실의인형(27.35)]

좋은글ㅊㅊ

[MoonChild(aowlr2001)]

[Tnk(a1778untethered)]

1750억->2조까지 2-3년걸렸으니 100조, 10경까지 6~9년걸리겠네

[부패하는유전자!!(sansss2015)]

하드웨어때문에 그런 단순계산으로 될까...??

[익명(rechido)]

흔한 오해는 트랜스포머가 나온뒤로 아무런 알고리즘 개선 없이 무조건 아키텍쳐만 키웠다고 생각하는 것임 - dc App

[익명(rechido)]

트랜스포머 기반 구조는 그대로지만 학습방법론은 계속해서 진화해왔고 그 결과 챗gpt에서 슬슬 ai가 인간의 말을 알아듣기 시작함 - dc App

[익명(rechido)]

트랜스포머 구조만으로 agi, asi가 가능한가? 에 대한 답은 나도 모르겠지만 이미 현재 최신모델들이 트랜스포머 아키텍쳐에 크기만 키웠더니 성능이 갑자기 좋아졌다! 라는 건 엄청난 오해임

[익명(rechido)]

이 오해때문에 이어지는 오해가, 이제 트랜스포머 규모를 키우는 것도 슬슬 한계니 트랜스포머 구조의 한계에 부딪힌거다, 따라서 트랜스포머를 갖다버리고 완전히 새로운 혁신적인 아키텍처/방법론을 찾아야 한다 라는 주장임

[익명(rechido)]

트랜스포머로 어디까지 할 수 있을지는 모르겠지만 적어도 지금 갖다버리자고 말할 시점은 아님. 오히려 향후 2년 정도는 트랜스포머 기반 구조를 개선하고 개선된 학습 방법론을 꾸준히 찾고 적용하는 것만으로도 상상이상의 성능 향상을 달성할 수 있을 것으로 예상함

[익명(rechido)]

물론 트랜스포머 개선하는 사이에 갑자기 완전혁신적인 아키텍쳐가 튀어나와 그 자리를 뺏어갈 순 있음. 내가 말하고 싶은건 트랜스포머 자체도 아직 뽕뽑아먹을 여지는 충분히 남았다는 것

[익명(tjvmfkwm159)]

[익명(landofooo)]

트랜스포머도 종류가 많나보네?? 그거 기반으로 계속 뭐나오고있는건가

[익명(rechido)]

네트워크 아키텍쳐는 크기 키우는 것 말고 큰 변화는 없었음. 그러니까 자꾸 "트랜스포머 이후로 아무 발전도 없었다"라고 오해를 하는거임. 모델의 성능을 결정하는 요소는 네트워크 아키텍쳐말고도 수두룩한데, 이 학습 알고리즘 부분에서 꾸준한 발전이 있었다는 의미

[익명(106.255)]

제프리 힌튼도 말했잖아. 처음에는 인간의 뇌를 모방하여 신경망을 만들려고 했지만 최근에 든 생각은 거대한 LLM신경망의 학습이 인간의 뇌보다 더 학습을 잘한다거 같다고, 우리는 초지능이나 AGI를 만들때 인간을 기준으로 역공학 하려는 게 정답인지 알고 있지만 사실은 전혀 다르게 오히려 신경망이 답일수도 있는거지. 실제로 좋은 학습알고리즘에 따라서 성능의 큰 개선이 이루어지기도 하고. 좋은 아키텍쳐에 따라서 추론이나 가정이 생길수도 있는거지.

[익명(tjvmfkwm159)]

생명체 자체가 생존만 하면 아무렇게나 진화하는 경향이 있어서 어떤 면에서 존나 비효율적인 면모가 있는 걸 생각하면 맞을지도 모르겠네.

[레몬초콜릿(yabu1020)]

[익명(ek4li3ixxkv2)]

llm에만 자본이 쏠리는거같아서 좀 그렇더라

[익명(61.97)]

요약 1 2 3 읽어보면 1뉴런 = 1000파라미터라는 결론보다 실제론 더 어려울수도 있고 쉬울수도 있다는 말 아님?

[익명(101.235)]

OpenAI 위스퍼는 120억개 파라미터만으로 인간 수준에 근사하게 음성을 텍스트로 인식함

[익명(61.97)]

ㄴ 알파고가 더 적은 패러미터로 인간보다 바둑 잘둔다는거랑 뭐가 다른말임? 뜬금없는 소리를하네 내가 묻는건 본문 말 다 맞아도 결국 더 쉬울지 어려울지는 모른단거 아니냐는거임 모르니까 묻는거

[익명(101.235)]

너의 말이 맞음. 1뉴런 = 1000파라미터라는 얘기와는 상반되게 알파고는 훨씬 더 적은 파라미터로 인간을 압살함. 얼마전 제프리 힌튼 인터뷰의 요점은 이거임.

[익명(101.235)]

청각 피질은 대뇌 피질의 약 7%를 차지한다. 이는 약 7억~10억 개의 뉴런으로 추정되며, 따라서 인간의 경쟁적 청각 시스템에는 700억~1,000억 개의 매개변수가 필요하다.

[익명(101.235)]

반면 OpenAI의 속삭임 모델은 12억 개의 매개변수만으로 음성-텍스트 변환에서 인간과 거의 동등한 수준을 달성하는 것으로 나타났다.

[익명(101.235)]

GPT-4의 파라미터 갯수는 2조 아래로 추정되지만 이미 미약한 추론 능력을 보이고 있음.

[익명(112.171)]

특이점 오는거 맞지? 맞잖아

[익명(125.242)]

글은 고마운데 빨간 글씨는 안쓰면안되노