[📪정보] 번역) 두뇌의 규모 VS 기계학습

[익명(hangulnick0)]

https://www.beren.io/2022-08-06-The-scale-of-the-brain-vs-machine-learning/

The Scale of the Brain vs Machine Learning

뇌는 현재 AGI의 유일한 예입니다. 작은 뇌를 가진 작은 동물조차도 복잡하고 불확실한 세상에서 유연성과 대리 행동을 포함한 인상적인 수준의 일반 지능을 보이는 경우가 많습니다. 현대의 머신러닝이 AGI에 얼마나 근접해 있는지 이해하려면 뇌에 대한 정량적 이해가 필요합니다. 뇌의 용량을 분석하고 그것이 AI 타임라인에 어떤 의미를 갖는지에 대한 훌륭한 연구가 많이 이루어졌지만, 저는 직접 해보기 전까지는 무언가를 정말로 이해했다고 느끼지 못합니다. 그래서 현대 머신러닝의 관점에서 뇌에 대한 저의 분석과 이것이 인공지능 개발에 대해 시사하는 바를 소개합니다.

첫 번째 단계는 현재의 머신러닝 시스템과 비교하여 인간의 두뇌에서 작동하는 숫자를 대략적으로 정량적으로 파악하는 것입니다. 먼저, 대규모 ML 시스템과 비교할 수 있도록 뇌에 얼마나 많은 뉴런과 시냅스가 있는지 이해해야 합니다. 뉴런 수의 경우, 일반적으로 인간 두뇌의 뉴런 수는 800~1000억 개로 추정됩니다. 뇌와 ML을 비교할 때 종종 강조되지 않는 중요한 점은 뇌는 하나의 모놀리식 시스템이 아니라 기능적으로 전문화되고 구조적으로 구분되는 많은 하위 단위로 구성되어 있다는 것입니다. 무슨 일이 일어나고 있는지 제대로 이해하려면 800~1000억 개의 뉴런이 서로 다른 뇌 영역에 어떻게 분포되어 있는지 알아야 합니다.

이에 대한 구체적이고 신뢰할 수 있는 수치를 찾는 것은 매우 어려운 일입니다. 제가 찾을 수 있는 가장 포괄적이고 가장 가까운 데이터는 블루 브레인 아틀라스입니다. 다음은 생쥐 뇌의 각 거시적 영역에 대해 표시된 뉴런의 비율입니다

(생쥐의 총 뉴런 수는 약 1억 개입니다).

생쥐의 각 주요 뇌 영역에 대한 총 뉴런 수의 분석.

저에게는 예상치 못했던 몇 가지 놀라운 사실이 있었습니다. 첫 번째는 소뇌가 얼마나 큰지입니다. 소뇌에는 전체 피질보다 더 많은 뉴런이 있습니다! 거대한 크기와 매우 규칙적인 구조에도 불구하고 소뇌가 무엇을 하는지, 어떻게 작동하는지에 대해 우리가 아직 거의 알지 못한다는 사실은 신경과학계에서 가장 간과하고 있는 부분일 것입니다. 둘째, 시상하부와 시상하부는 일반적으로 작을 것으로 생각되는 핵으로 설명되기 때문에 상상했던 것보다 훨씬 큽니다. 해마와 기저핵도 전체 수의 상당 부분을 차지하며, 피질의 상당 부분을 차지하는 청각 피질과 같은 대형 피질에 필적할 만한 크기입니다. 시상하부와 함께 진화론적으로 가장 기본적인 뇌 영역을 형성하고 기본적인 행동만 유지할 수 있는 후뇌(연수와 교뇌)와 중뇌(시개와 피개)는 생각보다 부피가 작습니다. 인간은 대뇌피질과 소뇌의 비율이 종에 관계없이 일정한 것으로 보이기 때문에 쥐와 거의 같은 비율로 이러한 광범위한 비율을 가질 것으로 예상합니다. 그러나 인간은 생쥐에 비해 피질/소뇌가 나머지 부분에 비해 전체에서 차지하는 비율이 약간 더 높을 것입니다.

피질 자체는 균일하지 않고 서로 다른 기능을 수행하는 여러 영역으로 특화되어 있습니다. 블루 브레인 아틀라스는 또한 생쥐에서 이러한 영역의 비율에 대한 분석을 제공합니다,

각 피질 영역에 할당된 전체 피질 뉴런의 비율.

이러한 비율은 인간과 상당히 다를 것으로 예상됩니다. 특히 감각 처리 영역에서 그렇습니다. 쥐는 후각에 엄청난 양의 피질 공간을 할당하고 시각과 청각에는 그다지 많은 공간을 할당하지 않습니다. 인간에 대한 훌륭한 데이터는 없지만, 제가 볼 때 인간은 시각에 27%의 피질 공간을 할당하고, 청각에는 비슷한 양(8%)을 할당하며, 후각에는 훨씬 적은 양(아마도 2~3% 정도)을 할당하는 등 거의 정반대라고 볼 수 있습니다. 인간은 연상 영역이 더 넓고 전두엽 영역도 더 클 것으로 예상합니다. 신경과학자들에게 '연상 영역'이란 높은 수준의 추상적 멀티 모달 자극 표현을 생성하는 데 관여하는 후두정엽과 측두엽 영역을 의미합니다. 마찬가지로 '해마 시스템'은 환경의 일화 기억과 공간 지도를 유지하는 데 관여하는 주변 피질, 내측 피질, 후측 피질을 말하며, '변연계'는 전대상피질과 내측 피질을 의미합니다. 생쥐와 쥐는 탐색에 관여하는 후대상피질이 인간보다 평균보다 더 큰 것으로 보이기 때문에 이 비율은 인간보다 작을 수 있습니다. 하지만 전반적으로 피질의 뉴런 수 또는 실제로 뇌 전체를 ML 모델에 직접 비교할 수는 없으며, ML 모델이 실제로 동물이 할 수 있는 모든 작업을 수행하기 전까지는 불가능합니다.

이제 이 쥐의 수치를 인간에게 맞게 확장하는 방법을 알아봅시다. 이 출처에 따르면(꽤 신뢰할 수 있는 것으로 보입니다), 인간은 약 860억 개의 뉴런을 가지고 있는데 비해 쥐의 뉴런은 7천만~1억 개이므로 인간의 뇌는 쥐의 약 1000배에 달하는 뉴런을 가지고 있습니다. 또한 논문에 따르면 860억 개의 뉴런 중 대뇌에 있는 뉴런은 160억 개, 소뇌에 있는 뉴런은 700억 개(!)에 불과하므로 전체 뉴런 수는 소뇌가 절대적으로 우세하다고 합니다. 물론 효과적인 매개변수는 주로 시냅스에서 나온다는 점에서 뉴런 수가 반드시 중요한 것은 아닙니다. 추정치를 살펴보면, 대뇌 피질의 피라미드 뉴런당 약 1000~1만 개의 시냅스가 있습니다. 이 수치를 기본으로 하되, 모든 뉴런이 피라미드형은 아니며 시냅스가 더 적을 수 있으므로 추정치의 낮은 쪽을 사용하겠습니다. 뉴런 수에 포함되는 피질하 영역도 평균 시냅스 수가 더 적을 수 있지만, 이 역시 일관된 데이터를 찾기가 어렵습니다. 뉴런 1개 = 시냅스 1000개는 작업하기 매우 쉬운 숫자이기도 하며, 저희는 분석을 위해 자릿수에만 신경을 씁니다. 이 숫자를 진지하게 받아들인다면 전체 피질에는 약 160억 개의 뉴런이 포함될 것으로 예상할 수 있으며, 따라서 GPT3와 같은 대규모 언어 모델보다 2 자릿수 더 큰 16T 파라미터가 포함될 것으로 예상할 수 있습니다.

물론 우리의 뇌 전체가 언어 모델링을 하는 것은 아니며, 상대적으로 극히 일부만이 언어 모델링을 합니다. 특히 인간에게는 언어 이해와 이해에 관여하는 특수 영역이 있다는 것을 알고 있습니다: 바로 브로카 영역과 베르니케 영역입니다. 이 영역은 뇌에서 비교적 적은 양을 차지합니다. 다시 말하지만, 이 영역들이 차지하는 정확한 부피에 대한 정보는 찾기 어렵지만, 약 50개 중 3개의 브로드만 영역을 차지하므로 피질 부피의 약 6%가 언어 중심 영역으로 구성되어 있으며, 이는 약간 높더라도 합리적인 추정치인 것 같습니다. 이는 후각이나 체성감각 지각과 같은 중요한 감각 양식에 필적하는 양의 피질 공간을 언어에 할당하지만 시각이나 청각과 같은 기본 양식만큼은 아니라는 것을 의미합니다.

언어 모델링 기능이 주로 브로카 영역과 베르니케 영역에 있다고 가정하면 약 4억~7억 개의 뉴런과 4000억~7000억 개의 매개변수가 뇌에서 언어 모델링에 전념한다고 추정할 수 있습니다. 흥미롭게도 이 수치는 현재 기술 수준과 거의 비슷하거나 약간 더 높습니다(PaLM은 약 5400억 개, Gopher는 2800억 개). 두뇌의 매개변수와 트랜스포머 매개변수 사이의 스케일링이 거의 동일하다고 가정한다면, 이는 현재 언어 모델이 거의 인간 수준의 성능을 발휘하고 있다는 것을 의미합니다. 언어 모델은 어떤 작업에서는 사람보다 훨씬 뛰어나고, 다른 작업(일반적으로 추상적 논리, 장기적 일관성 등을 포함하며 다른 뇌 영역 및/또는 물리적 기호 기반에 의존할 가능성이 높은 작업)에서는 사람보다 훨씬 떨어지지만, 반면에 브로카와 베르니케 영역은 순수한 언어 모델링 이외의 다른 기능(예: 음성 생산을 위한 운동 제어)을 수행하므로 전체 파라미터 수를 사용하지 못할 수 있습니다. 이 결과는 뇌와 현재의 ML 방법이 매개변수 수에 대해 거의 동일한 스케일링 법칙을 가지고 있음을 암시하는 것처럼 보이기 때문에 사실 꽤 놀랍습니다(데이터는 또 다른 이야기입니다).

ML과 뇌의 대략적인 매개변수 동등성(한 자릿수 이내)이 다른 감각과 인지 능력에도 적용될 수 있다고 순진하게 가정해 보면 다음과 같습니다. 먼저 시각을 살펴봅시다. 상대적으로 작은 브로카 영역과 달리 시각 피질은 전체적으로 방대합니다. 다시 말하지만, 정확한 수치를 찾기는 어렵지만 대략적으로 대뇌 피질 부피의 약 30%가 시각에 전념하는 것으로 추정되는데, 이는 제 생각에 거의 맞는 것 같습니다(확실히 15~40% 이내). 이 정도 수준이라면 약 30~50억 개의 뉴런과 3~5조 개의 시냅스가 시각에 관여하므로, 현재 언어 모델 규모보다 한 자릿수 정도 더 큰 '인간 경쟁' 시각 모델이 등장하기 시작할 것으로 예상할 수 있습니다. 그러나 현재 SOTA 비전 모델은 현재 랭가우지 모델보다 훨씬 작습니다. SOTA 이미지넷 모델은 파라미터가 1억 개 정도이고, 스테이블 디퓨전은 약 9억 개이며, Dalle-2는 120억 개의 파라미터를 가지고 있습니다(대부분은 자연어 구성 요소라고 생각하지만). 즉, 현재 수준에서 인간의 시각에 도달하려면 약 3~4 자릿수의 확장이 더 필요하다는 뜻입니다.

그러나 현재의 시각 인식 및 이미지 생성은 이미 충분히 우수하며, 3~4 자릿수 더 큰 인간과 동등한 수준에 근접한 것으로 보입니다. 한 가지 가능성은 현재의 ML 비전 아키텍처가 본질적으로 뇌보다 더 효율적이라는 점입니다. 아마도 CNN과의 가중치 공유나 트랜스포머를 사용한 병렬 시퀀스 예측, 그리고 뇌가 따라잡을 수 없는 유사한 아키텍처 혁신이 그 핵심일 것입니다. 또는 뇌는 본질적으로 유연한 비디오 생성 및 해석이라는 훨씬 더 어려운 문제를 해결해야 하며, 비디오를 완전히 해독하려면 몇 자릿수 더 많은 파라미터가 필요할 수도 있습니다. 현재 ML모델의 비디오 기능이 상당히 부족해 보이기 때문에 이 또한 놀랍지 않습니다. 이 문제의 핵심을 파악하려면 시각적 모델에 대한 스케일링 법칙이 정말 필요합니다.

청각에서도 비슷한 결과가 나타납니다. 청각 피질은 대뇌 피질의 약 7%를 차지합니다. 이는 인간의 경쟁적 청각 시스템에 대한 약 700M-1B 뉴런으로 요약되며, 따라서 700B-1T 매개변수로 귀결됩니다. 반면 OpenAI의 위스퍼 모델은 12억 개의 매개변수만으로 음성 대 텍스트에서 인간과 거의 비슷한 수준의 성능을 달성하는 것으로 나타났는데, 이는 뇌가 청각에 매우 비효율적이거나 현재 ML 모델보다 훨씬 뛰어난 청각 기능을 가지고 있다는 것을 의미합니다.

뇌의 나머지 부분은 어떨까요? 위의 피질 비율을 고려하면 이 분석은 매우 간단합니다. 해마나 기저핵과 같은 피질하 영역에서는 뉴런당 시냅스 수에 대한 추정치가 다를 수 있으므로 그에 따라 매개변수 수도 더 낮게 조정되어야 합니다. 그럼에도 불구하고 뇌에는 모델 없는 RL(기저핵), 기억 통합 및 공간 탐색(해마)과 같은 작업을 수행하는 데 전용으로 사용되는 방대한(100B-1T) 모델이 있다는 것을 의미합니다.

비슷한 논리가 소뇌에도 적용되는데, 소뇌에는 방대한 수(700억 개)의 뉴런이 있지만 99% 이상이 소뇌 과립 세포로 이루어져 있으며 이들은 매우 적은 수(약 5개)의 시냅스를 가지고 있습니다. 따라서 각각 1~10만 개의 시냅스를 가진 약 1,500만 개의 퍼킨제 세포보다 전체 시냅스 수가 훨씬 더 적습니다. 이를 종합하면 소뇌의 유효 매개변수 수는 약 500B-1T, 즉 대뇌 피질 영역의 크기와 비슷하지만 완전히 지배적이지는 않습니다. 재미있게도 이 수치는 소뇌 작동의 기능적 영향에 적합한 수치입니다.

그렇다면 전체 뇌를 구축하려면 얼마나 큰 규모의 네트워크가 필요할까요? 약 200억 개의 비소뇌 뉴런이 있고 소뇌의 유효 파라미터 수가 약 1T라고 가정하면, 전체 뇌의 유효 파라미터 수는 10~30T 파라미터 사이가 될 것으로 추정됩니다. 이는 매우 큰 규모이지만 현재 대규모 시스템의 1~2 자릿수 차이에 불과합니다. GPT3의 훈련 비용과 파라미터 수에 대한 추정치를 바탕으로 파라미터당 선형 비용을 가정하면 오늘날의 뇌에 해당하는 NN을 훈련하는 데는 1억~1.5억 달러 이내로 계산됩니다.

그렇다면 머신 러너에게 뇌는 어떤 모습일까요? 두뇌는 약 10~15개의 준독립적인 전문 모델들로 구성된 집합처럼 보이며, 각 모델은 PaLM 크기에서 최대 수 T 크기까지 다양하며, 각각 특정 양식이나 기능을 독립적으로 전문화하여 제어합니다. 또한 이러한 모델은 서로 매우 높은 대역폭으로 상호 연결되며 추론과 학습 단계 모두에서 집중적으로 통신합니다. 두뇌의 '처음부터 학습' 부분을 구성하는 이러한 대규모 모델은 매개변수 수는 적지만 실제로는 매우 영향력이 큰 하드코딩된 기능의 얇은 층으로 둘러싸여 있습니다. 이 하드코딩된 기능은 입력의 수집 및 전처리, 출력(특히 운동)의 후처리, 현재 항상성 상태에 따라 보상 기능과 같은 목표를 동적으로 설정하고 외부 자극에 대한 반응으로 주의력, 주의력, 각성 수준 등의 전반적인 변조를 수행합니다. 이러한 모델은 모두 실시간으로 작동하며, 지각, 계획, 행동 선택, 그리고 운동 구현에 이르는 전체 실행 과정에서 약 100~200ms의 지연 시간을 갖습니다. 이 모델들은 온라인 POMDP 환경에서 비교적 적은 양의 비인공지능 데이터로 훈련됩니다.

이를 최신 머신 러닝과 비교해 보면 이러한 시스템은 현재의 역량을 훨씬 뛰어넘지만, 지난 10년 동안 관찰한 것과 같은 속도로 ML에 대한 발전과 투자가 계속된다면 향후 10년 동안 크기를 몇 자릿수 더 확장할 수 있을 것으로 보입니다. 몇 가지 추가적으로 해결해야 할 아키텍처 세부 사항이 있을 수 있고, 더 효율적인 데이터 아키텍처나 학습 방법이 필요할 수도 있지만, 이를 가로막는 근본적인 장애물은 없는 것으로 보입니다. 그래서 타임라인이 꽤 짧습니다.

데이터에 대한 질문

이러한 분석에서 발생하는 근본적인 질문은 매개변수만 고려한 상태에서 데이터의 확장에 관한 것입니다. 친칠라 스케일링 법칙은 데이터를 다시 전면에 내세우며, 이것이 앞으로 대규모 언어 모델의 스케일링에 대한 주요 제약이 될 것임을 분명히 합니다. 뇌가 전체 인터넷에 대해 학습하지 않는다는 점에서 이는 더욱 중요합니다. 사실, 우리는 이에 대한 상한선을 아주 쉽게 설정할 수 있습니다. 80년 동안 분당 250단어씩 80년 동안 끊임없이 책을 읽는다고 상상해 보세요. 이는 약 100억 개의 토큰에 불과하며, 현재 언어 모델에 학습된 데이터조차도 충분하지 않은 수준입니다. 이미지도 비슷한 상황입니다. 상한선을 위해 우리가 80년 동안 60FPS로 인식한다고 가정해 보겠습니다. 이는 25억 개의 이미지에 불과하며, 유튜브의 전체 동영상 콘텐츠에 비하면 훨씬 적습니다. 이 수치는 상당히 높은 상한선이며 대규모 머신 러닝 표준과 친칠라 스케일링 법칙에 따르면 이미 너무 작습니다(공정하게 말하자면 아직 이미지/비디오 데이터에 해당하는 스케일링 법칙이 없으며 언어보다 훨씬 더 데이터 효율적일 수도 있지만 그럴 가능성은 희박합니다).

a.) 데이터는 근본적으로 인간의 지능을 제약하는 요소이며, 데이터 부족으로 인해 뇌는 계속 확장하기 위해 엄청난 수의 매개변수를 가져야 하므로 최적의 확장 곡선에서 멀리 떨어져 있습니다. b.) 뇌는 훨씬 더 데이터 효율적이기 때문에 데이터가 훨씬 덜 중요한 다른 확장 법칙에 따라 작동한다는 것입니다. 개인적으로는 옵션 b가 더 가능성이 높다고 생각하지만, (뇌에 매개변수가 너무 많다는) 옵션 a도 가능합니다. 이에 대한 몇 가지 논거가 있지만 제 생각에는 결정적인 것은 아닙니다.

1.) 인간(및 동물)은 아마도 AI 시스템보다 더 나은 데이터를 얻을 수 있을 것입니다. 인간은 인터넷에서 무작위적이고 중복된 데이터를 주입받는 것이 아니라 직접 세상과 상호작용하며 원하는 것을 찾아낼 수 있습니다. 이는 특히 순수한 무작위 샘플링에서는 희귀 토큰/데이터가 나타날 확률이 매우 낮은 집피안 분산 데이터에서 더 나은 확장 법칙을 적용할 수 있습니다. 효과적으로, 사람들은 행동을 통해 데이터를 중요하게 샘플링하게 됩니다.

2.) 데이터가 정말 병목 현상이라면, 진화를 통해 아키텍처의 데이터 효율성을 최적화하는 데 엄청난 압력을 가할 것입니다. 지금까지는 주로 컴퓨팅이 최첨단 결과의 병목 현상이었기 때문에 ML에서는 아직 이런 일이 발생하지 않았습니다. 선험적으로 현재의 아키텍처가 최적의 데이터 효율을 낼 가능성은 거의 없어 보입니다.

3.) 인간과 작은 원숭이, 심지어 생쥐나 작은 포유류와 같은 다른 동물들은 대략 비슷한 양의 시각 및 청각 데이터를 입력하지만, 진화에 따라 시각 및 청각 피질은 계속 확장되고 있습니다. 만약 우리가 이러한 방식과 관련하여 매우 나쁜 확장 법칙을 따르고 있다면 이는 가능하지 않을 것 같습니다. 흥미롭게도 후각의 경우 뇌가 커질수록 후각 피질의 상대적 크기가 줄어드는 것을 볼 수 있습니다.

4.) 우리는 많은 작업에서 인간이 현재의 ML 모델보다 샘플 효율이 높은 경향이 있다는 것을 알고 있으며(항상 그런 것은 아니지만), 이는 일반적으로 샘플 효율이 더 높고 따라서 더 나은 파라미터-데이터 스케일링 법칙을 가지고 있다는 것을 의미할 수 있습니다.

모델의 가정

이 모델은 매우 단순하며 (희망적으로) 한 자릿수까지만 오차를 허용하도록 의도되었지만 2 자릿수까지 늘어날 수도 있습니다. 모든 단순화 가정을 감안하더라도 그 이상의 수치가 나온다면 놀랄 것입니다.

1.) 시냅스는 NN 파라미터와 동일하지 않습니다. 여기에는 두 가지 주장이 있습니다. 첫째, 시냅스는 NN 가중치를 표현하는 일반적인 방법인 32비트 부동 소수점 방식보다 정밀도가 낮다는 것입니다. 시냅스는 잡음이 많고 상대적으로 적은 수의 정보만 전달할 수 있기 때문에 시냅스의 '유효 파라미터 수'가 낮아질 수 있습니다. 반면에 시냅스에는 빠른 가중치 학습과 느린 가중치 학습이 모두 가능하여 일종의 빠른 가중치 체계를 암시적으로 구현하는 등 ANN 가중치에는 없는 기능도 있습니다.

2.) 뇌의 뉴런은 ANN 뉴런보다 더 복잡하다. 이것은 사실이지만 시냅스의 수에 비해 그 효과는 미미하다고 생각합니다. 뉴런은 분명히 입력에 대한 역치를 조정하고 다양한 신경 전달 물질에 의해 다양한 방식으로 변조되는 것과 같은 일을 할 수 있습니다. 하지만 각 뉴런에 학습 가능한 파라미터가 5개씩 추가로 있다고 가정해 봅시다. 이는 시냅스에 인코딩된 1000-10000개의 파라미터에 비하면 아주 작은 수치입니다. 반면에 이러한 매개변수는 두뇌가 고정된 함수를 계산하는 인공신경망보다 추론 중에 '즉석에서' 처리를 조정할 수 있다는 것을 의미합니다. 이는 짧은 시간 단위로 행동을 동적으로 조절하는 데는 매우 유용하지만, 더 긴 시간 단위의 가중치 학습에는 거의 영향을 미치지 않을 가능성이 높습니다.

3.) 수상돌기 트리는 모든 시냅스 입력의 선형 합보다 더 복잡합니다. 즉, 체세포에 더 가까운 시냅스에 더 많은 가중치가 부여됩니다. 여러 수상돌기 통합 영역(기저, 정단 등)이 있습니다. 수상돌기는 서로 복합적으로 상호작용할 수 있습니다. 즉, 일부 시냅스가 다른 시냅스를 게이트할 수도 있고, 다른 시냅스가 다른 시냅스를 게이트할 수도 있습니다. 이 모든 것이 가능하며 이것이 뉴런의 유효 파라미터 수를 어떻게 증가시키는지에 대한 좋은 모델이 없습니다.

4.) 뇌는 역전파보다 더 효율적이거나 덜 효율적인 학습 알고리즘을 사용할 수 있습니다. 뇌는 아마도 지역성 및 병렬화 가능성 문제로 인해 신뢰도 할당에 역전파를 사용하지 않고 다른 방식으로 학습해야 할 것입니다. 역전파는 이미 매우 효율적이기 때문에 선험적으로 이 알고리즘이 더 나쁠 가능성이 높습니다. 반면에 일반적인 피질 신뢰도 할당 알고리즘은 진화에 의해 강한 선택적 압력을 받을 것이므로 아마도 역전파보다 더 우수하고 어쩌면 더 좋을 수도 있습니다. 저는 더 나은 알고리즘이 있을 거라고 생각합니다. 현재 우리는 뇌에서 신뢰도 할당이 어떻게 이루어지는지 거의 알지 못하기 때문에 뇌의 유효 매개변수 수에 대한 불확실성의 원천이자 큰 미해결 과제입니다.

생물학적 스케일링 법칙

이 논문의 그림. 인간의 뇌가 다른 동물에 비해 어떻게 스케일링되는지 보여줍니다.

머신 러닝의 스케일링 법칙에 초점을 맞추고 있는 지금, 신경과학의 스케일링 법칙에 대해 우리가 발견한 것을 살펴볼 가치가 있습니다. 이제 한 종의 '지능'에 대한 우리의 개념이 그 종의 뉴런 수와 밀접한 상관관계가 있다는 것이 분명해졌으며, 이는 자연에도 비교적 완만한 매개변수-성능 스케일링 법칙이 존재한다는 것을 암시합니다. 종에 대한 객관적인 지능 측정이 없다면 머신러닝처럼 정확한 스케일링 계수를 추정할 수는 없지만, 그러한 법칙이 존재한다는 것은 분명합니다. 이 법칙이 인간 수준에서 즉시 작동을 멈출 것이라고 믿을 이유는 없습니다.

흥미롭게도 이 논문에 따르면, 실제로 뇌 크기와 뉴런 수를 연관시키는 여러 가지 생물학적 스케일링 법칙이 존재합니다. 대부분의 포유류는 뉴런 수가 증가함에 따라 이를 지지하는 신경교세포의 수가 더 큰 비율로 증가해야 하고 뉴런의 크기도 증가해야 하는 비교적 나쁜 스케일링 법칙을 따르고 있습니다. 즉, 뇌의 더 많은 부분을 신경교세포에 할애해야 하고 신경세포 밀도가 떨어지기 때문에 스케일링에 대한 수익률이 급격히 감소합니다. 반면 영장류는 뉴런과 신경교세포를 1:1로 스케일링하고 스케일 전체에 걸쳐 신경 밀도를 일정하게 유지할 수 있는 훨씬 더 나은 스케일링 법칙을 발견한 것으로 보입니다. 이를 통해 우리는 주어진 대규모 뇌에 대해 훨씬 더 많은 뉴런을 지원할 수 있으며, 우리보다 훨씬 더 큰 뇌를 가진 고래나 코끼리 같은 대형 동물보다 훨씬 더 지능적인 이유를 설명할 수 있습니다.

인간의 뇌는 영장류 스케일링 법칙이 예측하는 범위 내에 정확히 들어맞는 것처럼 보입니다. 객관적인 지능에 대한 종간 측정이 없다면 영장류의 척도로 예측할 수 있는 것보다 인간이 더 똑똑한지 덜 똑똑한지 알기 어렵습니다. 인간 두뇌의 '표준성'은 또한 이 지점을 넘어서는 확장이 실패할 것이라고 예상할 이유가 없다는 것을 의미합니다. 만약 우리가 훨씬 더 큰 두뇌를 가진 영장류를 만들거나 진화시킨다면, 우리는 그들이 우리보다 더 똑똑할 것으로 기대할 것입니다.

인간 두뇌의 크기는 주로 두뇌 유지에 필요한 칼로리 요구량에 의해 제한되는 것으로 보이며, 전체 에너지 예산의 약 25%를 차지합니다. 뇌의 크기에 대한 추가적인 제약에는 냉각 요구 사항과 태어날 수 있을 만큼 작은 머리가 포함될 수 있습니다. 그러나 25%의 뇌 에너지 예산은 신체 크기와 능력 사이에 의미 있는 균형이 존재하며, 적어도 조상의 환경에서는 '더 많은 지능'이 항상 큰 가치가 있는 것은 아니라는 것을 암시합니다. 즉, 지능이 그 수준까지 극히 한계적으로 가치가 있다면 50%의 뇌 에너지 예산이 불가능할 물리적 이유가 없어 보이므로, 현재의 25% 예산은 우리가 이 지점 이상으로 얻는 지능의 각 한계 단위가 더 나은 근육이나 내부 장기 등에 투자되는 에너지 단위와 동등하게 가치가 있다는 것을 의미합니다. 이는 ML에서 얻은 표준 법칙 스케일링에서와 같이 뇌의 추가 스케일링이 아마도 감소하는 수익을 보여줄 것으로 예상해야 한다는 것을 의미합니다. 물론 이것은 현재 환경이 아닌 조상 환경에 주로 적용됩니다.

ML 스케일링에도 비슷한 논리가 적용될 수 있는지 생각해 볼 필요가 있습니다. 현재 우리가 가진 모든 증거는 스케일링이 강력한 준선형(거듭제곱 법칙) 수익률이며, 따라서 '지능'의 각 한계 이득은 훨씬 더 큰 비용으로 얻어진다는 것입니다. 이는 지능이 추가적인 지능을 증가시키는 데 도움이 되는 지능 폭발 시나리오에 필요한 초선형 스케일링과는 매우 다릅니다. 향후 포스트에서 이에 대해 더 자세히 설명하고 이것이 AGI 모델에 어떤 의미가 있는지 설명하겠습니다.

이와 같은 가장 기본적인 질문에 대한 신뢰할 수 있는 데이터를 수집하고 제공하는 데 있어 신경과학이 얼마나 취약한지 놀라울 따름입니다.

인간 뇌의 유효 파라미터 수를 10~30T 정도로 추정하네

[부패하는유전자!!!(sansss2015)]

100경 파라미터충 어딨노? 씨발년아 - dc App

[익명(873dvejis77)]

좋은글 ㄱㅅ

[익명(61.74)]

하위단위의 물리적 속성이 다르니 인간의 뇌와 ai는 방향성이 다를 수밖에. 모델 하나를 만드는데 드는 비용효율은 인간 >>> ai 이고 단위 시간당 정보처리 속도는 ai >>> 인간이니 이미 체계가 잡혀있는 분야를 대체 하기에는 ai가 유리하고, 새로운 분야의 체계를 처음 잡을 때는 인간이 유리함. 인간이 개척하고 ai로 일구는게 패러다임 아닐까.