[📪정보] 1뉴런 = 1000 인공뉴런

[익명(59.22)]

New Study Finds a Single Neuron Is a Surprisingly Complex Little Computer (singularityhub.com)

In the study, the team found it took a five- to eight-layer neural network, 

or nearly 1,000 artificial neurons, to mimic the behavior of a single biological neuron from the brain’s cortex.

이 연구에서 연구팀은 뇌의 피질에서 나오는 단일 생물학적 뉴런의 행동을 흉내내기 위해 5층 내지 8층의 신경망 또는 

거의 1,000개의 인공 뉴런이 필요하다는 것을 발견했다.

1개의 뉴런을 모방하기 위해서는 1000개의 인공뉴런이 필요

또는

1개의 뉴런을 모방하기 위해서는 5층 내지 8층의 신경망 필요

인간 뉴런 총 개수 약 860 억개 ~ 1000 억개 

인공 뉴런으로 이것을 구현하기 위해 최소  86 조개  ~  100 조개 필요

To computationally compare biological and artificial neurons, the team asked: How big of an artificial neural network would it take to simulate the behavior of a single biological neuron?

First, they built a model of a biological neuron (in this case, a pyramidal neuron from a rat’s cortex). The model used some 10,000 differential equations to simulate how and when the neuron would translate a series of input signals into a spike of its own.

They then fed inputs into their simulated neuron, recorded the outputs, and trained deep learning algorithms on all the data. Their goal? Find the algorithm that could most accurately approximate the model.

생물학적 뉴런과 인공 뉴런을 계산적으로 비교하기 위해 연구팀은 다음과 같이 물었다. 

하나의 생물학적 뉴런의 행동을 흉내내려면 얼마나 큰 인공 신경망이 필요할까요?

먼저, 그들은 생물학적 뉴런의 모델을 만들었습니다. (이 경우, 쥐의 피질에서 나오는 피라미드 뉴런). 이 모델은 뉴런이 일련의 입력 신호를 자신의 스파이크로 변환하는 방법과 시기를 시뮬레이션하기 위해 약 10,000개의 미분 방정식을 사용했습니다.

그런 다음 시뮬레이션된 뉴런에 입력을 공급하고, 결과를 기록하고, 모든 데이터에 대한 딥러닝 알고리즘을 훈련시켰습니다. 

그들의 목표는? 모형을 가장 정확하게 근사할 수 있는 알고리즘을 찾습니다.

1개의 뉴런을 흉내내기 위해서는 1000개의 인공 뉴런이 필요 OR 5~8층의 신경망 필요

노드(원 1개) X 1000 = 생물학적 뉴런 1개

They increased the number of layers in the algorithm until it was 99 percent accurate at predicting the simulated neuron’s output given a set of inputs. The sweet spot was at least five layers but no more than eight, or around 1,000 artificial neurons per biological neuron. The deep learning algorithm was much simpler than the original model—but still quite complex.

그들은 일련의 입력이 주어졌을 때 시뮬레이션된 뉴런의 출력을 99% 정확하게 예측할 수 있을 때까지 알고리즘의 층 수를 늘렸다. 생물 뉴런 1개당 최소 5개 층에서 8개, 또는 약 1,000개의 인공 뉴런이 검출되었다. 딥러닝 알고리즘은 원래 모델보다 훨씬 간단했지만 여전히 상당히 복잡했다.

Indeed, after removing these features, the team found they could match the simplified biological model with but a single-layer deep learning algorithm.

실제로 이러한 특징을 제거한 후 연구팀은 단순화된 생물학적 모델을 단층 딥러닝 알고리즘과 일치시킬 수 있다는 것을 발견했다.

https://www.youtube.com/watch?v=3LQLCqHT5Ws&t=27s

Also, the model neuron is from a rat’s brain, as opposed to a human’s, and it’s only one type of brain cell. Further, the study is comparing a model to a model—there is, as of yet, no way to make a direct comparison to a physical neuron in the brain. It’s entirely possible the real thing is more, not less, complex.

모형 뉴런은 쥐의 뇌에서 나온 것으로, 인간의 뇌와는 반대로, 뇌세포의 한 종류일 뿐입니다. 게다가, 이 연구는 모델을 모델에 비교하고 있다. 

아직까지는 뇌의 물리적 뉴런과 직접 비교할 방법이 없다. 진짜가 더 복잡할 수도 있고 덜 복잡할 수도 있습니다.

But it’s hard to argue with millions of years of evolutionary experimentation. So far, following the brain’s blueprint has been a rewarding strategy. And if this work is any indication, future neural networks may well dwarf today’s in size and complexity.

그러나 수백만 년에 걸친 진화론적 실험을 반박하기는 어렵습니다. 지금까지는 두뇌의 청사진을 따르는 것이 보람 있는 전략이었습니다. 그리고 이 작업이 어떤 징후라면, 미래의 신경망은 크기와 복잡성이 오늘날보다 훨씬 작아질 수 있습니다.

요약 

1. 쥐 단일 뉴런 1개를 구현 - 1000개의 인공뉴런 OR 5~8층 심층 신경망 필요

2. 뉴런의 구조를 단순화 시키니 단층 딥러닝 알고리즘과 일치한다는 사실 발견

3. 아직 단일 뉴런을 대상으로 한 실험이고, 그마저도 생쥐의 뉴런, 뉴런과 뉴런이 연결된 시냅스 구조와 인간 뉴런에 대한 정보는 미지수

4. 역공학은 매우 의미있는 전략이며, 미래에는 신경망의 크기와 복잡성을 오늘날 보다 단순화 시킬 수 있다.

(1개의 인공 뉴런을 생물학적 인공 뉴런과 똑같은 메커니즘으로 구현 가능하거나 더 뛰어나게 만들 수 있다고 볼 시)

[익명(125.136)]

정확한 수치가 나온거구나. 대단하네

[익명(223.39)]

오 좋은 정보 감사합니다

[익명(211.252)]

그럼 파라미터도 기존 100조개보다 대략 1000배정도 많아져야겠네..? 10경 파라미터 나오면 아인슈타인 폰노이만 씹어먹는 AGI 쌉가능인가.

[익명(222.112)]

10경은 너무 암담한데 ㅠㅠ

[익명(211.252)]

근데 인공신경망이 자연보다 훨씬 효율적으로 설계가능하고 속도는 비교도안되게 빠르니까 한 10배정도만해도 ㅆㅅㅌㅊ 성능내지 않을까.

[스월빙(wkd48632)]

그거랑 다른 맥락인 듯

[익명(59.22)]

211.252 - 한가지 간과한게 니가 말한 자연보다 훨씬 효율적으로 설계가능하고 속도는 비교도안되게 빠른 인공 뉴런이 1000개가 동원돼서 생물학적 뉴런 1개를 흉내냈음.... 무슨 말인지 모르겠음? , 결과적으로 인공 뉴런의 메커니즘이 생물학적 뉴런의 메커니즘의 모든 것은 모방하거나 압도하지 않는 이상 단순히 생각할 문제가 아님

[익명(1.239)]

10경이 뭐가 암담함? 2025년이면 달성가능한 수준인데. 그리고 위의 글에도 '뉴런의 구조를 단순화 시키니 단층 딥러닝 알고리즘과 일치한다는 사실 발견'이라고 하니까 암담한 것과는 거리가 멀지.

[익명(eltldd001)]

난독 뭐노?

[익명(210.106)]

시냅스가 제일 중요한거 아님?

[익명(59.22)]

그 시냅스가 결과적으로 뉴런 간의 상호작용이니까, 뉴런의 메커니즘을 구현하거나 이해할 수 없으면, 시냅스 구조 또한 알기 힘들겠지

[익명(1.239)]

이런 선형충 새ㄲ...가 아니네? 특이점이 온다!

[스월빙(wkd48632)]

ㅋㅋㅋㅋㅋ

[익명(223.39)]

ㅋㅋㅋㅋㅋㅋㅋ

[supersonic2011(fa6396)]

ㅋㅋㅋㅋㅋㅋㅋㅋ - dc App

[익명(59.22)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(125.178)]

이게 벌써 나오네. 완몰가 베이스 기술인데

[익명(220.127)]

100조개라

[익명(182.231)]

MS에서 개발한 인피니티 제로인가 그거 쓰면 하드웨어는 연산속도만 해결하면 되네 이제 진짜 양자컴퓨팅만 남았다