2ebc8870e18060ff6be8d7b645d4226dd83b52eb6ffa7a6526cbc814325947a906eae5312021d32685ebc0193d648f


딥러닝도 결국 뉴런이라 국소적 메커니즘은 인간과 동일함

하지만 주류 딥러닝 네트워크들은 순방향으로만 구성돼 있어서 동적 추론에 매우 불리함

대신 그 파라미터를 죄다 순방향으로 때려박아서 정보의 생성과 처리 "속도"에 극도로 최적화된 거임

반대로 사람의 경우에는 뉴런 간 연결이 훨씬 더 동적으로(실시간)으로 변화하면서

동사에 각 뉴런이 LLM처럼 순방향으로만 연결돼 있는 게 아니라, 2호선마냥 뺑뺑이로 자기 참조적임.

덕분에 극한의 창의성(여러 확률분포 샘플링)과 강건성을 보이는 거임.

진화 과정에서 "유연한 연결(턱없이 낮은 활성화)"이 극단적으로 강화된 부류들이 바로 ADHD들이고

따라서 우리가 생각하는 수준의 능지(통찰력과 창의성)에서 더 큰 성과를 확보하기 위해선 기존의 신경망 설계를 많이 보완해야 함

다만, 모든 딥러닝 모델들은 필연적으로 미분에 기반한 수치최적화 기법에 의존해야 한다는 점에서 그게 드럽게 어려울 뿐임