https://analyticsindiamag.com/lets-not-stop-at-back-prop-check-out-5-alternatives-to-this-popular-deep-learning-technique/


신경망 학습에 역전파 외에도


차이 타겟 전파,

HSIC(힐베르트-슈미트 독립 기준) 병목 현상: 역전파 없는 딥러닝

보조 변수를 사용한 온라인 교대 최소화

합성 그라디언트를 사용한 분리된 신경 인터페이스

로컬 오류 신호로 신경망 훈련


등의 방식이 있다고 함


당연히 힌튼은 두뇌에서 역전파가 작동할거라 보고 있고

https://www.nature.com/articles/s41583-020-0277-3


https://medium.com/syncedreview/new-hinton-nature-paper-revisits-backpropagation-offers-insights-for-understanding-learning-in-477c54f2e7b6


OpenAI 연구원도 두뇌가 역전파를 사용하고 있다고 보고 역전파 방식이 가장 빠르고 효율적이라고 봄


"뇌가 역전파를 어떻게 구현합니까?" 신경과학에서 더 많은 관심을 받지 않습니다. (일부 예외, 예를 들어 Tim Lilicrap의 작업).


나는 두뇌가 그것을 할 것이라고 확신합니다:

(1) 그라디언트로 학습하는 것이 훨씬 빠릅니다

(2) 역전파가 그라디언트를 계산하는 유일한 효율적인 방법입니다



요수아 벤지오의 차이 타겟 전파가 힌튼의 역전파 만큼 우수하다는 걸 증명하려면

더 넓고 깊은 네트워크에서도 역전파보다 효율적으로 작동한다는 걸 보여야 됨