[일반] 경사하강법은 local minimum에 갈 수밖에 없는데

[익명(14.40)]

왜 딥러닝은 성능이 좋음?

세상의 문제는 생각보다 안복잡해서 local minimum이 global minimum인 경우가 흔한거임?

[익명(180.65)]

지역 해에 빠지지 말라고 데이터 정규화, 옵티마이저에 모멘텀 사용, 러닝레이트 스케줄러 쓰자너~

[익명(125.132)]

생각보다 local 이랑 global이랑 차이 크지않다는듯

[화려하게간다(1gkzzzj2ga2t)]

차원이 커지면 로컬미니마에 빠지기가 어렵다는 글 본것같은데

[화려하게간다(1gkzzzj2ga2t)]

그래서 고차원에서 한 곳에 빠지면 그게 글로벌 미니마라고 생각해도 큰 차이없다고 했었음

[익명(223.62)]

이거 관련 논문 알려줄 수 있음?

[익명(119.198)]

그거 설명하면 논문감임

[익명(211.246)]

오 재미있는 내용이네

[익명(153.231)]

로컬 미니멈에 안빠지게 하려고 이런저런 기법 쓰는거 아님? 모맨텀같이

[익명(211.215)]

늦었지만 설명해주면 통계적으로 parameter의 수가 많아지면 local minimum과 global minimum의 차이가 크지 않아서 parameter의 수가 획기적으로 늘어난 deep learning의 경우 성능이 엄청 좋아지는 거임 레퍼런스는 나도 모르겠다?