[일반] LR잡는건 순전히 경험에 의존하는거냐

[익명(121.172)]

글고 loss function 커스텀해서 넣는건 심플한 데이터는 잘 되는데

꼭 실제 데이터 쓰면 절대안되노

근데 또 신경망 안쓰고 걍 수치적으로 모델 세워서 넣으면 잘나옴

제조업 공정데이터쪽임

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(223.62)]

걍 gpu에 배치2048넣으니까 되는데 원래이럼?

[익명(223.62)]

원래 배치64

[익명(121.172)]

원래 로스 7,0~근처에서 안떨어지더만 2048배치로는 금방 수렴하는데 이정도로 차이남??

[익명(121.172)]

설명해준거랑 논문들 보면서 이해한건 노이즈가 심한 데이터의 경우 최적화 과정에서 배치사이즈 작게하면 데이터 전체의 optimal point 방향과 배치의 optimum point 방향이 크게 달라져서 수렴불가능한 경우 생길수가 있다는거 같은데 맞음? 그리고 배치사이즈를 키운다 -> 전체 optimal point 방향과 유사해진다 -> 큰 LR 선택 가능(optimal point방향이 맞으므로 큰 step을 취해도 안정성을 잃을 염려가 없다) -> 빠르게 수렴 + 수렴 가능 이렇게 되는거 맞음?

[익명(121.172)]

다만 찝찝한 부분은 분명 몇년전 딥러닝이란 단어 처음 접하고 파이토치 인스톨 안되서 때려쳤을땐 배치사이즈 32~64가 정배였던거같은데 요즘 메타는 달라진거같다는거???

[익명(153.231)]

엥 배치가 작으면 시간은 걸리지만 더 optimal solution에 가까운 값을 얻을 수 있는거 아니였음? 내가 잘 못 알고있었나 - dc App

[익명(121.172)]

배치작으면 오버피팅 방지에 좋다는 의견들이 많이 보이네. 전체 데이터에 대한 최적점에 잘 수렴한다는 말은 없는듯