[일반] 대규모 모델 다뤄보신분 계신가요?

[1(125.133)]

V100 16개 32개 쓰면 무슨 lr이 0.05 이렇게 시작하고 그러는데 배치사이즈가 크면 보통 lr도 커야 하나요?

이렇게 lr이 클 때 다이나믹 배칭을 쓰면 변화하는 배치사이즈에 따라서 lr도 유기적으로 조정해주어야 하나요?

그리고 ENCODER_DIM 나 layer 수가 커지면 확실히 성능 올라가는 게 체감 되시나요?

[Cytrus(minhyoo1)]

google team ) dont decay lr, get bigger batch size 이런 느낌의 제목 논문있음 봐보삼 핵심은 random fluctant를 일정하게 유지하기위해 batch와 lr은 반비례 관계를 유지해야한다는것 - dc App

[Cytrus(minhyoo1)]

반비례 라 하긴 애매한데 암튼 봐보삼 - dc App

[1(112.216)]

감사합니다