[일반] 학습 잘되다가 loss nan으로 바뀌면 기울기터진거냐..

[딥삣삐(218.232)]

ㅇㅇ..

[딥삣삐 1(39.7)]

llm이면 종종 있는 일

[익명(211.234)]

Nan되면 복구할수가 없자

[딥삣삐 2(118.235)]

터진거지... 난 그래서 그래디언트 클리핑을 쓰긴하는데, 이래도 터지면 코드를 점검해봐야할듯