[일반] 5090으로 학습중인데 loss가 왜캐 튀지

[딥삣삐(219.248)]

h100에선 잘 훈련되던 모델이 5090에선 학습 중반부터 loss가 계속 튐..

혹시 나랑 비슷한 문제 겪은 사람 있음?

pytorch는 2.7.1+cu128이고 amp 안키고 fp32에서 훈련중임

[익명(106.101)]

Ecc없어서 죽창나나? 그건 아닐거같은데 둘다 버전은 똑같음?

[글쓴 딥삣삐(219.248)]

ㅇㅇ 둘다 cuda 버전까지 같음

[익명(106.101)]

나였으면 일단 lr 스케쥴러써서 저 튀기전부분에서 값 조절하면서 실험해볼듯

[호다카게이(7ckq8bay9t7d)]

오 신기해 - dc App

[익명(219.248)]

Pytorch nigthly (2.8.0.dev20250612+cu128) 설치했더니 해결됨

[딥삣삐 1(119.149)]

ㅊㅊ

[딥삣삐 2(106.102)]

뭐가 다른거?