[일반] 그래픽카드 성능에 따라서 딥러닝 모델 성능도 달라지나요?

[익명(221.133)]

글카 성능에 따라서 모델링 시간이 달라지는 건 아는데, 모델 정확도도 혹시 달라지나요?
정확도도 좋아지면 글카 구매하려고 하는데...

[익명(118.235)]

...?

[익명(223.39)]

하나하나가 큰 학습데이터에서 gpu 메모리 문제로 배치가 제한받는 상황이 아니라면 뭐....

[익명(106.101)]

네 달라질 수 있어요, 근데 좋아진다고 보장은 안됩니다. 하드웨어, 토치 버전, 코드에 따라서 랜덤성이 달라지기때문에 최적화로 업데이트 되는게 달라져서 결과가 미세하게 달라지는데, 심한 경우에는 수렴이 안될수도 있어요. 토치 2.0 이면 특히 sdpa 연산할때 non deterministic 해서 더 그럴수도

[익명(106.101)]

가끔 학습된 모델 체크포인트를 빅테크에서 코드와 함께 제공해주는데 이를 다시 재현해보려고 평가 코드를 돌려봐도 미세하게 다른 이유가 이 때문 일수 있습니다