[💩] 나만 그러냐?

[익명(211.36)]

가끔식 학습하다가 손실 설정 잘못하면 초반에 손실이 줄다가 어느새 증가함 그러다 갑자기 nan 뜨고 하아 fp16써서 기울기 터저서 그런가 그럼 한 30분 날림ㅋㅋㅋㅋㅋ

[익명(122.45)]

진짜 새모델은 논문 implementation detail 참고하는게 좋음 좋은 조건에서 실험해서 이게 최적이다 라고 내놓은걸 굳이 더 모험할 필요는 못느낌 - dc App