Distributed Data Parallel를 사용하려고 하는데요. 얘는 total loss를 어떻게 구해야하나요? DDP는 loss를 평균화 하지 않고 gradient를 평균화해서 GPU에 있는 모델 간 gradient 동기화를 하는걸로 알고 있는데요. 'total' loss를 구하기 위해 단순히 각 GPU의 'local' loss를 gather해서 평균내는게 맞을까요? 이게 수학적으로 맞는 행동인지 궁금합니다.