[일반] 배치 사이즈는 학습 시간과 관련이 없나요

[익명(118.45)]

어차피 한 에포크 도는 데에 걸리는 시간은 동일한가요?

[Sisu(tljofcm55555)]

[익명(121.161)]

ㄴㄴㄴㄴㄴㄴㄴㄴㄴ

[익명(203.230)]

배치가 작으면 에포크당 시간은 늘어나는데 수렴하는데 걸리는 시간은 줄어듬 글로벌 옵티마를 잘 찾는다고도 하는데 다만 배치라는게 일종의 근사화라 실제 글로벌 옵티마가 아니라 근사화된 글로벌 옵티마임 배치가 크면 보다 실제에 가까운 글로벌 옵티마를 찾을수 있겠지만 문제의 논컨벡스가 심하면 로컬 옵티마에 빠지기 쉬움

[익명(223.39)]

배치늘리면 속도빨라지고 gpu많이씀 예전에 본 논문에서는 배치늘리고 학습률 줄이면 대충 맞다하던데

[익명(223.39)]

배치는 데이터를 한꺼번에 병렬적으로 학습한다는 뜻이고, gpu는 그 병렬처리에 특화된 도구임. 니 gpu가 코어?(기술적으로 정확한 명칭 아님)가 256개라 256개 데이터를 한꺼번에 학습할 수 있는데, 1장만을 학습시키면 255개의 코어는 놀테니 배치사이즈 256까지는 속도적 이득이 있을거임. 하지만 256 이후부터는 어차피 순차적으로 처리해야 하니 노이