[일반] 100조파라미터 학습하려면 연산 어느정도 필요함?

[익명(49.166)]

몇엑사로 며칠걸릴까

[익명(118.44)]

100조면 100Tr이네

[익명(118.44)]

100Tr이면 SI 접두어로는 T고

[익명(118.44)]

파라미터를 한번 훑는데에도 100Tflo가 필요하겠네

[익명(118.44)]

이제 학습 효율이 어느정도일지만 고려하면 됨

[익명(118.44)]

가장 최신이라 할만한 딥넷 기준 1000층 * 30k iter이니까 30M, 곱하면 3Zflo

[익명(49.166)]

답은뭐임

[익명(118.44)]

트랜스포머 한 층에 연산을 넉넉하게 100번 필요하다고 할까? 그러면 300Zflo

[익명(118.44)]

계산하고 있잖아

[익명(118.44)]

이번에 엔비디아에서 나온 게 18.4Eflops니까 나누면 16304초

[익명(118.44)]

= 271.7시간 = 11일 7시간 44분

[익명(118.44)]

따라서 100조 파라미터가 안정화 될 때 까지 학습시키려면 이번에 발표된 엔비디아 컴퓨터로 넉넉잡아 11일 반나절 정도 돌리면 됨

[익명(118.44)]

궁금하면 이렇게 계산하면 됨 ㅇㅋ?

[익명(49.166)]

[익명(118.44)]