[일반] 파라미터 100조짜리는 학습시얼마나걸림?

[익명(49.166)]

Gpt3을 1750억매개변수를 하루만에학습가능하면

1750×600 = 105조

600일

ㅇㅇㅇ

Gpt3를 하루에 10개학습하면

17500x60 =105조

60일


Gpt3를 하루에 10개학습시킬 수준은 되야 60일걸림

연산력이답이다

[익명(125.191)]

연산력이 늘어나면 파라미터 말고도 한 번에 몇개 학습시키는지 의미하는 배치사이즈도 늘릴 수 있음 이게 크면 좋다고 함