[📪정보] 모델 훈련시 미국 정부 보고 의무 기준

[익명(61.74)]

기준점이 훈련시 들어간 컴퓨팅이 100엑사플롭스(1e26) 이상인데 현재 가장 큰 오픈소스 모델인 llama2가 5e24이고, gpt3가 3e23임
gpt4는 이 기준에 들어갈지 정확히 알수는 없는데 제미니나 gpt5는 무조건 들어간다고 보면 될듯


https://x.com/soumithchintala/status/1719118791773208713?s=61&t=vw-Q25I5Cfyobm-eAwkHQQ

Regulation starts at roughly two orders of magnitude larger than a ~70B Transformer trained on 2T tokens -- which is ~5e24.

Note: increasing the size of the dataset OR the size of the transformer increases training flops.

The (rumored) size of GPT-4 is regulated. https://t.co/bhay1ElDAp

— Soumith Chintala (@soumithchintala) October 30, 2023

https://github.com/amirgholami/ai_and_memory_wall#nlp-models

GitHub - amirgholami/ai_and_memory_wall: AI and Memory Wall blog post