[일반] 엔비디아에서 23년에 100조개 모델 나온다고 했었네

[익명(211.59)]

https://www.forbes.com/sites/moorinsights/2021/04/12/nvidia-announces-technology-for-training-giant-artificial-intelligence-models/?sh=e3f553a404a7

NVIDIA Announces Technology For Training Giant Artificial Intelligence Models

2년전 기사인데

그렇다면 오픈ai나 구글에서 100조개 또는 이와 비슷한

규모의 모델이 있을 가능성이 있음

[익명(1.239)]

MoE면 100조 넘게 충분히 가능

[익명(211.59)]

gpt4가 moe로 1.76조개로 추정되는데 h100 성능 생각해봐도 충분히 가능할듯

[익명(220.74)]

저 그래프대로라면 적어도 2021년에 이미 1T 모델이 나왔어야됨 너무 나이브한 예측임 물론 현시점에선 구글같은데선 가지고있어도 놀랍진 않을듯

[익명(211.59)]

gpt4개발 끝나고 안전 테스트를 시작한게 2022년이니까 크게 차이나지 않음

[익명(220.74)]

gpt4 개발끝난게 2022 8월이라 적어도 1년차인데 뭐가 크게 차이안나... 특히 ai필드에선 더 큰차인데...

[익명(211.59)]

난 그냥 일반인 입장에서 말하는거임. 업계에서야 1년 차이면 크게 보겠지