[일반] 신모델 나오면 gpu 할당량이 줄어들어?

[익명(211.34)]

모델을 학습할 때 gpu가 필요하고

이미 학습된 모델을 돌릴 때는 gpu 필요없고 그냥 cpu만 있으면 되는 거 아닌가?

o3가 gpu5에 영향받을 이유가 있나?

- dc official App

[ㅇㅇ 1(211.54)]

모델이 코딱지만하면 cpu로도 돌릴수는 있지

[ㅇㅇ 1(211.54)]

그리고 만약에 o3를 cpu로 돌렸어도 cpu 할당량이 줄었겠지

[글쓴 ㅇㅇ(211.34)]

cpu할당량은 문제 안될거라 생각했지 근데 추론때 gpu쓰면 o3 너프되겠네 ㅇㅇ - dc App

[익명(wanted7407)]

모델 추론 서비스에 cpu를 얘기하는 거 보니 아예 모르는구나.. 추론도 gpu로 돌리고 보통 신모델 내기 직전에 신모델로 추론gpu 돌리는 작업때문에 이전모델 성능 너프됨

[익명(wanted7407)]

모델 교체작업이 하루만에 뚝딱 되는 게 아니라서

[글쓴 ㅇㅇ(211.34)]

추론은 gpu가 필요하구나 학습할 때만 gpu가 필요한 줄 알았어 4o한테 물어보니까 답변할 때는 gpu 안 쓴다던데 추론모델이 아니어서 그런가보네 - dc App

[ㅇㅇ 1(211.54)]

@글쓴 ㅇㅇ(211.34) openai gemini claude같은 모델은 gpu로 하고있을거다. cpu로는 그속도 안나와 gpu도 한장에 최소 몇천만원 이상 하는거 쓸걸?

[익명(novel1295)]

[글쓴 ㅇㅇ(211.34)]

좀더 물어보니 4o도 gpu쓰는 게 맞나보다 고마웡 - dc App

[익명(novel1295)]

llm 자체가 병렬연산으로 이루어지고 병렬연산에 특화된 게 gpu임 추론에만 gpu가 쓰이는 게 아님

[글쓴 ㅇㅇ(211.34)]

난 학습할 때만 쓰이는 줄 알았넹 - dc App