하시발 LLM gpu 행렬연산이 ㅈㄴ게 쳐문젠데 그냥

[익명(223.38)]

아오

하드웨어 한계인가

엔비디아 Gpu가 ai에 병신이라는 소리가 괜히 나오는 소리가 아니었구나 ㅅㅂ 하드웨아가 소프트웨어를 못따라간다 ㅅㅂ

[ㅆㅇㅆ(124.216)]

뭔소리여 쿠다라 AI 다 그건데

[익명(223.38)]

ㄴㄴ 그냥 정확히는 행렬연산이 문제임 이게 vram 존나 쳐먹고 속도 존나느리게함 어쩔수가없다 병렬연산이 행렬로들어가면앙됨 심지어 멀티헤드는 포지션인코더도 희석해버려서 더문제임

[익명(223.38)]

속도 빠르게하려고 행렬을 도입했는데 오히려 얘가 속도 더느리게하는 ㅈㄴ 양날의검임 ㅅㅂ