[일반] 컴퓨터 성능이 llm 결과물에 영향 미침?

[익명(121.186)]

h200 100대랑 램만 1000테라 넣은 3080 1대로 똑같은 llm을 굴린다면 속도 말고 지능에서도 차이가 남?

[적절한김대기(114.202)]

능지차이 날수밖에, 왜냐하면 3080이라는 가정을 하는걸 보면 gpu 연산 llm을 생각하는거 같은데 vram 10gb에서 굴릴 수 있는 모델 크기는 한계가 있음

[익명(61.79)]

본문 램 1000테라 3080 가정했자너

[익명(eng1010)]

당연

[익명(eng1010)]

gpt4터보 멍청해졌을때 시설노후화 얘기가 괜히 나온게 아님

[익명(175.206)]

음? 가중치만 똑같으면 같은 성능 나오는 거 아닌가?

[익명(175.206)]

GPT한테 물어봄. 하드웨어의 성능이 LLM의 응답 속도에는 큰 영향을 미치지만, 답변의 '수준'이나 '지능'은 하드웨어와 무관하게 모델 자체에 의해 결정됩니다. 즉, 답변의 질적 수준은 동일합니다. 둘 다 동일한 모델과 가중치를 사용하기 때문에, 주어진 입력에 대해 동일한 방식으로 답변을 생성합니다.