[일반] 유저 모이는 거랑 성능이랑 뭔 상관임

[.(211.52)]

속도 느려지는 건 이해 되는데 모델 자체 성능이 왜 떨어짐
유저가 많으면 더 파라미터 적은 모델 돌리고 그러는 거임?

[익명(183.105)]

생각을 덜 하잖아 과부화 걸리니까

[.(211.52)]

AI가 사람처럼 생각을 유동적이게 하지 않잖아

[익명(define9452)]

위에 덜떨어진 ㅂㅅ소리하는새끼 말은 무시하고. 사용자 많아지면 대기열걸리는게 당연한거지 뭔 버러지같은소리를 허냐

[.(211.52)]

대기열 걸리는 거면 속도만 좀 느려져야 정상 아님?? 왜 다들 답변 퀄리티 떨어진다고 하지

[익명(183.105)]

이유 1: 리소스 제한 많은 사용자가 동시에 모델을 사용하면 서버 리소스가 제한되어 응답 시간이 길어지고 처리 속도가 느려질 수 있습니다. 이러한 경우, 모델의 성능이 느려지는 것처럼 느껴질 수 있습니다이유 2: 캐시 및 데이터 누적 모델이 많은 요청을 처리할 때, 캐시된 데이터나 세션 정보가 누적되어 메모리 사용량이 증가할 수 있습니다. 이는 처리 효율성에 영향을 미칠 수 있습니다

[.(211.52)]

^ 그래서 그게 생각을 덜 하는 거랑 뭔 상관인데요 선생님

[익명(118.41)]

MoE 구조면 부하가 심할 때 성능 떨어트리기 쉬움 8개 중에 1~2개를 작동 안 시킨다던지

[.(211.52)]

오 그러네

[익명(222.105)]

대기열이 아니라 과부하 걸려서 그럼 대답은 곧바로 해야하는데 대답에 할당 될 수 있는 리소스가 적으니 말을 제대로 못 하는거