[일반] 사람 몰려서 너프된다는게 실제로 있을 수 있음?

[익명(218.235)]

모델이 바뀌는게 아니라면

모델 자체의 파라미터도 그대로일거고

그 상태에서 시스템 프롬프트 같은거 건드는거 아니고서야

추론 토큰량도 그대로일거고

단순 처리속도는 대기열로 인해 느려 질 수 있는데,

사용자 많다고 모델이 꾸져지는게 말이 됨??

음모론같은건가?? 사람 많으면 일부러 파라미터 작은 다른 모델을 서비스하는걸로 바꾸는?

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[글쓴 ㅇㅇ(218.235)]

적어놨음 그 부분도, 시스템 프롬프트 같이 추론 설정을 건드는거 아니고서야 단순 처리량에 따른 아웃풋 토큰수는 차이 없을거임.

[익명(novel1295)]

사람 많으면 과부하 안 걸리게 자동 성능다운 하게 해놨겠지

[익명(novel1295)]

영상도 접속자수 많으면 1080p가 아니라 자동으로 해상도 다운해서 보여주잖아

[글쓴 ㅇㅇ(218.235)]

그럼 사람많을때 전용모델이 따로 있어야함. 그걸 관리하는게 더 비효율적 일 것 같은데 추론의 정도까지는 짧게 하도록 시스템 프롬프트로 밀 수 있을 것 같긴한데. 모델 자체의 성능이 하락하는건 말이 안되길래 물어본거임

[ㅇㅇ 1(125.240)]

@글쓴 ㅇㅇ(218.235) 추론을 짧게하는게... 성능 하락아닌가??

[ㅇㅇ 1(125.240)]

모르겠으면 opus4.1을 보거라

[Azurespace(azurespace)]

익스퍼트 라우팅할 때 토큰 드랍, 익스퍼트 드랍 현상 일어남. 의도적으로 top k값 낮추기도 하고. 아주 말이 안되는 건 아님

[Azurespace(azurespace)]

서비스 업체들이 그렇게 적용하고 있는가는 알 수 없는거고, 속도와 정확성 사이에 트레이드오프 교환할 수 있는 포인트는 많음