[일반] AIS추론시간 엄청 길어졌는데?

[익명(61.97)]

api가 아니라 tps 측정을 못하겠네

어쨋든 공홈에서는 15~30초 걸릴 거 AIS에서는 3분 이상 걸리긴 하더라

[익명(lilililiilll)]

time to first token이 거진 1분 될때도 있음. 서버 문제 같은데