예전에 3.5 turbo 쓰다가 얼마전에 4o mini로 파인튜닝한 모델 변경했는데
응답시간이 너무 오래걸리는데, 원래 그런거임?
prompt랑 input 사이즈는 별로 안큼. output도 0~10 사이 숫자만 내뱉으면 되도록 프롬프트 만들어놨음..
timeout 10초로 해놨는데 더 길게 해야되나 ㅡㅡ;
예전에 3.5 turbo 쓰다가 얼마전에 4o mini로 파인튜닝한 모델 변경했는데
응답시간이 너무 오래걸리는데, 원래 그런거임?
prompt랑 input 사이즈는 별로 안큼. output도 0~10 사이 숫자만 내뱉으면 되도록 프롬프트 만들어놨음..
timeout 10초로 해놨는데 더 길게 해야되나 ㅡㅡ;
원래 개느림 근데 10초는 좀 심하긴 하네 일단 타임아웃 15초 정도로 늘려보셈