[일반] ai챗플랫폼에서 제미니는 응답속도가 존나빠르던데

[익명(cement0706)]

그냥 추론을 최소화시킨거임? api로 가져온거에서 추론을 줄여봤자 많이 못줄이지 않음? 나도 thinking budget 같은거 확 줄여놓고 쓰는데 적어도 10초임 걔내들은 2초만에 나오잖아. 원리가 뭔지 궁금해. 단순히 구글과 계약해서 개별 서버를 써서 그런건가? 그건 아닐 것같은데

[익명(58.228)]

개인 의견: 2초만에 나오는거면 추론보다는 gemini-2.5-flash-lite같은 경량화 모델을 쓰거나 자체 경량화 모델을 쓴거라고 생각함. 개별 서버를 쓴다고 그만큼 속도가 나올 것 같지는 않고, 별도 추론 칩을 쓸 수도 있긴 한데 가능성은 거의 없다고 봄.