[📪정보] 2.5 pro, 2.0 flash 컨텍스트 캐싱으로 비용 절감

[익명(121.178)]

고정적으로 사용되는 컨텍스트를 미리 캐싱하여 비용을 절감할 수 있는 컨텍스트 캐싱

OpenAI나 앤트로픽은 현재 자동으로 적용되지만 구글은 직접 설정해줘야하는 다소 불편함은 있다 (이것도 자동으로 되게 작업 중이라고 함)

API를 활용한 서비스 등을 할 때는 필수적으로 사용해야하는 기법이다.

예를 들어 고정적으로 사용되는 긴 시스템 프롬프트가 있다거나,

매우 큰 문서에 대해 반복적으로 작업하는 경우 등에 큰 도움이 된다.

2.5 pro와 2.0 flash에 대한 컨텍스트 캐싱 지원이 시작되어

토큰당 가격을 4분의 1로 절감할 수 있다. (모든 input은 아니고 컨텍스트된 토큰 한정)

(ex. gemini 2.0 flash는 캐싱시 100만 컨텍스트 토큰당 0.1달러 -> 0.025달러로 미친 가성비를 보여준다)

다만, 구글의 경우 캐싱할 토큰의 수와 캐시 저장 시간 별로 약간의 저장 비용은 소모된다.

그럼에도 전체적으로 상당히 큰 비용 절감이 가능하다.

디테일한 정보는 아래를 확인하자.

https://x.com/OfficialLoganK/status/1914384313669525867

Context caching updates in the Gemini API:

- ✅ Added support for 2.0 Flash
- ✅ Added support for 2.5 Pro Preview
- 📉 Reduced min context size from 32K down to 4K

Much more to come still, please send any feedback on the experience!

— Logan Kilpatrick (@OfficialLoganK) April 21, 2025

[익명(ounce1352)]

그저 GOAT

[익명(haircut2819)]

원래 딴 기업들은 다 했던건가

[덕후나이트(ttrocketeer)]

컨셉은 제미나이 1.0이 최초