Kimi Context Caching

상위 문서: ← Kimi Tooling workflows 출처: Kimi API Platform 공식 문서 — Use the Context Caching Feature of Kimi API 한글화 (2026-07-22) 공급사: Moonshot AI (月之暗面)

Context Caching은 자주 요청될 수 있는 대량의 데이터를 미리 저장 — 같은 정보가 다시 요청되면 원본 소스에서 재계산·재조회하지 않고 캐시에서 직접 제공해 시간과 리소스를 절약합니다. Kimi API에서 Context Caching은 모든 모델 요청에 자동 활성화됩니다. 시스템이 반복되는 초기 컨텍스트(시스템 프롬프트, 지식 문서, 도구 정의 등)를 감지하면 자동으로 캐시 콘텐츠를 재사용해 비용 최적화와 빠른 응답을 제공하며, 수동 캐시 생성·관리가 필요 없음.

1. 고정 컨텍스트에 대한 빈번한 요청에 적합

Context Caching은 고정된 큰 초기 컨텍스트를 반복 참조하는 빈번한 요청 시나리오에 특히 적합합니다.

QA 봇 — 제품 문서 어시스턴트 등 대규모 사전 설정 콘텐츠 제공
고정 문서 컬렉션에 대한 빈번한 쿼리 — 상장 회사 공시 Q&A 등
정적 코드베이스/지식베이스의 주기적 분석 — 다양한 Copilot Agent
돌발 트래픽 급증이 있는 바이럴 AI 앱
복잡한 상호작용 규칙의 에이전트 앱

2. Context Caching vs. RAG

RAG(Retrieval-Augmented Generation)는 업계에서 장문 시나리오 비용 절감에 광범위하게 사용됩니다. Context Caching의 비용 절감은 비즈니스 특성에 강하게 의존하지만, RAG는 그렇지 않습니다.

차원	Context Caching	RAG
비즈니스 비용	특정 시나리오에서 최대 90%까지 비용 압축	어떤 비즈니스든 비용 절감 가능. 단, 검색 정확도 이슈로 답변 품질 저하 가능
개발 비용	상대적으로 낮음. 시스템이 자동 캐싱, 추가 통합·튜닝 불필요	상대적으로 높음. RAG + Embedding 결합 + 비즈니스별 지속적 튜닝 필요
추가 이점	장문 시나리오에서 첫 토큰 지연 시간이 평균 5초 이내로 단축 가능	원문 길이를 매우 길게 확장 가능. 백만 단어 컨텍스트 시나리오에 친화적

권장: 고정 콘텐츠에 대한 빈번한 쿼리(예: FAQ, 문서 Q&A)에는 Context Caching 우선. 콘텐츠가 극도로 길고 쿼리 방향이 고정되지 않은 경우 RAG 고려.

3. 설정 불필요: 캐싱은 자동

Context Caching은 완전 자동 캐싱 메커니즘 — 평소처럼 API만 호출:

수동 생성 불필요 — 시스템이 자주 사용되는 초기 컨텍스트를 자동 식별·캐싱
캐시 ID 참조 불필요 — /v1/chat/completions 호출 시 평소처럼 messages만 전달, 시스템이 백그라운드에서 자동으로 캐시 매칭
TTL 관리 불필요 — 캐시 수명 주기는 시스템이 자동 관리

시스템이 적절한 시점에 캐시 최적화를 자동 트리거합니다.

Caching 임계값: 새 요청이 prefix cache에 도달하려면 이전 요청의 prompt 토큰이 256을 초과해야 함. 256 미만이면 캐시되지 않고 폐기됨.

4. 과금

Context Caching 과금 방식과 가격 상세는 Product Pricing 페이지의 billing 정보 참고.

5. 주의사항

캐시 히트 조건: 시스템이 자주 반복되는 초기 컨텍스트를 자동 최적화. 지식 콘텐츠, 시스템 프롬프트, 도구 정의가 비교적 안정적이어야 히트률이 좋음
멀티턴 대화: 고정된 큰 컨텍스트(예: 지식 문서)는 messages 배열의 시작 부분에 배치 (system 메시지보다 앞), 그 뒤에 사용자 질문과 모델 응답을 추가. 시스템이 자동 식별·캐싱
추가 설정 불필요: Context Caching은 모든 요청에 자동 적용 — API 호출 방식을 수정하거나 추가 파라미터를 넣을 필요 없음. 프롬프트 설계와 비즈니스 로직에만 집중

변경 이력

날짜	변경
2026-07-22	초판 작성 (공식 Context Caching 가이드 한글화)
2026-07-22	제목에 "Kimi" 접두사 추가, 본문 H1 중복 제거