Term (용어)aiverifiedFri May 01
캐시 히트 vs 캐시 미스 (Cache Hit vs Miss — $1.5 vs $30, 20× 비용 차이)
별칭: Cache Hit vs Miss · 캐시 히트 미스 · prompt caching · 프롬프트 캐싱
#cache#prompt-caching#anthropic#cost#jaesang-ha#hrn
정의
entity/anthropic Claude API 의 Prompt Caching 메커니즘 — 시스템 프롬프트·CLAUDE.md·자주 읽는 파일 등을 자동 캐시. 캐시 히트 시 동일 입력 1.5 불, 미스 시 30 불 — 20× 비용 차이. entity/jaesang-ha 강의의 비용 최적화 가장 결정적 포인트.
비용 비교
| 시나리오 | 단일 사용자 비용 (예시) | 비율 |
|---|---|---|
| 캐시 사용 (Hit) | $1.5 | 1× |
| 캐시 미사용 (Miss) | $30 | 20× |
캐시가 깨지는 4 패턴
| # | 패턴 | 영향 |
|---|---|---|
| 1 | 세션 중간에 term/claude-md 수정 ★ | 시스템 프롬프트 자체 변경 → 처음부터 다시 |
| 2 | 매 세션마다 다른 파일들을 읽음 | 캐시 키가 매번 달라짐 |
| 3 | TTL 경과 (시간 초과) | Anthropic 캐시는 짧은 TTL — 시간 안에 끝내야 |
| 4 | 시스템 프롬프트의 미세 변경 | 동일성 깨짐 |
캐시 친화적 운영 원칙
"CLAUDE.md 는 절대 세션 중간에 바꾸지 않는 거를 추천. Non-obvious Pattern 같은 것들도 세션 끝나고 추가하는 게 무조건 좋습니다."
✅ 좋은 패턴
세션 시작 → CLAUDE.md 로드 (캐시 히트) → 작업 → 세션 종료
세션 종료 후 → CLAUDE.md 갱신
다음 세션 → 새 CLAUDE.md 로드 (한 번만 캐시 미스)
❌ 나쁜 패턴
세션 시작 → 작업 → 중간에 CLAUDE.md 갱신 (캐시 미스 1)
→ 작업 → 또 갱신 (캐시 미스 2) → ... 비용 폭증
강의 활용
03 HRN case/meta-400-billion-token-saving 결정적 어휘:
- 멘트: "$1.5 vs $30. 20 배. 세션 중간에 CLAUDE.md 만지지 마세요."
주의사항
- 번역 통일: Cache Hit / Miss 영어 권장. 캐시 적중 / 누락 한국어 부수.
- TTL 정책: 모델·시점에 따라 변동. 강의 시점 (2026-05) 기준은 짧은 분 단위 로 가정 — 정확값은 Anthropic 문서 확인.
- 20× 의 절대값: 예시 시나리오 값. 실제 비율은 입력 크기·캐시 비중에 따라 변동. 대표적 신호.
- Auto-compact 와의 충돌:
/compact명령어가 시스템 프롬프트 갱신을 일으키면 캐시 깨짐. 세션 끝낼 때만 권장.