Context Window = RAM (Karpathy 비유)
별칭: 컨텍스트 윈도우는 RAM · LLM = OS · Karpathy RAM 비유
정의
entity/karpathy 의 공식 비유 — "LLM 은 새로운 형태의 운영체제. LLM 은 CPU, context window 는 RAM — 모델의 작업 메모리."
영문 원문:
"LLMs are like a new kind of operating system. The LLM is the CPU, and its context window is like the RAM, serving as the model's working memory."
"Just like RAM, the LLM context window has limited capacity to handle various sources of context."
함의 4 가지
| 컴퓨터 OS | LLM |
|---|---|
| RAM 가득 차면 OS 느려짐 | Context 가득 차면 LLM 성능 저하 |
| Swap 발생 → 디스크 IO | 이전 지시 망각 + 실수 증가 |
| 메모리 관리 = OS 핵심 책무 | Context 관리 = AI 엔지니어 #1 책무 |
| 가상 메모리·페이징 | concept/context-engineering-4-patterns (Write·Select·Compress·Isolate) |
강의 활용
- 들어가며 — LLM 이 사람 말 이해 시작 → 희소 자원 (context) 관리 필요 → CLAUDE.md = 헌법
- Ch1 — Context 가 가장 희소한 자원이라는 인식 (Karpathy 영문 직접 인용 box)
- Ch9 — 토큰 차익거래 ([[synthesis_horim_token-economy-and-experience-arbitrage]])
주의
- Cognition 의 진단 재인용 (LangChain Context Engineering 글): "Context engineering is effectively the #1 job of engineers building AI agents."
- 강의에서 영문 원문 + 한국어 번역 병기 권장.