Context Window = RAM (Karpathy 비유)
Term (용어)aidraftTue May 12

Context Window = RAM (Karpathy 비유)

별칭: 컨텍스트 윈도우는 RAM · LLM = OS · Karpathy RAM 비유

#karpathy#context-window#llm-os#working-memory#vibe-coding

정의

entity/karpathy공식 비유"LLM 은 새로운 형태의 운영체제. LLM 은 CPU, context window 는 RAM — 모델의 작업 메모리."

영문 원문:

"LLMs are like a new kind of operating system. The LLM is the CPU, and its context window is like the RAM, serving as the model's working memory."

"Just like RAM, the LLM context window has limited capacity to handle various sources of context."

함의 4 가지

컴퓨터 OSLLM
RAM 가득 차면 OS 느려짐Context 가득 차면 LLM 성능 저하
Swap 발생 → 디스크 IO이전 지시 망각 + 실수 증가
메모리 관리 = OS 핵심 책무Context 관리 = AI 엔지니어 #1 책무
가상 메모리·페이징concept/context-engineering-4-patterns (Write·Select·Compress·Isolate)

강의 활용

  • 들어가며 — LLM 이 사람 말 이해 시작 → 희소 자원 (context) 관리 필요 → CLAUDE.md = 헌법
  • Ch1 — Context 가 가장 희소한 자원이라는 인식 (Karpathy 영문 직접 인용 box)
  • Ch9 — 토큰 차익거래 ([[synthesis_horim_token-economy-and-experience-arbitrage]])

주의

  • Cognition 의 진단 재인용 (LangChain Context Engineering 글): "Context engineering is effectively the #1 job of engineers building AI agents."
  • 강의에서 영문 원문 + 한국어 번역 병기 권장.