LLM Wiki Compilation > RAG (Karpathy 의 토큰 효율 명제)
별칭: LLM Wiki vs RAG · Karpathy LLM Wiki · compounding artifact
정의
entity/karpathy 의 LLM Wiki gist 에서 정립된 명제 — 컴파일된 위키가 RAG 보다 토큰 효율적 이다.
영문 원문:
"The wiki is a persistent, compounding artifact... The cross-references are already there. The contradictions have already been flagged."
★ Wiki ↔ RAG 비교 표
| 측면 | RAG | LLM Wiki (컴파일) |
|---|---|---|
| 합성 시점 | 매 쿼리마다 처음부터 | 한 번 + 유지 |
| 5 문서 종합 | 매번 5 문서 다시 읽음 (반복 비용) | 이미 연결된 페이지 + 링크 (1 회 비용) |
| 교차참조 | 쿼리 시 재구축 | 영구 보존 |
| 모순 처리 | 매번 재발견 | 플래그됨 (영구) |
| 토큰 (복잡 질문) | 높음 (반복) | 낮음 (1 회 합성) |
| 도구 | 벡터 DB·임베딩 | markdown + git |
1 source → 10~15 pages 패턴
프로세스:
- 새 자료 하나 투입
- LLM 이 읽고 핵심 추출
- 개체 페이지·개념 페이지·인덱스를 동시 업데이트
- 기존 데이터와의 모순 기록
- 교차참조 자동 강화
→ 본 위키 (wiki_강의_vibe_coding) 의 llmwiki-ingest 스킬 의 직접 영감.
Index-First 검색
"The LLM reads the index first to find relevant pages, then drills into them."
→ BM25 같은 복잡한 검색엔진 없이도 중소 규모 (~100 자료, ~수백 페이지) 에서는 인덱스 파일 자체로 충분.
Karpathy 의 단순성 철학
"The wiki is just a git repo of markdown files. You get version history, branching, and collaboration for free."
→ 복잡한 DB ❌, markdown + git. 본 위키 정확히 이 패턴.
★ 워크플로우 분담
"Obsidian is the IDE; the LLM is the programmer; the wiki is the codebase."
| 역할 | 담당자 |
|---|---|
| 인간 | 소싱·탐색·질문 |
| LLM | 요약·교차참조·관리 (지루한 일) |
★ 본 위키 정합 — Karpathy 패턴의 실증
본 위키 wiki_강의_vibe_coding 의 모든 핵심 설계가 본 명제와 정합:
10_source/불변 ↔ Karpathy raw sources30_wiki/컴파일 ↔ Karpathy wiki layerCLAUDE.md↔ Karpathy schema layer[[wikilink]]내부 참조만 ↔ Karpathy 패턴 그대로
→ 본 강의가 본 위키 자체를 정당화 — 메타 정합성.
강의 활용
- 들어가며 — 컴퓨터가 사람 말 이해 시작 → 토큰 희소 → 컴파일된 위키 = RAG 대안 의 도입.
- 부록 C — 본 위키 자체가 Karpathy 패턴 실증 임을 명시.