개요

John von Neumann (1903-1957) — 헝가리계 미국 수학자. 1945 년 EDVAC 보고서 초안 (First Draft of a Report on the EDVAC) 에서 저장 프로그램 컴퓨터 (Stored-Program Computer) 의 청사진을 정립. 이후 80 년의 모든 컴퓨터 (Intel x86, ARM, RISC-V, Apple M, NVIDIA H100, AMD MI300) 가 폰 노이만 아키텍처의 후계자.

폰 노이만 아키텍처 — 5 원리

★ 가장 혁명적 통찰 — 명령어를 데이터처럼

폰 노이만 이전 ENIAC 시대: 명령어는 회로로 박혀 있고 데이터만 메모리 (재배선 필요).

폰 노이만 통찰: 명령어도 데이터다 — 같은 메모리에 둘 다 저장 → *프로그램이 다른 프로그램을 작성할 수 있다.

이 단순한 통찰이 가능하게 한 것:

• 컴파일러 (코드 → 코드)
• 인터프리터 (코드 실행 시 변환)
• 운영체제 (자기 자신을 로드하는 부트로더)
• 자기 수정 코드 (실행 중 명령어 변경)
• LLM ★ — context window 가 명령어 (프롬프트) + 데이터 (히스토리) 를 같은 공간에 저장

★ LLM = 폰 노이만 후계자

entity/karpathy 의 "LLM = OS, Context = RAM" 비유 (term/context-window-as-ram) 는 우연이 아니다. LLM 의 context window 는 — 폰 노이만의 명령어 + 데이터 통합 메모리 의 자연스러운 진화형.

폰 노이만 병목 — 80 년의 그늘

상세: term/von-neumann-bottleneck 참조.

요약: CPU 처리 속도 ≫ 메모리 대역폭 → CPU 가 메모리를 기다리며 놀고 있다. 1940 년대에는 컴퓨터가 느려 문제 안 됨 → 1980 년대 캐시 계층 으로 일부 해결 → 2010 년대 GPU 의 고대역폭 메모리 로 AI 시대 토대 → 2026 년 HBM 공급 부족이 산업 최대 병목.

강의 활용

• 들어가며 §1.1 — 80 년 컴퓨팅의 토대 부각. 폰 노이만 5 원리 + 저장 프로그램 혁명성.
• 들어가며 §1.6 — 폰 노이만 병목의 부활 — HBM 부족 + 토큰 희소성 + CLAUDE.md 정면 대응.
• 부록 A 토큰 — 어텐션 O(N²) 계산이 폰 노이만 병목의 직접 결과.
• Chapter 1 — LLM = OS = 폰 노이만 후계자 의 철학적 근거.

주의사항

• Computer Architecture 교과서는 보통 Harvard Architecture (명령어와 데이터 분리 메모리) 를 폰 노이만의 대안 으로 소개한다. 실제 현대 CPU 는 내부 캐시에서는 Harvard, 메인 메모리에서는 폰 노이만 의 하이브리드.
• 폰 노이만은 EDVAC 보고서 초안 의 유일 저자 로 박혔으나, 실제로는 Eckert·Mauchly 의 기여가 컸음 — 학술 논쟁 존재. 역사적 의의는 그대로 인정되지만 기여자 분배 는 재평가 중.