Term (용어)aiverifiedMon May 04
Lost in the Middle — 컨텍스트 중간 정보 망각 현상
별칭: Lost in the Middle · 가운데서 길을 잃다 · 중간 정보 망각
#context-window#transformer#lost-in-the-middle#degradation
정의
Lost in the Middle — Transformer 아키텍처 LLM 의 구조적 한계. 입력 시퀀스가 길어질수록 문맥의 중간 에 위치한 중요 정보를 놓치는 현상. 인지·연산 양 측면 모두에서 시작·끝 정보에 비해 중간 정보의 attention weight 가 낮아지는 경향.
메커니즘
| 위치 | Attention 상태 |
|---|---|
| 시작 부분 (system prompt, 첫 instruction) | 높음 — primacy effect |
| 중간 부분 (오래된 대화, 누적 코드) | 낮음 — 정보 손실 |
| 끝 부분 (최근 질문) | 높음 — recency effect |
→ Prompt Engineering 의 정교한 지시도 중간에 묻히면 무력화.
본 위키와의 정렬
| 위키 카드 | 관계 |
|---|---|
| term/context-window | Lost in the Middle 의 물리적 한계 |
| concept/context-rot | Lost in the Middle 의 시간적 누적 형태 |
| concept/context-engineering | Lost in the Middle 을 시스템적으로 우회 하는 기술 |
처방
- 압축 (Context Compaction) — 중간 누적 자동 요약
- RAG — 관련된 부분만 재주입 (의미적 검색)
- 계층화 — system prompt / persistent instructions / chat history 분리
- Subagent — 큰 작업을 작은 에이전트 로 격리 → 각 에이전트의 컨텍스트 짧게 유지
- CLAUDE.md (term/claude-md) — 세션 시작 마다 자동 로드되어 시작 부분에 기록됨 → primacy effect 활용
Don't (오해 금지)
- ❌ Lost in the Middle = 모델 결함 — 아니. Transformer 구조 자체의 특성
- ❌ 컨텍스트만 늘리면 해결 — 오히려 더 길어진 시퀀스 가 문제 악화
- ❌ Long Context (200K+) 모델이면 무관 — 여전히 발생, 단지 임계점이 늦춰질 뿐
본 강의 활용
- C3 엔지니어링 — Context 단원에서 컨텍스트 엔지니어링이 왜 필요한가 의 직접적 근거
- 학생 질문 응대용 — "Claude 한테 다 박으면 안 되나요?" → Lost in the Middle 시각화 슬라이드