"모델을 바꾸지 않고 하네스만 바꿔도 성능이 급등 한다."

---

도입 — 수치로 닫는다

3 부의 마지막 장이다. 8 ~ 11 장에서 4 계층 / Superpowers / 검증 루프 / 경험 외재화 의 원리 를 봤다. 12 장은 그 원리들이 실제 측정에서 어떻게 나타나는가 의 수치로 닫는다.

이 장이 짧은 이유 — *수치 자체가 강력해서 해설이 적게 필요 * 하기 때문이다. 6 개 출처의 수치를 나열 하고, 그 의미를 한 줄씩 기록한다.

핵심 명제 미리.

모델 (AI 자체) 은 그대로다. 하네스 (3 계층) 만 바꿨다. 그런데 성능이 2 ~ 4 배 올라갔다.

이 한 줄이 의미하는 바 — AI 가 부족해서가 아니라, 우리가 환경을 안 만들어 줘서 성능이 안 나왔다. *환경을 제대로 만들어 주면 같은 AI 가 2 ~ 4 배 잘한다.

---

6 출처 핵심 수치 — 한 표

먼저 표를 기록한다. 강의 슬라이드용 충격 한 장 형태.

이 표를 한꺼번에 보여 주는 슬라이드 가 강의의 충격 자리다. 6 개 회사·6 개 영역에서 동일한 패턴이 반복 된다는 것 이 — *우연이 아니라 법칙 * 이라는 신호.

---

LangChain — Top 30 에서 Top 5 로

가장 순수한 비교 사례다. 다른 변수를 완전히 통제 한 실험.

GPT-5.2-Codex 가중치 그대로 + 하네스 재설계 = Terminal Bench 2.0 점수 52.8 → 66.5

여기서 변경된 것 = 하네스 한 가지. AI 모델 자체는 손도 안 댔다. 그런데 점수가 13.7 점 올랐다. 벤치마크 순위로는 Top 30 → Top 5.

이 한 사례가 3 부 전체의 핵심 명제를 증명 한다. AI 능력 ≠ AI 성능. AI 가 얼마나 잘하느냐 는 환경 설계 에 2 차적으로 결정된다.

여러분이 *Cursor 를 쓸 때 같은 GPT-4 모델 인데 *어떤 사람의 결과가 완전히 다른가 * — 이 사례가 그 답이다. 모델은 같다. 하네스 (= 사용 방식 + CLAUDE.md) 가 다르다.

---

Microsoft Azure SRE — 단순화의 위력

두 번째 사례는 역방향 교훈 이다.

100 여 개 맞춤 도구 제거 + 파일시스템 기반 컨텍스트 = 의도 충족률 45% → 75%

처음 설계는 맞춤 도구 100 개 를 갖춘 정교한 시스템이었다. 의도 충족률이 45% 였다. 반은 망했다. 그래서 재설계 했는데 — 도구를 100 개 제거 했다. 그러자 75% 로 올랐다.

이게 Boris Cherny 의 심플하게 원칙 (10 장) 의 기업 사례 다. 복잡한 시스템이 AI 의 판단을 흐린다. 단순화가 성능을 회복 시킨다.

학생 시각으로 옮기면 — *CLAUDE.md 를 짧게 적는 것이 길게 적는 것보다 강하다. *14 장의 2,500 토큰 원칙 의 기업 사례 가 정확히 이 사례.

---

SWE-bench — 4 배 (가장 강한 수치)

이 책에서 가장 극적인 수치다.

기본 에이전트 vs 구조화 워크플로우 = 버그 해결률 12.5% → 53% (4×)

4 배. 즉 같은 AI 가 기본 사용시 100 건 중 12 건을 해결 하고, 구조화된 워크플로우 사용시 100 건 중 53 건을 해결한다. 차이는 워크플로우 구조화 한 가지.

이 수치가 충격적인 이유 — *모델 업그레이드로 4 배 향상은 몇 년 걸린다. 워크플로우 재설계로는 오늘 가능 * 하다.

여러분이 지금 이 4 배 효과를 가져갈 수 있다는 뜻이다. GPT-X / Claude-X 가 나오기를 기다릴 필요 없다. 5 종 체크리스트 + CLAUDE.md + 검증 루프 — 이 세 가지를 오늘 저녁부터 적용하면 — 내일 4 배의 결과 를 본다.

---

기업 사례 — 비즈니스 임팩트

벤치마크 점수가 추상적 으로 들릴 수 있다. 기업 사례 로 비즈니스 임팩트 를 본다.

Klarna (스웨덴 핀테크) — 상담 해결 시간 80% 단축. 챗봇 도입이 아니라 — 명확한 상담 시나리오 사양 을 LangSmith 와 결합한 결과다. AI 가 더 똑똑해서 가 아니라 — *AI 에게 무엇을 어떻게 답할지 의 시나리오가 글로 기록되어 있어서 * 빨라진다.

Podium — 엔지니어링 에스컬레이션 90% 감소. 즉 문제가 엔지니어 손까지 올라가는 비율 이 1/10 로 줄었다. AI 가 자율적으로 해결한 비율이 9/10 라는 뜻. 비결은 — *AI 의 도구 호출 을 정교하게 사전 설계 * 했다.

C.H. Robinson (북미 최대 물류) — 일일 5,500 건 자동 처리 + 600 시간 노동력 절감. *비즈니스 규칙을 코드보다 먼저 정의 * 한 결과. 코드는 그 규칙의 부산물처럼 생성 된다.

세 사례가 같은 패턴을 보여 준다 — *AI 도입의 가치는 AI 자체가 아니라 그 AI 에게 주는 사양 (Spec) 에서 온다.

---

보조 정량 지표 — 개발 시간 −56%

벤치마크 + 비즈니스 외에도 개발 프로세스 자체 의 정량 지표들.

이 표 전체가 같은 결론 에 수렴한다. 하네스 (Spec + 검증 루프 + CLAUDE.md) 도입 시 — 모든 정량 지표가 2 배 ~ 5 배 개선.

특히 개발 소요 시간 −56% 가 직접 와 닿는 수치다. *2 주가 걸리던 작업이 1 주일 안에 * 끝난다는 의미. 이게 Crossbeam 2 일 / Elisa 1 주일 (5·6 장) 의 반복 가능성을 보장 하는 통계.

---

핵심 메시지 — 모델이 아니라 하네스다

이 12 장의 한 줄을 기록한다.

*모델 업그레이드를 기다리지 마라. 하네스 재설계가 지금 4 배의 향상 을 준다.

이게 학생들이 자주 하는 수동적 사고 * 의 정정이다. "GPT-5 / Claude-5 가 나오면 더 나을 거야" — 이 사고가 5 년 동안 답이 안 나오는 사고다. 그동안 *지금 가능한 4 배 * 를 못 가져간다.

기업들이 *왜 오늘 Spec-Driven Development 로 옮기고 있는가 의 답 — *오늘 가능한 향상이 모델 업그레이드의 5 년 분량 * 이기 때문이다. 기다리는 비용 > 도입 비용.

---

모델 vs 하네스 — 대립이 아니라 곱셈

여기서 오해 차단 한 줄.

모델 vs 하네스는 대립 이 아니라 곱셈. 둘 다 좋아질수록 결과는 더 좋아진다.

하네스 우선 메시지가 모델 무가치화 로 흐르면 안 된다. GPT-5 가 GPT-4 보다 좋아지는 것 ⊕ 하네스를 잘 만드는 것 — 두 효과가 곱해진다. 이상적인 자리는 최신 모델 + 잘 설계된 하네스.

그러나 지금 통제 가능한 변수 가 하네스 다. 모델은 Anthropic 이 결정 한다. *하네스는 여러분이 결정 * 한다. 그래서 지금 우리가 할 수 있는 일이 무엇인가 의 답 = 하네스 재설계.

---

12 장 정리 — 3 부 닫기

3 부 5 장의 흐름을 한 줄로 묶는다.

• 8 장: 4 계층 아키텍처 — 어떻게 분리하는가
• 9 장: Superpowers — 손에 잡히는 도구는 무엇인가
• 10 장: 검증 루프 (Boris Cherny) — AI 가 스스로 검증하게 만든다
• 11 장: 경험 = 검증자 — 그 검증 기준은 시니어 경험 에서 온다
• 12 장: SDD 실증 — 수치로 본다

3 부 전체의 한 줄.

**하네스 = AI 의 가능성을 풀어 주는 시스템 적 제약 * . 제약이 자유를 만든다.

이 한 줄이 낙하산 끈의 비유 (8 장 도입) 와 정확히 같다. 끈이 있어 과감하게 뛴다. 끈이 없으면 못 뛴다*.

표어로 닫는다.

AI-Native Vibe Coding: No Design, No Code. — No Design 의 Design 은 하네스의 다른 이름. 3 부 전체가 그 Design 의 형태 를 그렸다.

---

4 부 예고 — 언어로 옮긴다

다음 4 부 (DSL — Design Specific Language, 설계 언어) 에서 — 이 모든 하네스 시스템이 어떤 언어 로 표현되는가 를 본다. 13 장 UML → AI 에이전트 + 14 장 CLAUDE.md = 2020 년대 설계 문서.

특히 14 장이 *이 책에서 가장 손에 잡히는 자리 다. 지금 여러분이 적기 시작할 수 있는 유일한 도구 — CLAUDE.md. 강조점 #3 (정량 근거) 이 그 자리에 기록되어 있다.

"이 모든 시스템이 어떤 언어 로 적히는가? CLAUDE.md."