요약

LangChain 팀은 Terminal Bench 2.0 이라는 코딩 벤치마크에서 흥미로운 실험을 진행했다. GPT-5.2-Codex 모델의 가중치는 단 한 글자도 건드리지 않은 채, 시스템 프롬프트·도구·미들웨어 (즉 하네스) 만 재설계 했다. 결과는 — 벤치마크 점수가 52.8 점에서 66.5 점으로 13.7 점 상승 했고, 동일한 벤치마크의 순위가 Top 30 에서 Top 5 로 6 배 가까이 도약 했다. 같은 모델의 같은 가중치가 환경 설계만 바뀌어 절대 점수 한 자릿수 차이를 만들어 낸 것이다. 본 사례는 AI 시대의 경쟁력이 모델 자체보다 모델을 둘러싼 하네스 설계 임을 단일 산업 벤치마크 안에서 직접 입증한 가장 명확한 정량 증거다.

상세

실험 설계

• 모델: GPT-5.2-Codex (변경 없음)
• 변경 변수: 시스템 프롬프트 + 도구 + 미들웨어 (= 하네스)
• 측정: Terminal Bench 2.0

결과

의미

• 모델 가중치 = 제조사가 결정 (사용자 통제 불가)
• 하네스 = 사용자가 설계 (즉시 변경 가능)
• → 자기 통제 영역의 변경 만으로 모델 교체급 효과

책자 연결: synthesis/booklet-9-chapters Part 2 Ch.3 하네스 엔지니어링: AI 성능을 10배 높이는 환경 통제 의 핵심 수치.

강의 활용

03 HRN lesson/hrn-sdd-evidence 의 대표 수치 슬라이드:

• 시퀀스:
  1. "GPT-5.2-Codex 가중치 그대로 둡니다."
  2. "하네스만 재설계했습니다."
  3. "점수: 52.8 → 66.5. 순위: Top 30 → Top 5."
  4. "모델 업그레이드 기다릴 필요 없습니다."

주의사항

• 출처 1차: LangChain 블로그 "The Anatomy of an Agent Harness" — URL 슬라이드 명기.
• 벤치마크 한정성: Terminal Bench 2.0 = 터미널 명령 추론 벤치마크. 모든 작업 일반화 주의.
• 수치 강조 우선순위: 13.7점 보다 Top 30 → Top 5 가 청중 임팩트 큼.
• "모델 교체 없이": 강의에서 매번 강조 — 통제 가능 영역에서 즉시 효과.