SWE-bench — 기본 에이전트 12.5% vs 구조화 워크플로우 53% (4×)
Case (사례·인용)aiverifiedFri May 01

SWE-bench — 기본 에이전트 12.5% vs 구조화 워크플로우 53% (4×)

별칭: SWE-bench 4배 · 12.5% → 53% · 버그 해결률

#swe-bench#benchmark#structured-workflow#harness#evidence#hrn

요약

학계의 대표적 코딩 벤치마크인 SWE-bench (실제 GitHub 이슈를 모아 만든 진짜 버그를 풀어내는지 측정하는 시험) 의 결과는 충격적이다. 같은 AI 모델을 사용했을 때, 모델에게 그냥 이슈를 던져 풀게 하면 (기본 에이전트) 버그 해결률은 12.5 % 에 그쳤지만, 동일한 모델을 구조화된 워크플로우 (계획 → 분해 → 검증 → 통합) 안에서 작동시키면 같은 모델이 53 % 까지 풀어냈다. 즉 모델 자체는 단 한 번도 개선되지 않았는데도, 주변 워크플로우 설계만 바꾼 것 만으로 버그 해결률이 4 배 가까이 향상 된 것이다. 본 사례는 "좋은 모델보다 좋은 환경 (하네스) 이 더 결정적이다" 라는 본 강의 03 HRN 단원 핵심 명제의 직접적 정량 증명이다.

상세

측정

시나리오버그 해결률
기본 에이전트 (단순 프롬프트 → 코드 생성)12.5%
구조화 워크플로우 (concept/harness-engineering 적용)53%+

구조화 워크플로우 구성 요소

→ 즉 본 강의 03 HRN 의 모든 카드들이 종합된 결과.

강의 활용

03 HRN lesson/hrn-sdd-evidence 가장 강한 임팩트 수치:

  • 멘트: "실제 GitHub 이슈를 푸는 벤치마크 — 4배 차이입니다."
  • 슬라이드: "12.5% → 53%" 큰 폰트 + "4×" 강조.

주의사항

  • 벤치마크 한정성: SWE-bench = Python 중심 GitHub 이슈. 다른 언어 / 도메인 일반화 주의.
  • 출처 1차성: SWE-bench 공식 리더보드 / 분석 보고서 — 강의 전 확인.
  • 53% 의 절대값 이해: 53% 도 완벽 은 아니다. 나머지 47% 는 여전히 사람 필요 임을 짚어 균형.
  • 수치 우선순위: 본 카드 + case/langchain-harness-benchmark = HRN 단원의 수치 1·2.