# τ^τ-Bench — 에이전트가 만든 상담봇, 합격률 23.9%

> Sierra·Princeton 연구진이 코딩 에이전트에게 실제 업무 기록·API·예산을 주고 고객 상담 에이전트를 처음부터 만들게 한 벤치마크입니다. 최고 조합도 23.9%에 그친 이유를 정리했습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/tau-tau-bench-agent-construction/)
- 발행: 2026-09-07
- 카테고리: 논문 한입 · 태그: 논문, 코딩 에이전트, 벤치마크, AI 에이전트, Sierra

## 핵심 답변

Sierra와 Princeton 연구진이 2026년 9월 4일 arXiv에 올린 τ^τ-Bench는 코딩 에이전트에게 업무 기록, 고객 요구사항, 운영 API, 기존 코드, 서빙 예산을 주고 항공·소매·통신·은행 4개 영역의 고객 상담 에이전트를 처음부터 구축하게 한 뒤 시뮬레이션 사용자로 평가하는 벤치마크입니다. 가장 좋은 조합인 Claude Opus 5 + Claude Code도 53개 과제에서 23.9%만 통과했고, 벤치마크 저자가 정답 자료를 보고 만든 전문가 기준은 82.2%였습니다.

## 요약

- 53개 공개 과제(항공 6·소매 6·통신 6·은행 35)와 같은 수의 비공개 과제로 구성되며, 증거 자료는 텍스트만 550만 토큰이 넘습니다.
- Claude Opus 5 + Claude Code 23.9%, GPT-5.6-sol + Codex 22.0%, Kimi K3 + OpenCode 17.9% 순이었고 전문가 기준은 82.2%입니다.
- 최고 조합조차 은행 영역은 5.9%에 그쳤습니다. 소매 72.8%, 항공 55.9%, 통신 48.2%와 대비됩니다.
- 실패 원인은 자료를 얕게 훑고, 고객과 거의 소통하지 않으며, 처음 돌아가는 설계를 그대로 제출하는 세 가지로 요약됩니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 논문 | arXiv 2609.04611 (2026-09-04, Sierra · Princeton) |
| 과제 수 | 53개 공개 + 53개 비공개 (항공 6 · 소매 6 · 통신 6 · 은행 35) |
| 최고 성적 | 23.9% (Claude Opus 5 + Claude Code) |
| 전문가 기준 | 82.2% (과제별 41.3~100%) |
| 서빙 예산 | 대화당 0.022~5.6 크레딧 (영역·난이도별) |
| 평가 대화 | 3,365회 (시뮬레이션 사용자 상대) |


## 무슨 일인가요

Sierra와 Princeton 소속 연구진(Quan Shi, Keshav Dhandhania, Karthik Narasimhan, Victor Barres)이 9월 4일 arXiv에 올린 τ^τ-Bench는 코딩 에이전트가 고객 상담 에이전트를 "처음부터 끝까지" 만들 수 있는지를 재는 환경입니다.  개발자 역할의 에이전트는 실제 업무 기록, 고객의 요구사항, 운영 API, 기존 코드베이스, 예산 제약을 받아 항공·소매·통신·은행 4개 영역의 에이전트를 구축합니다. 



과제는 공개 53개(항공 6, 소매 6, 통신 6, 은행 35)와 비공개 53개로 구성됩니다.  자료 규모가 만만치 않습니다. 은행 영역만 1,637개 증거 자료에 2,969개 원자적 사실이 흩어져 있고, 항공은 568개 자료에 85개, 소매는 314개 자료에 119개, 통신은 349개 자료에 155개 사실이며 텍스트만 550만 토큰이 넘고 스크린샷·PDF·녹음도 포함됩니다.  과제마다 대화당 0.022~5.6 크레딧의 서빙 예산이 붙어, 쉬운 과제는 Claude Opus 5를 쓸 수 있지만 어려운 과제는 Claude Haiku 4.5 같은 저렴한 모델을 쓰도록 몰아갑니다. 



평가는 만들어진 에이전트를 비공개 시뮬레이션 사용자에게 붙여 진행하며, 데이터베이스 상태가 맞고 소통이 적절해야 통과로 칩니다. 소통은 루브릭 기반 심사 모델이 채점합니다. 

## 결과는 어땠나요



여섯 조합 가운데 가장 높은 Claude Opus 5 + Claude Code가 23.9%였고, 벤치마크 저자가 정답 자료를 보고 직접 만든 전문가 기준은 82.2%(과제별 41.3~100%)였습니다.  이 최고 조합의 평균 구축 시간은 216.3분, 구축 비용은 $42.0, 서빙 비용은 예산의 0.58배였습니다. 

| 영역 | Opus 5 + Claude Code 통과율 |
| --- | --- |
| 소매 | 72.8% |
| 항공 | 55.9% |
| 통신 | 48.2% |
| 은행 | 5.9% |

영역별 격차가 큽니다. 과제 35개로 가장 많고 자료도 가장 방대한 은행 영역에서 최고 조합이 5.9%에 그쳤습니다.  저자들이 꼽은 실패 원인은 세 가지입니다. 기록을 깊이 이해하는 대신 얕은 질의를 던지고, 고객에게 거의 아무것도 묻거나 알리지 않으며, 에이전트 아키텍처와 서빙 지출을 거의 실험하지 않은 채 처음 돌아가는 설계를 그대로 제출한다는 것입니다. 


저자들은 고객 시뮬레이터가 요구사항이 고정된 단일 LLM이라는 점, 조합·과제당 시행이 한 번뿐이라는 점, 평가가 제출 시점에 끝나 배포 후 학습은 측정하지 않는다는 점을 한계로 적었습니다. 


## 무엇을 보면 되나요

이 벤치마크는 코딩 벤치마크에서 흔히 보는 "함수 하나 고치기"가 아니라, 자료를 읽고 고객과 이야기하고 예산 안에서 설계를 고르는 일을 한 덩어리로 묻습니다. 그래서 같은 모델이라도 하네스에 따라 점수가 달랐고(Kimi K3는 OpenCode 17.9%, Kimi Code 16.1%), 모델 계열보다 하네스와 작업 습관이 결과에 개입하는 구조입니다. 


23.9%라는 숫자보다 "고객과 거의 소통하지 않는다"는 관찰이 더 중요해 보입니다. 사람 개발자라면 요구사항이 애매할 때 묻는 것이 기본인데, 현재 코딩 에이전트는 묻지 않고 만들기부터 합니다. 에이전트를 도입하려는 팀이라면 모델 등급을 올리기 전에 "먼저 물어보게 하는" 지시와 예산 실험을 강제하는 워크플로를 붙이는 편이 효과가 클 것으로 봅니다. 다만 시행이 조합당 한 번뿐이라 순위의 작은 차이는 유의미하지 않을 수 있습니다. 



## 자주 묻는 질문

**Q. 무엇을 평가하는 벤치마크인가요?**

이미 만들어진 상담 에이전트의 응대 능력이 아니라, 그런 에이전트를 만드는 코딩 에이전트의 능력을 평가합니다. 업무 기록과 고객 요구사항, 운영 API, 기존 코드베이스, 예산을 받아 상담 에이전트를 설계·구현하고, 그 결과물이 비공개 시뮬레이션 고객을 상대로 데이터베이스 상태와 소통 기준을 얼마나 통과하는지를 봅니다.

**Q. 예산 제약은 어떻게 작동하나요?**

과제마다 대화당 크레딧 예산이 있고(0.022~5.6), 쉬운 과제는 Claude Opus 5 같은 프런티어 모델을 쓸 수 있지만 어려운 과제는 Claude Haiku 4.5처럼 저렴한 모델을 쓰도록 강제합니다. 약 20개 모델 명단에서 토큰 구간별 정액 요금으로 고르게 돼 있습니다.

**Q. 벤치마크를 내려받을 수 있나요?**

arXiv 논문 초록과 본문에는 공개 저장소 링크가 없습니다. 이 글 작성 시점에 공개 여부는 확인되지 않았습니다.

## 출처

1. [τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction (arXiv 2609.04611)](https://arxiv.org/abs/2609.04611) (paper)
2. [같은 논문 HTML 전문 (arXiv)](https://arxiv.org/html/2609.04611) (paper)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._