무엇을 평가하는 벤치마크인가요?

이미 만들어진 상담 에이전트의 응대 능력이 아니라, 그런 에이전트를 만드는 코딩 에이전트의 능력을 평가합니다. 업무 기록과 고객 요구사항, 운영 API, 기존 코드베이스, 예산을 받아 상담 에이전트를 설계·구현하고, 그 결과물이 비공개 시뮬레이션 고객을 상대로 데이터베이스 상태와 소통 기준을 얼마나 통과하는지를 봅니다.

예산 제약은 어떻게 작동하나요?

과제마다 대화당 크레딧 예산이 있고(0.022~5.6), 쉬운 과제는 Claude Opus 5 같은 프런티어 모델을 쓸 수 있지만 어려운 과제는 Claude Haiku 4.5처럼 저렴한 모델을 쓰도록 강제합니다. 약 20개 모델 명단에서 토큰 구간별 정액 요금으로 고르게 돼 있습니다.

벤치마크를 내려받을 수 있나요?

arXiv 논문 초록과 본문에는 공개 저장소 링크가 없습니다. 이 글 작성 시점에 공개 여부는 확인되지 않았습니다.

τ^τ-Bench — 에이전트가 만든 상담봇, 합격률 23.9%

Sierra·Princeton 연구진이 코딩 에이전트에게 실제 업무 기록·API·예산을 주고 고객 상담 에이전트를 처음부터 만들게 한 벤치마크입니다. 최고 조합도 23.9%에 그친 이유를 정리했습니다.

AI피셜 편집부2026년 9월 7일· 2분 읽기원문 보기 ↗

칸막이 책상과 모니터가 줄지어 놓인 대형 콜센터 내부 — 사진: Petiatil (talk) on Wikipedia-en. · Public domain

핵심 답변

Sierra와 Princeton 연구진이 2026년 9월 4일 arXiv에 올린 τ^τ-Bench는 코딩 에이전트에게 업무 기록, 고객 요구사항, 운영 API, 기존 코드, 서빙 예산을 주고 항공·소매·통신·은행 4개 영역의 고객 상담 에이전트를 처음부터 구축하게 한 뒤 시뮬레이션 사용자로 평가하는 벤치마크입니다. 가장 좋은 조합인 Claude Opus 5 + Claude Code도 53개 과제에서 23.9%만 통과했고, 벤치마크 저자가 정답 자료를 보고 만든 전문가 기준은 82.2%였습니다.

TL;DR세 줄 요약

53개 공개 과제(항공 6·소매 6·통신 6·은행 35)와 같은 수의 비공개 과제로 구성되며, 증거 자료는 텍스트만 550만 토큰이 넘습니다.
Claude Opus 5 + Claude Code 23.9%, GPT-5.6-sol + Codex 22.0%, Kimi K3 + OpenCode 17.9% 순이었고 전문가 기준은 82.2%입니다.
최고 조합조차 은행 영역은 5.9%에 그쳤습니다. 소매 72.8%, 항공 55.9%, 통신 48.2%와 대비됩니다.
실패 원인은 자료를 얕게 훑고, 고객과 거의 소통하지 않으며, 처음 돌아가는 설계를 그대로 제출하는 세 가지로 요약됩니다.

핵심 사실

논문: arXiv 2609.046112026-09-04, Sierra · Princeton
과제 수: 53개 공개 + 53개 비공개항공 6 · 소매 6 · 통신 6 · 은행 35
최고 성적: 23.9%Claude Opus 5 + Claude Code
전문가 기준: 82.2%과제별 41.3~100%
서빙 예산: 대화당 0.022~5.6 크레딧영역·난이도별
평가 대화: 3,365회시뮬레이션 사용자 상대

무슨 일인가요

Sierra와 Princeton 소속 연구진(Quan Shi, Keshav Dhandhania, Karthik Narasimhan, Victor Barres)이 9월 4일 arXiv에 올린 τ^τ-Bench는 코딩 에이전트가 고객 상담 에이전트를 "처음부터 끝까지" 만들 수 있는지를 재는 환경입니다. 논문 개발자 역할의 에이전트는 실제 업무 기록, 고객의 요구사항, 운영 API, 기존 코드베이스, 예산 제약을 받아 항공·소매·통신·은행 4개 영역의 에이전트를 구축합니다. 논문

프린스턴대학교 나소홀 건물 — 이 벤치마크는 Sierra와 프린스턴대 연구진이 함께 만들었습니다. 사진은 프린스턴대 나소홀입니다.· 사진: Dmadeo · CC BY-SA 3.0

과제는 공개 53개(항공 6, 소매 6, 통신 6, 은행 35)와 비공개 53개로 구성됩니다. 논문 자료 규모가 만만치 않습니다. 은행 영역만 1,637개 증거 자료에 2,969개 원자적 사실이 흩어져 있고, 항공은 568개 자료에 85개, 소매는 314개 자료에 119개, 통신은 349개 자료에 155개 사실이며 텍스트만 550만 토큰이 넘고 스크린샷·PDF·녹음도 포함됩니다. 논문 과제마다 대화당 0.022~5.6 크레딧의 서빙 예산이 붙어, 쉬운 과제는 Claude Opus 5를 쓸 수 있지만 어려운 과제는 Claude Haiku 4.5 같은 저렴한 모델을 쓰도록 몰아갑니다. 논문

τ^τ-Bench 한 과제의 흐름

자료 수령
업무 기록·API·코드·예산
요구사항 확인
시뮬레이션 고객과 대화
설계·구현
모델 선택과 아키텍처
제출
여기서 평가 종료
서빙 평가
비공개 시뮬레이션 사용자 3,365회 대화

평가는 만들어진 에이전트를 비공개 시뮬레이션 사용자에게 붙여 진행하며, 데이터베이스 상태가 맞고 소통이 적절해야 통과로 칩니다. 소통은 루브릭 기반 심사 모델이 채점합니다. 논문

결과는 어땠나요

τ^τ-Bench 통과율 (%)

τ^τ-Bench 통과율 (%)
항목	통과율
전문가 기준	82.2%
Opus 5 + Claude Code	23.9%
GPT-5.6-sol + Codex	22.0%
GPT-5.6-terra + Codex	18.0%
Kimi K3 + OpenCode	17.9%
Kimi K3 + Kimi Code	16.1%
Sonnet 5 + Claude Code	14.9%

출처: arXiv 2609.04611

여섯 조합 가운데 가장 높은 Claude Opus 5 + Claude Code가 23.9%였고, 벤치마크 저자가 정답 자료를 보고 직접 만든 전문가 기준은 82.2%(과제별 41.3~100%)였습니다. 논문 이 최고 조합의 평균 구축 시간은 216.3분, 구축 비용은 $42.0, 서빙 비용은 예산의 0.58배였습니다. 논문

영역	Opus 5 + Claude Code 통과율
소매	72.8%
항공	55.9%
통신	48.2%
은행	5.9%

영역별 격차가 큽니다. 과제 35개로 가장 많고 자료도 가장 방대한 은행 영역에서 최고 조합이 5.9%에 그쳤습니다. 논문 저자들이 꼽은 실패 원인은 세 가지입니다. 기록을 깊이 이해하는 대신 얕은 질의를 던지고, 고객에게 거의 아무것도 묻거나 알리지 않으며, 에이전트 아키텍처와 서빙 지출을 거의 실험하지 않은 채 처음 돌아가는 설계를 그대로 제출한다는 것입니다. 논문

무엇을 보면 되나요

이 벤치마크는 코딩 벤치마크에서 흔히 보는 "함수 하나 고치기"가 아니라, 자료를 읽고 고객과 이야기하고 예산 안에서 설계를 고르는 일을 한 덩어리로 묻습니다. 그래서 같은 모델이라도 하네스에 따라 점수가 달랐고(Kimi K3는 OpenCode 17.9%, Kimi Code 16.1%), 모델 계열보다 하네스와 작업 습관이 결과에 개입하는 구조입니다. 논문

자주 묻는 질문

무엇을 평가하는 벤치마크인가요?: 이미 만들어진 상담 에이전트의 응대 능력이 아니라, 그런 에이전트를 만드는 코딩 에이전트의 능력을 평가합니다. 업무 기록과 고객 요구사항, 운영 API, 기존 코드베이스, 예산을 받아 상담 에이전트를 설계·구현하고, 그 결과물이 비공개 시뮬레이션 고객을 상대로 데이터베이스 상태와 소통 기준을 얼마나 통과하는지를 봅니다.
예산 제약은 어떻게 작동하나요?: 과제마다 대화당 크레딧 예산이 있고(0.022~5.6), 쉬운 과제는 Claude Opus 5 같은 프런티어 모델을 쓸 수 있지만 어려운 과제는 Claude Haiku 4.5처럼 저렴한 모델을 쓰도록 강제합니다. 약 20개 모델 명단에서 토큰 구간별 정액 요금으로 고르게 돼 있습니다.
벤치마크를 내려받을 수 있나요?: arXiv 논문 초록과 본문에는 공개 저장소 링크가 없습니다. 이 글 작성 시점에 공개 여부는 확인되지 않았습니다.

출처 · 2건

1τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction (arXiv 2609.04611)논문arxiv.org/abs/2609.04611
2같은 논문 HTML 전문 (arXiv)논문arxiv.org/html/2609.04611

이 글의 마크다운 원문: /posts/tau-tau-bench-agent-construction/md/ · 인용 시 출처를 “AI피셜”으로 표기해 주세요.

이 글이 도움이 됐다면 동료에게 보내 주세요.

같은 태그·카테고리의 글을 골랐습니다.

논문 한입2026.09.04· 3분

AI가 IOI 2026 최고 인간 점수를 넘었다 — 535.4점

NVIDIA 연구진의 Nemotron-3-Ultra-CC가 IOI 2026 문제를 인간과 같은 제한 아래 풀어 535.4/600점을 받았습니다. 최고 인간 점수 498.27을 넘겼다는 주장과 한계를 정리했습니다.

#논문
#코딩 에이전트
#벤치마크

논문 한입2026.09.08· 2분

프런티어 모델 22종, 화학 벤치마크 답을 '외워서' 냈다

독일 연구진이 LLM 22종을 분자 물성 회귀 벤치마크 12개에서 자릿수 단위로 검사해, 5개 데이터셋에서 모델 절반 이상이 공개된 값을 그대로 꺼내 쓴다는 것을 보였습니다. 방법과 한계를 정리했습니다.

#논문
#벤치마크
#평가

논문 한입2026.09.07· 2분

CUA-Universe — CLI 섞은 9B, OSWorld 40.2%

상하이교통대·저장대 연구진이 데스크톱 앱 16종을 GUI+명령줄 혼합 환경으로 만들고 9B 모델을 학습해 OSWorld 성공률을 23.4%에서 40.2%로 올렸습니다. 방법과 수치를 정리했습니다.

#논문
#에이전트
#컴퓨터 사용