무슨 일인가요
댄 루가 코딩 에이전트에게 Rust로 Zstd를 구현하게 하면서 프롬프트 끝에 "테스트 주도 개발을 쓰세요", "Lean 4를 쓰세요", "QuickCheck을 쓰세요" 같은 한 줄을 붙였습니다. 조건은 26개, 여기에 스킬 4개를 더했고, 모델은 codex의 GPT-5.6 Sol입니다. 노력 수준 medium과 xhigh에서 각각 80회씩, 조건마다 160회를 돌렸습니다. 지표는 숨겨진 테스트를 100% 통과한 실행의 비율입니다. 데이터
결과부터 말하면 압도적으로 앞선 조건이 없었고, 아무 지시도 없는 기본 조건이 평균을 뚜렷하게 웃돌았습니다. 데이터 xhigh 에서는 퍼징·속성 기반 테스트 계열이 형식 검증 계열보다 평균적으로 조금 나았고, medium 에서는 순위가 더 뒤섞였습니다. 데이터
에이전트는 실제로 무엇을 했나요
| 조건 | 160회 중 실제로 벌어진 일 |
|---|---|
| 퍼징 | 구조적 무작위 입력을 만든 실행 10회, 그중 절반이 진짜 버그를 찾음 |
| QuickCheck | 63회는 속성을 딱 하나만 검사 |
| 차등 테스트 | 135회가 "차등 테스트라 부를 만한 것"을 했지만 두 구현을 만든 실행은 0회 |
| Verus | 테스트를 쓴 실행 89회로 기본 조건과 동일, 대신 나쁜 테스트가 더 많음 |
| TDD | 구현 전에 실패하는 테스트를 둔 실행 67회 (기본 조건은 0회) |
TDD 조건은 형식만 보면 제대로 지켜졌습니다. 실질 구현 전에 실패하는 테스트를 만든 실행이 160회 중 67회로, 기본 조건의 0회와 대비됩니다. 그런데도 정확도는 떨어졌습니다. 데이터 차등 테스트 조건은 전체에서 세 번째로 나쁜 성적이었는데, 두 구현을 만들어 서로 대조한 실행이 하나도 없었습니다. 데이터 저자의 표현대로 에이전트는 평소 쓰던 테스트를 다른 기법의 껍데기 안에 넣거나, 기법을 표면만 흉내 내는 쪽으로 갔습니다. 데이터
10 / 160
퍼징 조건에서 구조적 무작위 입력을 실제로 만든 실행
그중 절반이 진짜 버그를 찾았고, 일부는 사소하지 않은 사례였습니다
스킬은 도움이 됐나요
에이전트에게 관련 스킬을 찾아보라고 해서 상위에 나온 스킬들을 붙여 봤는데, 정확도는 나아지지 않고 비용만 늘었습니다. 가장 큰 스킬은 본문 34,000자에 Rust 참고 문서 45,000자가 딸려 2만 토큰을 넘겼고, 실행 시작 때 로드된 뒤 이후 동작마다 다시 읽혔습니다. 데이터 반면 저자가 2분 만에 쓴 짧은 스킬은 기본 동작에서 벗어나도록 밀어 주는 방식이었고 가장 좋은 축에 들었습니다. 데이터
| 항목 | 비용 증가 |
|---|---|
| medium | 26% |
| xhigh | 41% |
출처: danluu.com/agentic-testing
스킬은 붙여 놓아도 항상 쓰이지 않습니다. 한 스킬은 160회 중 157회 사용됐지만, 다른 스킬은 실제로 문서를 열어 읽은 실행이 108회에 그쳤습니다. 데이터
무엇을 보면 되나요
오늘 바꿀 수 있는 것
기법 이름 대신 구조를 주세요
'속성 기반 테스트를 쓰세요' 같은 한 줄은 거의 효과가 없습니다
무작위 입력을 만들라고만 하면 대부분 흥미롭지 않은 입력을 만들고 크래시만 확인합니다
테스트·분류 구조를 사람이 먼저 잡고 에이전트가 덧붙이게 하는 편이 낫습니다
긴 스킬 문서는 정확도를 올리지 못한 채 토큰만 먹습니다
26개 조건 × 160회 실행에서 관찰된 경향입니다
같이 돌린 IMAP RFC 구현 평가에서는 완벽 점수를 낸 실행이 딱 하나뿐이었습니다. 데이터
