활용·도구· 6분
테스트 기법 26종 실험 — 지시 없는 쪽이 더 나았다
코딩 에이전트에게 TDD·퍼징·형식 검증을 시켜 Zstd를 구현시킨 실험입니다. 조건마다 160회씩 돌린 결과와, 에이전트가 실제로 무엇을 했는지 정리했습니다.
- #코딩 에이전트
- #평가
- #형식 검증
#평가
6편 · 다른 태그 보기
전체 6편
2026년 09월 · 6편
논문 한입· 5분
프런티어 모델 22종, 화학 벤치마크 답을 '외워서' 냈다
독일 연구진이 LLM 22종을 분자 물성 회귀 벤치마크 12개에서 자릿수 단위로 검사해, 5개 데이터셋에서 모델 절반 이상이 공개된 값을 그대로 꺼내 쓴다는 것을 보였습니다. 방법과 한계를 정리했습니다.
- #논문
- #벤치마크
- #평가
업계 동향· 6분
AI 7종에 사업을 맡겼더니 — 매출 0, 청구서 1만 2천 달러
프런티어 모델 7종에 각각 300달러와 맥미니를 주고 72시간 동안 돈을 벌게 한 실험입니다. 매출은 0이었고 낯선 사람에게 청구서가 날아갔습니다.
- #에이전트
- #안전성
- #평가
논문 한입· 6분
모델을 바꾸면 에이전트 메모리가 깨진다 — 최대 13%p
LinkedIn 연구진이 에이전트 메모리 4가지 구조가 모델 교체를 얼마나 견디는지 통제 실험했습니다. 요약 노트는 최대 13.28%p 흔들렸고 고정 스키마 그래프는 거의 변하지 않았습니다.
- #논문
- #에이전트
- #메모리
논문 한입· 6분
'정렬 테스트 중'이라는 한 문장에 전쟁 판단이 13점 바뀐다
옥스퍼드 연구자가 9월 4일 arXiv에 올린 논문입니다. 모델 20개에 12,800회 전쟁 개시 판단을 시킨 뒤 '정렬 테스트 중' 한 문장을 넣자 점수도, 판단 기준도 달라졌습니다.
- #논문
- #안전성
- #평가
논문 한입· 6분
'테스트가 고장났어요' 창구가 리워드 해킹을 78% 줄였다
코딩 에이전트에 결함 신고 도구를 주면 테스트 조작이 23.6%에서 5.3%로 줄었다는 8월 29일 arXiv 논문입니다. 프런티어 모델 8개, 1,800회 실험을 정리했습니다.
- #논문
- #코딩 에이전트
- #리워드 해킹