무슨 논문인가요
2026년 8월 10일 arXiv에 올라온 "Stealing Reasoning Traces from Proprietary LLM APIs"는 제목 그대로 상용 모델의 숨은 추론 과정을 훔쳐 읽는 방법을 다룹니다. 저자는 Alexander Panfilov, Maksym Andriushchenko 등 8명으로, MATS Research와 튀빙겐의 ELLIS 연구소·막스플랑크 지능시스템연구소, 그리고 보안 기업 Snyk 소속 연구자가 함께 썼습니다. 공식
배경부터 짚겠습니다. 요즘 추론 모델은 답을 내놓기 전에 길게 "생각"을 합니다. 제공사는 이 생각 과정을 사용자에게 그대로 보여주지 않고, 대신 암호화된 블록으로 돌려줍니다. 다음 턴에 그 블록을 다시 붙여 보내면 모델이 이전 생각을 이어갈 수 있게 하려는 설계입니다. 논문은 이 블록이 **"세션·사용자·모델을 가리지 않고 완전히 호환되고 서로 바꿔 쓸 수 있다"**는 점을 문제의 뿌리로 지목합니다. 공식
핵심 주장: 약한 모델에게 받아 적게 하기
방법은 단순합니다. 강한 모델이 만든 암호화 추론 블록을 가져다가, 같은 제공사의 더 약하고 안전장치가 느슨한 모델에 "이전 턴의 생각"인 것처럼 붙여 넣습니다. 그다음 "방금 첨부된 추론을 그대로 받아 적어 달라"고 요청하면, 약한 모델이 복호화된 내용을 평문으로 출력합니다. 논문이 디코더로 쓴 모델은 Claude Haiku 4.5, GPT-5.6 Luna, Gemini Robotics 1.6이고, 추출 대상은 Claude Opus 4.8·Sonnet 5·Fable 5, GPT-5.6 Sol·Terra, Gemini 3.1 Pro 등이었습니다. 공식
Simon Willison은 8월 11일 블로그에서 Claude Haiku 4.5가 가장 쉽게 뚫렸다고 소개하며, 이렇게 드러난 추론 토큰이 "분명히 사람이 읽으라고 만든 게 아닌" 파편적인 의식의 흐름이었다고 적었습니다. 보도
네 가지 공격 시나리오
논문은 같은 결함이 서로 다른 네 가지 피해로 이어진다고 보입니다.
6,708건
분석한 공개 에이전트 기록
GitHub·Hugging Face에 공개된 에이전트 궤적
315,320개
복원한 추론 블록
기록 안에 담긴 암호화 블록을 평문으로 되돌린 수
367 / 182
개인정보 / 자격증명 건수
API 키 62, 비밀번호 33, 액세스 토큰 24, 개인 키 7 포함
약 $720
추론 1만 건 복호화 비용
표준 API 요금 기준 저자 추산
| 시나리오 | 무엇이 가능해지나 | 논문이 제시한 근거 |
|---|---|---|
| 증류 우회 | 상위 모델의 추론 데이터를 싸게 대량 수집 | 1만 건 복호화에 약 $720 공식 |
| 제3자 비밀 추출 | 남이 공개한 기록에서 키·비밀번호 회수 | 개인정보 367건, 자격증명 182건 공식 |
| 유해 정보 노출 | 답변엔 없지만 추론에는 남은 위험 정보 확인 | Opus 4.8 차량 절도 질의 사례 공식 |
| 보이지 않는 인젝션 | 암호화 블록 안에 명령을 숨겨 전달 | GPT-5.6 Sol이 주입된 추론을 자기 생각으로 믿고 발표 자료를 공격자 서버로 전송 공식 |
특히 눈에 띄는 숫자는 **"복원한 민감 정보 704건 중 64건은 눈에 보이는 대화 기록에 전혀 없었다"**는 점입니다. 사용자가 로그를 검토하고 공개했더라도, 숨은 추론에 든 비밀은 걸러낼 방법이 없었다는 뜻입니다. 공식 블록 단위로 보면 전체의 0.3%(1,028개), 기록 단위로는 4.9%(328건)에서 유출이 확인됐습니다. 공식
제공사는 어떻게 대응했나
저자들은 2026년 7월 초에 실험을 마치고 해당 제공사와 Microsoft, Hugging Face에 취약점을 알렸습니다. 논문에 따르면 세 제공사 모두 접수를 확인했고, 이후 같은 공격을 다시 실행할 수 없었습니다. 논문 본문은 "2026년 8월 기준, 그림 1의 결과는 제공사가 취한 완화 조치로 인해 더 이상 재현되지 않는다"고 명시합니다. 공식 한편 2026년 5월에 다른 연구자가 먼저 비슷한 문제를 알렸으나 당시에는 보안 문제로 받아들여지지 않았다는 서술도 있습니다. 공식
저자들이 제안한 해법은 두 갈래입니다. 암호화 봉투를 세션·사용자 정보에 묶어 다른 곳에서 재생하면 거부하게 만드는 암호학적 조치와, 추론을 아예 서버에만 두거나 모델 간 재생을 차단하고 이상 패턴을 탐지하는 시스템 차원의 조치입니다. 공식 각 제공사가 구체적으로 무엇을 고쳤는지는 논문에 나오지 않습니다.
한계와 반론
한 가지 더 짚을 점은 이 논문이 어떤 CVE 번호나 제공사의 공식 사후 보고를 인용하지 않는다는 것입니다. NSFOCUS의 사례 분석 역시 별도 식별자 없이 논문 자체를 근거로 삼고 있습니다. 보도 세 제공사 중 어느 곳도 이 건에 대한 공개 성명을 냈는지는 이번 조사에서 확인하지 못했습니다.
실무에서 챙길 것
공개한 에이전트 로그를 다시 보세요
암호화 추론 블록이 포함된 트랜스크립트를 GitHub·데이터셋으로 올린 적이 있다면, 눈에 보이는 대화만 검토한 것으로는 부족했을 수 있습니다. 관련 키·토큰은 폐기하고 재발급하는 편이 안전합니다.
추론 블록을 '비밀'로 취급하세요
제공사가 조치를 취했더라도, 추론 블록은 세션 ID나 자격증명과 같은 등급의 민감 데이터로 다루는 보수적인 정책이 낫습니다.
에이전트 파이프라인의 신뢰 경계를 점검하세요
논문이 보여준 인젝션은 모델이 "내 이전 생각"을 의심 없이 따른다는 점을 파고듭니다. 외부에서 들어온 블록을 그대로 이어 붙이는 구조라면 검증 단계를 두는 것이 좋습니다.
