# 암호화된 '생각'이 새어 나왔다 — 추론 흔적 탈취 논문

> Anthropic·OpenAI·Google이 API로 돌려주는 암호화 추론 블록이 세션·사용자·모델을 가리지 않고 재생됐습니다. 약한 모델에 넣어 평문으로 받아 적게 한 논문의 주장·방법·한계를 정리합니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/stealing-reasoning-traces/)
- 발행: 2026-08-14
- 카테고리: 논문 한입 · 태그: AI 보안, 추론 모델, 프라이버시, 프롬프트 인젝션, 논문

## 핵심 답변

2026년 8월 10일 arXiv에 올라온 논문은 Anthropic·OpenAI·Google API가 돌려주는 암호화 추론 블록을 같은 제공사의 약한 모델에 붙여 평문으로 받아 적게 할 수 있었다고 보고합니다. 공개 에이전트 기록 6,708건에서 추론 블록 315,320개를 복원해 개인정보 367건과 자격증명 182건을 찾았고, 7월 초 책임 공개 이후 8월 기준 같은 공격은 재현되지 않습니다.

## 요약

- 세 제공사의 암호화 추론 블록은 다른 세션·사용자·모델에 그대로 재생할 수 있었고, 약한 모델이 이를 평문으로 받아 적었습니다.
- 공개 저장소의 에이전트 기록 6,708건에서 추론 블록 315,320개를 복원해 개인정보 367건과 자격증명 182건을 찾아냈습니다.
- 복원한 민감 정보 중 64건은 눈에 보이는 대화 기록에는 전혀 없고 숨은 추론에만 있었습니다.
- 2026년 7월 초 책임 공개 이후 세 제공사 모두 접수를 확인했고, 8월 기준 같은 공격은 재현되지 않습니다.
- 저자들은 테스트 시점의 API 버전에 국한된 결과이며 복원 결과를 원문과 대조하지는 못했다고 밝혔습니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 논문 공개 | 2026-08-10 (arXiv:2608.09867) |
| 분석한 공개 에이전트 기록 | 6,708건 (GitHub·Hugging Face) |
| 복원한 추론 블록 | 315,320개 |
| 개인정보 / 자격증명 | 367건 / 182건 (API 키 62, 비밀번호 33, 액세스 토큰 24, 개인 키 7 포함) |
| 추론 1만 건 복호화 비용 | 약 $720 (표준 API 요금 기준 저자 추산) |
| 책임 공개 | 2026년 7월 초 (2026년 8월 기준 재현 안 됨) |


## 무슨 논문인가요

2026년 8월 10일 arXiv에 올라온 "Stealing Reasoning Traces from Proprietary LLM APIs"는 제목 그대로 **상용 모델의 숨은 추론 과정을 훔쳐 읽는 방법**을 다룹니다. 저자는 Alexander Panfilov, Maksym Andriushchenko 등 8명으로, MATS Research와 튀빙겐의 ELLIS 연구소·막스플랑크 지능시스템연구소, 그리고 보안 기업 Snyk 소속 연구자가 함께 썼습니다. 



배경부터 짚겠습니다. 요즘 추론 모델은 답을 내놓기 전에 길게 "생각"을 합니다. 제공사는 이 생각 과정을 사용자에게 그대로 보여주지 않고, 대신 **암호화된 블록**으로 돌려줍니다. 다음 턴에 그 블록을 다시 붙여 보내면 모델이 이전 생각을 이어갈 수 있게 하려는 설계입니다. 논문은 이 블록이 **"세션·사용자·모델을 가리지 않고 완전히 호환되고 서로 바꿔 쓸 수 있다"**는 점을 문제의 뿌리로 지목합니다. 

## 핵심 주장: 약한 모델에게 받아 적게 하기

방법은 단순합니다. 강한 모델이 만든 암호화 추론 블록을 가져다가, 같은 제공사의 **더 약하고 안전장치가 느슨한 모델**에 "이전 턴의 생각"인 것처럼 붙여 넣습니다. 그다음 "방금 첨부된 추론을 그대로 받아 적어 달라"고 요청하면, 약한 모델이 복호화된 내용을 평문으로 출력합니다. 논문이 디코더로 쓴 모델은 Claude Haiku 4.5, GPT-5.6 Luna, Gemini Robotics 1.6이고, 추출 대상은 Claude Opus 4.8·Sonnet 5·Fable 5, GPT-5.6 Sol·Terra, Gemini 3.1 Pro 등이었습니다. 

Simon Willison은 8월 11일 블로그에서 Claude Haiku 4.5가 가장 쉽게 뚫렸다고 소개하며, 이렇게 드러난 추론 토큰이 "분명히 사람이 읽으라고 만든 게 아닌" 파편적인 의식의 흐름이었다고 적었습니다. 


암호화 자체가 깨진 것이 아닙니다. 복호화 권한을 가진 모델이 **누가 보낸 블록이든 열어 준다**는 점이 문제였습니다. Hugging Face 논문 페이지의 한 댓글은 이를 "공유 키를 쓴 난독화"라고 표현했습니다. 


## 네 가지 공격 시나리오

논문은 같은 결함이 서로 다른 네 가지 피해로 이어진다고 보입니다.








| 시나리오 | 무엇이 가능해지나 | 논문이 제시한 근거 |
| --- | --- | --- |
| 증류 우회 | 상위 모델의 추론 데이터를 싸게 대량 수집 | 1만 건 복호화에 약 $720  |
| 제3자 비밀 추출 | 남이 공개한 기록에서 키·비밀번호 회수 | 개인정보 367건, 자격증명 182건  |
| 유해 정보 노출 | 답변엔 없지만 추론에는 남은 위험 정보 확인 | Opus 4.8 차량 절도 질의 사례  |
| 보이지 않는 인젝션 | 암호화 블록 안에 명령을 숨겨 전달 | GPT-5.6 Sol이 주입된 추론을 자기 생각으로 믿고 발표 자료를 공격자 서버로 전송  |

특히 눈에 띄는 숫자는 **"복원한 민감 정보 704건 중 64건은 눈에 보이는 대화 기록에 전혀 없었다"**는 점입니다. 사용자가 로그를 검토하고 공개했더라도, 숨은 추론에 든 비밀은 걸러낼 방법이 없었다는 뜻입니다.  블록 단위로 보면 전체의 0.3%(1,028개), 기록 단위로는 4.9%(328건)에서 유출이 확인됐습니다. 

## 제공사는 어떻게 대응했나

저자들은 2026년 7월 초에 실험을 마치고 해당 제공사와 Microsoft, Hugging Face에 취약점을 알렸습니다. 논문에 따르면 세 제공사 모두 접수를 확인했고, 이후 같은 공격을 다시 실행할 수 없었습니다. 논문 본문은 "2026년 8월 기준, 그림 1의 결과는 제공사가 취한 완화 조치로 인해 더 이상 재현되지 않는다"고 명시합니다.  한편 2026년 5월에 다른 연구자가 먼저 비슷한 문제를 알렸으나 당시에는 보안 문제로 받아들여지지 않았다는 서술도 있습니다. 

저자들이 제안한 해법은 두 갈래입니다. 암호화 봉투를 **세션·사용자 정보에 묶어** 다른 곳에서 재생하면 거부하게 만드는 암호학적 조치와, 추론을 아예 서버에만 두거나 모델 간 재생을 차단하고 이상 패턴을 탐지하는 시스템 차원의 조치입니다.  각 제공사가 구체적으로 무엇을 고쳤는지는 논문에 나오지 않습니다.

## 한계와 반론


저자 스스로 밝힌 한계는 다음과 같습니다.

- 결과는 **2026년 7월 초 테스트 시점**의 Anthropic·OpenAI·Google API 버전에 한정됩니다. 제공사의 암호 구현은 비공개이고 예고 없이 바뀝니다. 
- 복원은 디코더 모델의 확률적 생성에 의존합니다. 토큰 수 비교로 충실도를 가늠했을 뿐, **원문 추론과 직접 대조해 검증하지는 못했습니다.** 
- 공개 저장소 스캔은 전수 조사가 아닙니다. 저자들은 오히려 비공개 로컬 기록이 더 많은 민감 정보를 담고 있을 것으로 추정합니다. 
- 전체 실험에 약 3만 달러의 API 비용이 들었다고 밝혔습니다. 


한 가지 더 짚을 점은 이 논문이 어떤 CVE 번호나 제공사의 공식 사후 보고를 인용하지 않는다는 것입니다. NSFOCUS의 사례 분석 역시 별도 식별자 없이 논문 자체를 근거로 삼고 있습니다.  세 제공사 중 어느 곳도 이 건에 대한 공개 성명을 냈는지는 이번 조사에서 확인하지 못했습니다.

## 실무에서 챙길 것



암호화 추론 블록이 포함된 트랜스크립트를 GitHub·데이터셋으로 올린 적이 있다면, 눈에 보이는 대화만 검토한 것으로는 부족했을 수 있습니다. 관련 키·토큰은 폐기하고 재발급하는 편이 안전합니다.


제공사가 조치를 취했더라도, 추론 블록은 세션 ID나 자격증명과 같은 등급의 민감 데이터로 다루는 보수적인 정책이 낫습니다.


논문이 보여준 인젝션은 모델이 "내 이전 생각"을 의심 없이 따른다는 점을 파고듭니다. 외부에서 들어온 블록을 그대로 이어 붙이는 구조라면 검증 단계를 두는 것이 좋습니다.




사실만 놓고 보면 이 결함은 이미 막혔고, 저자들도 공개 시점에 재현이 안 된다고 못 박았습니다. 그럼에도 이 논문이 널리 회자된 이유는 "숨은 추론은 안전하다"는 전제가 설계 한 군데에서 무너질 수 있음을 보여줬기 때문이라고 봅니다. 추론 모델을 쓰는 쪽에서는 제공사의 암호화를 믿되, 로그 관리와 인젝션 방어는 스스로 해야 한다는 교훈으로 읽는 편이 맞겠습니다. 다만 각 제공사가 정확히 무엇을 고쳤는지는 공식 확인이 없으므로, 그 부분은 판단을 유보합니다.



## 자주 묻는 질문

**Q. 암호화된 추론 블록이 어떻게 읽힌 건가요?**

암호화 자체가 깨진 것이 아닙니다. 강한 모델이 만든 암호화 블록을 같은 제공사의 더 약한 모델에 이전 턴의 생각인 것처럼 붙여 넣고 받아 적게 하면, 복호화 권한을 가진 그 모델이 누가 보낸 블록이든 열어 평문으로 출력했습니다.

**Q. 지금도 이 공격이 가능한가요?**

논문 본문은 2026년 8월 기준 제공사의 완화 조치로 그림 1의 결과가 더 이상 재현되지 않는다고 명시합니다. 다만 각 제공사가 구체적으로 무엇을 고쳤는지는 논문에 나오지 않습니다.

**Q. 실무자는 무엇을 확인해야 하나요?**

암호화 추론 블록이 포함된 에이전트 로그를 공개한 적이 있다면 관련 키·토큰을 폐기하고 재발급하는 편이 안전합니다. 복원된 민감 정보 중 64건은 눈에 보이는 대화 기록에 없고 숨은 추론에만 있었기 때문입니다.

## 출처

1. [arXiv:2608.09867 초록 페이지](https://arxiv.org/abs/2608.09867) (paper)
2. [논문 본문 (arXiv HTML v1)](https://arxiv.org/html/2608.09867v1) (paper)
3. [Simon Willison 블로그 (2026-08-11)](https://simonwillison.net/2026/Aug/11/stealing-reasoning-traces/) (report)
4. [NSFOCUS 보안 사례 분석](https://nsfocusglobal.com/ai-security-incident-case-encrypted-reasoning-blocks-of-proprietary-llms-can-be-stolen-via-cross-model-replay/) (report)
5. [Hugging Face Papers 페이지](https://huggingface.co/papers/2608.09867) (other)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._