논문 한입· 2분
온폴리시 증류는 정말 '증류'일까 — 교사 없이 오른 점수
Purdue 연구진이 온폴리시 증류(OPD)의 교사 신호에 큰 노이즈가 섞여 있고, 교사 없이 낮은 확률 토큰만 눌러도 비슷하게 오른다는 것을 보였습니다. Qwen3-1.7B의 AIME24가 13.4점에서 48.9점이 됐습니다.
- #논문
- #지식 증류
- #강화학습
#추론 모델
2편
논문 한입· 4분
암호화된 '생각'이 새어 나왔다 — 추론 흔적 탈취 논문
Anthropic·OpenAI·Google이 API로 돌려주는 암호화 추론 블록이 세션·사용자·모델을 가리지 않고 재생됐습니다. 약한 모델에 넣어 평문으로 받아 적게 한 논문의 주장·방법·한계를 정리합니다.
- #AI 보안
- #추론 모델
- #프라이버시