# 온폴리시 증류는 정말 '증류'일까 — 교사 없이 오른 점수

> Purdue 연구진이 온폴리시 증류(OPD)의 교사 신호에 큰 노이즈가 섞여 있고, 교사 없이 낮은 확률 토큰만 눌러도 비슷하게 오른다는 것을 보였습니다. Qwen3-1.7B의 AIME24가 13.4점에서 48.9점이 됐습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/on-policy-distillation-noisy-teacher/)
- 발행: 2026-09-02
- 카테고리: 논문 한입 · 태그: 논문, 지식 증류, 강화학습, 추론 모델, Qwen

## 핵심 답변

8월 31일 arXiv에 올라온 Purdue 대학 논문은 온폴리시 증류(OPD)에서 교사가 주는 토큰별 신호의 상당 부분이 노이즈이며, 그럼에도 학생 성능이 안정적으로 오르는 이유는 지식 전달이 아니라 낮은 확률 토큰의 억제 때문이라고 주장합니다. 교사 없이 엔트로피에 따라 음수 어드밴티지를 주는 OPSA는 Qwen3-1.7B의 AIME24 Avg@32를 13.44에서 48.85로 올려 OPD를 16.77점 앞섰습니다.

## 요약

- 교사 신호 분석: 정답 궤적의 20.4%가 답 토큰에 음수 어드밴티지를, 오답 궤적의 40.8%가 양수 어드밴티지를 받았고, 235B 교사에서는 노이즈가 50.6%까지 올라갔습니다.
- 노이즈 궤적만으로 학습해도 표준 OPD와 비슷한 성능이 나왔고, 교사 없이 확률 하위 20% 토큰에 -0.5를 주는 것만으로도 꾸준히 올랐습니다.
- 제안한 OPSA는 엔트로피가 높은 위치에 더 강한 음수 신호를 주어 꼬리 토큰을 누르고 확률 질량을 자주 나오는 토큰으로 옮깁니다.
- 저자가 밝힌 한계: 큰 모델로의 확장 검증 부족, 이미 분포가 뾰족한 후훈련 모델에는 이득이 줄 수 있음, 사고 모드 Pass@k 개선은 완만함.

## 핵심 사실

| 항목 | 값 |
|---|---|
| arXiv | 2608.31046 (2026-08-31 제출) |
| 저자 | Yi Ding, Ruqi Zhang (Purdue University 컴퓨터과학과) |
| 학생 모델 | Qwen3-1.7B · Qwen3-4B · Qwen3.5-9B |
| 교사 모델 | Qwen3-4B / 30B-A3B / 235B-A22B Instruct |
| AIME24 Avg@32 | 13.44 → 48.85 (Qwen3-1.7B, OPSA 적용) |
| 교사 노이즈 | 최대 50.6% (235B 교사 기준) |


## 무슨 일인가요

Purdue 대학의 Yi Ding과 Ruqi Zhang은 8월 31일 arXiv에 "온폴리시 증류는 정말 증류하는가"라는 제목의 논문을 올렸습니다.  Hugging Face Daily Papers에서는 9월 1일자 1위(추천 143)에 올랐습니다.  온폴리시 증류(OPD)는 학생 모델이 만든 답을 교사 모델이 토큰 단위로 채점해 학생을 갱신하는 방법으로, 최근 소형 추론 모델을 만들 때 널리 쓰입니다. 

논문은 교사 신호를 뜯어봤습니다. 정답 궤적의 20.4%는 답 토큰에 음수 어드밴티지를 받았고, 오답 궤적의 40.8%는 양수 어드밴티지를 받았습니다.  이 노이즈는 교사가 클수록 늘어, 235B 교사에서는 50.6%에 이르렀습니다.  그런데도 학생 성능은 안정적으로 올랐고, 노이즈가 섞인 궤적만으로 학습해도 표준 OPD와 비슷한 결과가 나왔습니다. 



## 오르는 이유는 '억제'였습니다

저자들은 개선이 지식 전달이 아니라 로그 확률이 낮은 토큰을 누르는 데 집중돼 있다고 분석합니다.  실제로 교사 없이 확률 하위 20% 토큰에 고정 음수 어드밴티지 -0.5만 주어도 학생의 avg@4 성능이 꾸준히 올라 OPD 이득의 대부분을 재현했습니다. 

이를 바탕으로 제안한 것이 온폴리시 자기 적응(OPSA)입니다. 엔트로피가 높은 위치에 더 강한 음수 신호를 주어 꼬리 토큰을 억제하고, 확률 질량을 자주 나오는 토큰으로 재분배합니다.  실험은 학생 Qwen3-1.7B·4B·Qwen3.5-9B, 교사 Qwen3-4B·30B-A3B·235B-A22B Instruct, 학습 데이터 DAPO-17k로 진행했고, AIME24·AIME25·HMMT25(수학), MBPP+(코드), GPQA-Diamond(일반 지식)로 평가했습니다. 





Qwen3-1.7B에서 OPSA는 AIME24 Avg@32를 13.44에서 48.85로 35.41점 올렸고 Pass@32는 40.00에서 80.00으로 두 배가 됐습니다.  초록은 AIME24 Avg@32에서 OPD를 16.77점 앞섰다고 밝힙니다. 


계산 자원 제약으로 큰 모델에서의 확장성은 충분히 검증하지 못했습니다. OPSA는 정책이 이미 가진 확률 질량을 재분배하는 방식이라, 분포가 뾰족한 강한 후훈련 모델에는 이득이 줄 수 있습니다. 사고 모드의 Pass@k 개선은 완만해서, 탐색의 경계를 크게 넓히지는 못할 수 있다고 적었습니다. 


## 무엇을 보면 되나요

- **소형 추론 모델을 만드는 팀**: 교사 추론 비용이 학습 비용의 큰 몫이라면, OPSA나 고정 음수 어드밴티지를 베이스라인으로 돌려 교사가 실제로 무엇을 더해 주는지 측정해 볼 만합니다.
- **OPD를 쓰는 팀**: 교사 채점의 노이즈율(정답에 음수, 오답에 양수)을 로그로 남겨 두면, 교사 크기를 키우는 결정이 정말 도움이 되는지 판단할 수 있습니다. 
- **지켜볼 것**: 더 큰 학생 모델과 다른 모델 계열에서의 재현, 이미 강하게 후훈련된 모델에서의 효과.


이 논문이 던지는 질문은 OPD에만 머물지 않습니다. 강화학습 계열 후훈련의 이득 가운데 얼마가 "무엇이 옳은가"를 배운 것이고 얼마가 "이상한 토큰을 내지 않게 된 것"인지, 우리는 생각보다 잘 모르고 있었다는 뜻입니다. 교사 없는 방법이 1.7B 모델에서 이만큼 통한다면, 작은 모델의 후훈련 예산 배분은 다시 계산해 볼 가치가 있습니다. 다만 저자 스스로 밝혔듯 이미 잘 다듬어진 모델에서는 같은 효과를 기대하기 어려우므로, 결과를 프런티어 모델로 일반화하는 것은 이릅니다. 



## 자주 묻는 질문

**Q. 온폴리시 증류(OPD)가 무엇인가요?**

학생 모델이 스스로 생성한 답을 교사 모델이 토큰 단위로 평가해, 교사가 보기에 좋은 토큰은 올리고 나쁜 토큰은 내리는 방식의 학습입니다. 교사의 지식이 학생에게 옮겨진다고 여겨져 왔는데, 이 논문은 그 전제를 실험으로 검증했습니다.

**Q. OPSA는 교사가 전혀 필요 없나요?**

그렇습니다. 학생 자신의 토큰 확률과 엔트로피만으로 음수 어드밴티지를 만들어 낮은 확률의 꼬리 토큰을 억제합니다. 다만 저자들은 이 방식이 기존 확률 질량을 재분배하는 것이라 이미 분포가 뾰족한 모델에는 효과가 줄 수 있다고 밝혔습니다.

**Q. 실무에서 무엇을 바꿔야 하나요?**

OPD로 작은 모델을 학습하고 있다면 교사 신호의 노이즈율을 먼저 재 보고, 교사 없는 OPSA나 고정 음수 어드밴티지를 베이스라인으로 비교해 볼 만합니다. 교사 추론 비용을 아낄 수 있는지 판단하는 근거가 됩니다.

## 출처

1. [Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement (arXiv 초록)](https://arxiv.org/abs/2608.31046) (paper)
2. [논문 전문 HTML (arXiv)](https://arxiv.org/html/2608.31046v1) (paper)
3. [Daily Papers 2026-09-01 (Hugging Face)](https://huggingface.co/papers/date/2026-09-01) (other)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._