# 레이어 드롭아웃 재조명 — 훈련 FLOPs 25% 절감, 추론 1.5배

> Cerebras 연구진이 ICML 2026 논문 확장판에서 2,400회 넘는 훈련 실험으로 레이어 드롭아웃의 최적 배치·스케줄을 정리했습니다. 같은 손실에 FLOPs 25% 절감, 추론 최대 1.5배의 조건을 봅니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/dont-drop-dropout-layer-sparsity/)
- 발행: 2026-09-08
- 카테고리: 논문 한입 · 태그: 논문, LLM 훈련, 추론, Cerebras, ICML 2026

## 핵심 답변

Cerebras Systems 연구진은 2026년 9월 4일 arXiv에 올린 ICML 2026 논문 확장판에서 최근 LLM 훈련 레시피에서 사라진 레이어 드롭아웃(확률적 깊이)이 여전히 유효하다고 주장했습니다. 271M~8.2B 파라미터, 최대 160B 토큰 규모의 훈련 실행 2,400회 이상에서 뒤쪽 레이어일수록 높게, 훈련이 진행될수록 낮게 드롭아웃을 주면 같은 계산량에서 더 낮은 손실을 얻고, 같은 손실 기준으로 훈련 FLOPs를 최대 25% 아끼며, 조기 종료·레이어 건너뛰기·자기 추측 디코딩으로 추론을 최대 1.5배 빠르게 할 수 있었습니다.

## 요약

- 실험 규모는 훈련 실행 2,400회 이상, 모델 271M~8.2B, 최대 160B 토큰이며 모두 Cerebras CS-3 시스템에서 돌렸습니다.
- 핵심 처방은 레이어가 깊어질수록 드롭아웃을 높이고(ILD) 훈련이 진행될수록 낮추는(DTS) 것, 그리고 배치가 아니라 시퀀스 단위로 트랜스포머 레이어 전체를 끄는 것입니다.
- 같은 훈련 FLOPs에서 기준선보다 낮은 손실을 냈고, FLOPs를 5% 아낀 설정에서도 밀집 기준선보다 낮은 검증 손실을 기록했습니다.
- 훈련 때 레이어가 빠지는 데 익숙해진 모델은 조기 종료·중간 레이어 건너뛰기·자기 추측 디코딩이 잘 먹혀, 3.9B 모델에서 자기 추측 디코딩 1.54배 속도 향상을 냈습니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 논문 | arXiv 2609.05275 (2026-09-04, ICML 2026 확장판) |
| 소속 | Cerebras Systems (MBZUAI 소속 공저자 포함) |
| 실험 규모 | 훈련 실행 2,400회 이상 (271M~8.2B, 최대 160B 토큰, CS-3) |
| 훈련 FLOPs 절감 | 최대 25% (동등한 검증 손실 기준) |
| 추론 속도 | 최대 1.5배 (3.9B 자기 추측 디코딩 1.54배) |
| 최대 드롭아웃 비율 | 0.1~0.99 (큰 모델일수록 0.8~0.99의 공격적 설정) |


## 무슨 일인가요

Cerebras Systems 연구진(Mostafa Elhoushi, Alex Pretko, Nolan Dey 등 9명)이 9월 4일 arXiv에 올린 "Don't Drop Dropout"은 ICML 2026에 실린 논문의 확장판입니다.  주장은 제목 그대로입니다. 훈련 중 트랜스포머 레이어를 통째로 건너뛰는 레이어 드롭아웃(확률적 깊이)이 최근 LLM 훈련 레시피에서 사라졌지만, 제대로 쓰면 현대 LLM 훈련에도 상당한 이득을 준다는 것입니다. 

근거는 실험 규모에서 나옵니다. 주 실험은 271M~3.9B 파라미터에 최대 116B 토큰, 여기에 8.2B까지 키운 대형 실행을 더해 훈련 실행 2,400회 이상을 돌렸고 초록 기준 데이터는 최대 160B 토큰이며, 모든 사전 훈련은 Cerebras CS-3 시스템에서 진행됐습니다. 





## 무엇을 찾았나요

같은 훈련 계산량에서 레이어 드롭아웃을 쓴 모델이 기준선보다 낮은 손실에 도달했고, 비슷한 검증 손실을 목표로 하면 훈련 FLOPs를 최대 25% 아낄 수 있었습니다.  FLOPs를 5%만 아낀 최적 설정에서는 밀집 기준선보다 오히려 낮은 검증 손실을 기록했습니다.  시험한 최대 드롭아웃 비율은 모델 크기에 따라 0.1~0.99였고, 큰 모델에는 0.8~0.99의 공격적인 비율이 적용됐습니다. 

| 항목 | 논문 기재값 |
| --- | --- |
| 훈련 실행 수 | 2,400회 이상 |
| 모델 크기 | 271M ~ 8.2B |
| 훈련 FLOPs 절감 | 최대 25% (동등 손실 기준) |
| 추론 속도 향상 | 최대 1.5배 |
| 3.9B 자기 추측 디코딩 | 1.54배 (Table 5) |

추론 쪽 이득은 훈련 방식의 부산물입니다. 레이어가 빠지는 상황에 익숙해진 모델은 조기 종료, 중간 레이어 건너뛰기, 자기 추측 디코딩 같은 사후 최적화를 정확도 손실 거의 없이 받아들여 최대 1.5배 속도 향상을 냈고, 3.9B 모델의 자기 추측 디코딩은 1.54배였습니다.  하이퍼파라미터는 작거나 중간 수준의 드롭아웃에서는 최적 학습률과 가중치 감쇠가 거의 그대로였지만, 공격적으로 높은 드롭아웃에서는 둘 다 낮아졌습니다. 


저자들은 여섯 가지 한계를 밝혔습니다. 공격적인 드롭아웃에서는 하이퍼파라미터 전이가 깨지고, 트랜스포머 레이어 수준만 다뤄 뉴런·어텐션 헤드 단위는 보지 않았으며, Mixture-of-Depths 같은 학습형 깊이 최적화와 비교하지 않았고, 8.2B까지만 확인해 MoE나 비트랜스포머 구조와의 상호작용은 미지수이며, 최대 드롭아웃 비율을 예측하는 스케일링 법칙과 토큰 대비 파라미터 비율이 커질 때의 추론 이득 변화도 아직 정량화하지 못했다고 적었습니다. 


## 무엇을 보면 되나요

이 논문은 새 아키텍처가 아니라 "버려진 정규화 기법을 어떻게 다시 쓸 것인가"에 대한 실험 보고서입니다. 하드웨어가 Cerebras CS-3 하나라는 점, 그리고 8.2B 이하 밀집 트랜스포머에서만 확인됐다는 점을 감안하고 읽으셔야 합니다. 


훈련 FLOPs 25%라는 숫자보다 흥미로운 것은 "훈련 때 레이어를 끄면 추론 때 레이어를 건너뛸 수 있다"는 연결입니다. 배포 비용이 훈련 비용을 넘어서는 시대에는 추론 시 유연하게 깊이를 줄일 수 있는 모델이 더 값어치가 있고, 이 논문은 그 성질을 훈련 레시피 한 줄로 얻을 수 있다고 말합니다. 다만 MoE와 100B 이상 규모에서 같은 결과가 나오는지는 저자들도 확인하지 못했으므로, 프런티어 규모의 레시피 변경 근거로 삼기에는 이릅니다. 



## 자주 묻는 질문

**Q. 레이어 드롭아웃이 무엇인가요?**

훈련 중 트랜스포머 레이어 전체를 확률적으로 건너뛰는 정규화 기법으로 '확률적 깊이'라고도 부릅니다. 논문은 이 기법이 최근 LLM 훈련 레시피에서 사라졌지만, 배치가 아니라 시퀀스 단위로 레이어 수준에서 적용하고 분포와 스케줄을 잘 잡으면 현대 LLM에도 이득이 크다고 주장합니다.

**Q. 어떤 설정이 가장 좋았나요?**

뒤쪽 레이어일수록 드롭아웃 비율을 높이는 증가형 레이어 분포(ILD)와 훈련이 진행될수록 비율을 낮추는 감소형 시간 스케줄(DTS)의 조합입니다. 훈련 시에는 남는 레이어 출력을 레이어 밀도의 역수로 키우고 평가 시에는 1로 두는 스케일링을 씁니다.

**Q. 추론이 빨라지는 이유는 무엇인가요?**

훈련 중 레이어가 빠지는 상황을 겪은 모델은 추론 때 일부 레이어를 건너뛰어도 정확도 손실이 작습니다. 논문은 조기 종료, 중간 레이어 건너뛰기, 자기 추측 디코딩 세 방법으로 정확도 손실을 거의 없이 최대 1.5배 속도 향상을 보고했습니다.

## 출처

1. [Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference (arXiv 2609.05275)](https://arxiv.org/abs/2609.05275) (paper)
2. [같은 논문 HTML 전문 (arXiv)](https://arxiv.org/html/2609.05275) (paper)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._