논문 한입· 2분
레이어 드롭아웃 재조명 — 훈련 FLOPs 25% 절감, 추론 1.5배
Cerebras 연구진이 ICML 2026 논문 확장판에서 2,400회 넘는 훈련 실험으로 레이어 드롭아웃의 최적 배치·스케줄을 정리했습니다. 같은 손실에 FLOPs 25% 절감, 추론 최대 1.5배의 조건을 봅니다.
- #논문
- #LLM 훈련
- #추론
#LLM 훈련
1편
1편
Cerebras 연구진이 ICML 2026 논문 확장판에서 2,400회 넘는 훈련 실험으로 레이어 드롭아웃의 최적 배치·스케줄을 정리했습니다. 같은 손실에 FLOPs 25% 절감, 추론 최대 1.5배의 조건을 봅니다.