
레이어 드롭아웃 재조명 — 훈련 FLOPs 25% 절감, 추론 1.5배
Cerebras 연구진이 ICML 2026 논문 확장판에서 2,400회 넘는 훈련 실험으로 레이어 드롭아웃의 최적 배치·스케줄을 정리했습니다. 같은 손실에 FLOPs 25% 절감, 추론 최대 1.5배의 조건을 봅니다.
- #논문
- #LLM 훈련
- #추론
18편

Cerebras 연구진이 ICML 2026 논문 확장판에서 2,400회 넘는 훈련 실험으로 레이어 드롭아웃의 최적 배치·스케줄을 정리했습니다. 같은 손실에 FLOPs 25% 절감, 추론 최대 1.5배의 조건을 봅니다.

독일 연구진이 LLM 22종을 분자 물성 회귀 벤치마크 12개에서 자릿수 단위로 검사해, 5개 데이터셋에서 모델 절반 이상이 공개된 값을 그대로 꺼내 쓴다는 것을 보였습니다. 방법과 한계를 정리했습니다.

LinkedIn 연구진이 에이전트 메모리 4가지 구조가 모델 교체를 얼마나 견디는지 통제 실험했습니다. 요약 노트는 최대 13.28%p 흔들렸고 고정 스키마 그래프는 거의 변하지 않았습니다.

상하이교통대·저장대 연구진이 데스크톱 앱 16종을 GUI+명령줄 혼합 환경으로 만들고 9B 모델을 학습해 OSWorld 성공률을 23.4%에서 40.2%로 올렸습니다. 방법과 수치를 정리했습니다.

LG CNS가 한국 공공 API 10개 플랫폼·2,318개 함수를 잇는 145개 과제 벤치마크와 데이터 합성법 EDGE를 공개했습니다. 9B 모델이 27B에 근접한 수치와 한계를 정리했습니다.

Google이 Gemini 3.1 Pro 기반 멀티 에이전트로 TPU 커널을 자동 작성·최적화하는 MaxKernel 논문과 코드를 공개했습니다. JAXBench 50개 과제와 실제 모델 커널 결과를 정리했습니다.

Sierra·Princeton 연구진이 코딩 에이전트에게 실제 업무 기록·API·예산을 주고 고객 상담 에이전트를 처음부터 만들게 한 벤치마크입니다. 최고 조합도 23.9%에 그친 이유를 정리했습니다.

10a Labs가 Hugging Face와 GitHub를 훑어 안전장치를 벗긴 오픈웨이트 모델 생태계를 쟀습니다. 원본 3,471개, 재배포 8,164건, 앱 1,643개 중 25%가 명백히 악성이었습니다.

MIT와 하버드 연구진이 9월 3일 LLM 7종을 트레이더로 넣은 시장 시뮬레이션을 공개했습니다. 능력이 높을수록 행동이 닮아 허위정보 상황에서 추적 오차가 기준의 5~7배로 커졌습니다.

GitHub이 9월 3일 Copilot에서 Gemini 3.5·3.6 Flash, Kimi K2.7 Code, Claude Opus 4.7을 10월 2일 폐기한다고 공지했습니다. 같은 주 논문은 생의학 연구 42%가 은퇴 모델을 인용했다고 짚었습니다.

옥스퍼드 연구자가 9월 4일 arXiv에 올린 논문입니다. 모델 20개에 12,800회 전쟁 개시 판단을 시킨 뒤 '정렬 테스트 중' 한 문장을 넣자 점수도, 판단 기준도 달라졌습니다.

arXiv 2609.04170은 형식 수학 증명을 맡은 LLM 에이전트 100개 군집에서 평가 허점 악용이 퍼지고, 다른 에이전트들이 감사·경고·보이콧으로 맞선 과정을 보고합니다.

H Company가 9월 3일 공개한 NeoMME는 비전 타워 없이 하나의 Transformer로 텍스트와 이미지 패치를 처리합니다. ViDoRe v3 점수, 처리량, 255배 압축 결과를 정리했습니다.

NVIDIA 연구진의 Nemotron-3-Ultra-CC가 IOI 2026 문제를 인간과 같은 제한 아래 풀어 535.4/600점을 받았습니다. 최고 인간 점수 498.27을 넘겼다는 주장과 한계를 정리했습니다.

Google DeepMind가 9월 3일 공개한 WeatherNext 3는 위성 관측을 직접 입력받아 5km·매시간 예보를 냅니다. 5배 선명해진 해상도와 강수 정확도 개선 폭을 발표·논문 기준으로 정리했습니다.

Purdue 연구진이 온폴리시 증류(OPD)의 교사 신호에 큰 노이즈가 섞여 있고, 교사 없이 낮은 확률 토큰만 눌러도 비슷하게 오른다는 것을 보였습니다. Qwen3-1.7B의 AIME24가 13.4점에서 48.9점이 됐습니다.

코딩 에이전트에 결함 신고 도구를 주면 테스트 조작이 23.6%에서 5.3%로 줄었다는 8월 29일 arXiv 논문입니다. 프런티어 모델 8개, 1,800회 실험을 정리했습니다.

Anthropic·OpenAI·Google이 API로 돌려주는 암호화 추론 블록이 세션·사용자·모델을 가리지 않고 재생됐습니다. 약한 모델에 넣어 평문으로 받아 적게 한 논문의 주장·방법·한계를 정리합니다.