무슨 일인가요
Amazon 연구진이 9월 3일 arXiv에 Mitra-v2 기술 보고서를 올렸습니다. 가중치는 Hugging Face의 autogluon/mitra-classifier-2와 autogluon/mitra-regressor-2, 파인튜닝 코드는 autogluon/mitra-finetune에 Apache-2.0으로 공개돼 있습니다. 논문 신용 위험 점수, 임상 예측, 설비 고장 탐지, 주택 가격 추정 같은 표 형식 분류·회귀 과제가 대상이며, 실제 데이터 없이 합성 데이터만으로 사전학습한 뒤 인컨텍스트 학습으로 새 표에 적응합니다. 논문
모델은 12층·은닉 512·헤드 4개의 2D Transformer로 파라미터는 약 77M(분류 75.7M, 회귀 76.7M)입니다. 사전학습 시 지원 표는 160~5,120행, 질의 1,280행, 특성 최대 50개, 클래스 최대 10개이며, 사전 분포는 기본 SCM 35%, 신경망·결정트리·가우시안 과정·자기회귀를 한 인과 그래프에 섞은 하이브리드 SCM 35%, 트리 기반 생성기 30%입니다. 논문 모델 카드는 전작 대비 문맥 길이 10배, 특성 수 3배로 늘었다고 적고 있습니다. 공식
성적은 어땠나요
| 벤치마크 | Mitra-v2 Elo | 비고 |
|---|---|---|
| TabArena 전체 (51개) | 1,774.6 | TabFM·EXAONE Tabular와 통계적 동급, TabPFN-3보다 약 137 앞섬 |
| TabArena 분류 (38개) | 1,756.3 | 단독 1위 데이터셋 5.5개 |
| TabArena 회귀 (13개) | 1,985.6 | 단독 1위 3.6개, TabPFN-3보다 약 187 앞섬 |
| TALENT 다중 클래스 (10개 초과) | 2,070.1 | 전체 1위, 사전학습에서는 본 적 없는 과제 |
| 항목 | Elo |
|---|---|
| TabFM (1.6B) | 1,503.2 |
| Mitra-v2 (77M) | 1,479.7 |
| EXAONE Tabular | 1,451.8 |
출처: arXiv 2609.04540 (2026-09-03)
TabArena 51개 데이터셋 전체에서 1,774.6 Elo로 TabFM·EXAONE Tabular와 통계적으로 같은 구간에 있었고 TabPFN-3보다 약 137 Elo 앞섰습니다. 논문 TALENT 274개 데이터셋에서는 1,479.7 Elo로 TabFM(1,503.2)·EXAONE(1,451.8)과 신뢰구간이 겹쳤고, 클래스가 10개를 넘는 분류에서는 2,070.1 Elo로 전체 1위였습니다. 사전학습에서는 클래스 10개까지만 봤는데도 계층 분해로 확장한 결과입니다. 논문 저자들은 이 성능이 1.6B 파라미터 TabFM의 5% 크기로 나온 것이라고 강조합니다. 논문
다만 제로샷이 아닙니다. 벤치마크 레시피는 파인튜닝과 8겹 배깅을 쓰며, TabArena의 1시간 예산 아래 데이터셋당 중앙값 비용은 분류 약 8.8분, 회귀 약 9.6분으로 순전파만 하는 모델보다 훨씬 무겁고 4시간짜리 AutoML 포트폴리오보다는 가볍습니다. 논문
무엇을 보면 되나요
- 쓰는 법: AutoGluon의
TabularPredictor에hyperparameters로MITRA와hf_model을 지정하면 되고,fine_tune옵션을 켤 수 있습니다. 모델 카드는 AutoGluon 기본값이 벤치마크 레시피와 다르다고 주의를 줍니다. 공식 - 선택 기준: 표가 크고 시간이 넉넉하면 Mitra-v2, 빠른 응답이 우선이면 순전파형 모델이 맞습니다. 추정
