# Mitra-v2 — 77M 표 형식 모델이 1.6B TabFM과 동급

> Amazon이 9월 3일 표 형식 데이터용 기반 모델 Mitra-v2의 기술 보고서를 내고 가중치를 Apache-2.0으로 공개했습니다. 77M 파라미터로 TabArena·TALENT에서 1.6B TabFM과 통계적 동급이었습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/mitra-v2-tabular-foundation-model/)
- 발행: 2026-09-06
- 카테고리: 오픈소스 · 태그: 오픈소스, Amazon, 표 형식 데이터, 모델 출시, AutoGluon

## 핵심 답변

Amazon은 2026년 9월 3일 표 형식 분류·회귀용 기반 모델 Mitra-v2의 기술 보고서를 arXiv에 올렸고, 가중치와 파인튜닝 코드는 Hugging Face(autogluon/mitra-classifier-2, mitra-regressor-2, mitra-finetune)에 Apache-2.0으로 올라와 있습니다. 합성 데이터만으로 사전학습한 약 77M 파라미터 모델이 TabArena 51개 데이터셋에서 1,774.6 Elo로 1.6B 파라미터 TabFM·EXAONE Tabular와 통계적으로 같은 구간에 있었고 TabPFN-3보다 약 137 Elo 앞섰습니다.

## 요약

- 12층 2D Transformer, 약 77M 파라미터(분류 75.7M, 회귀 76.7M), 실제 데이터 없이 합성 사전 분포만으로 학습했습니다.
- TabArena 전체 1,774.6 Elo, TALENT 1,479.7 Elo로 TabFM(1,503.2)·EXAONE(1,451.8)과 신뢰구간이 겹칩니다.
- 제로샷이 아니라 파인튜닝과 8겹 배깅을 쓰며, 데이터셋당 중앙값 약 8.8~9.6분이 듭니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| 공개일 | 2026-09-03 (arXiv 2609.04540) |
| 파라미터 | 약 77M (분류 75.7M, 회귀 76.7M) |
| 라이선스 | Apache-2.0 |
| TabArena 전체 Elo | 1,774.6 (51개 데이터셋, TabPFN-3보다 약 137 앞섬) |
| TALENT Elo | 1,479.7 (274개 데이터셋, TabFM 1,503.2·EXAONE 1,451.8) |
| 데이터셋당 비용 | 중앙값 8.8~9.6분 (TabArena 1시간 예산 기준) |


## 무슨 일인가요

Amazon 연구진이 9월 3일 arXiv에 Mitra-v2 기술 보고서를 올렸습니다. 가중치는 Hugging Face의 `autogluon/mitra-classifier-2`와 `autogluon/mitra-regressor-2`, 파인튜닝 코드는 `autogluon/mitra-finetune`에 Apache-2.0으로 공개돼 있습니다.  신용 위험 점수, 임상 예측, 설비 고장 탐지, 주택 가격 추정 같은 표 형식 분류·회귀 과제가 대상이며, 실제 데이터 없이 합성 데이터만으로 사전학습한 뒤 인컨텍스트 학습으로 새 표에 적응합니다. 



모델은 12층·은닉 512·헤드 4개의 2D Transformer로 파라미터는 약 77M(분류 75.7M, 회귀 76.7M)입니다. 사전학습 시 지원 표는 160~5,120행, 질의 1,280행, 특성 최대 50개, 클래스 최대 10개이며, 사전 분포는 기본 SCM 35%, 신경망·결정트리·가우시안 과정·자기회귀를 한 인과 그래프에 섞은 하이브리드 SCM 35%, 트리 기반 생성기 30%입니다.  모델 카드는 전작 대비 문맥 길이 10배, 특성 수 3배로 늘었다고 적고 있습니다. 

## 성적은 어땠나요

| 벤치마크 | Mitra-v2 Elo | 비고 |
| --- | --- | --- |
| TabArena 전체 (51개) | 1,774.6 | TabFM·EXAONE Tabular와 통계적 동급, TabPFN-3보다 약 137 앞섬 |
| TabArena 분류 (38개) | 1,756.3 | 단독 1위 데이터셋 5.5개 |
| TabArena 회귀 (13개) | 1,985.6 | 단독 1위 3.6개, TabPFN-3보다 약 187 앞섬 |
| TALENT 다중 클래스 (10개 초과) | 2,070.1 | 전체 1위, 사전학습에서는 본 적 없는 과제 |



TabArena 51개 데이터셋 전체에서 1,774.6 Elo로 TabFM·EXAONE Tabular와 통계적으로 같은 구간에 있었고 TabPFN-3보다 약 137 Elo 앞섰습니다.  TALENT 274개 데이터셋에서는 1,479.7 Elo로 TabFM(1,503.2)·EXAONE(1,451.8)과 신뢰구간이 겹쳤고, 클래스가 10개를 넘는 분류에서는 2,070.1 Elo로 전체 1위였습니다. 사전학습에서는 클래스 10개까지만 봤는데도 계층 분해로 확장한 결과입니다.  저자들은 이 성능이 1.6B 파라미터 TabFM의 5% 크기로 나온 것이라고 강조합니다. 

다만 제로샷이 아닙니다. 벤치마크 레시피는 파인튜닝과 8겹 배깅을 쓰며, TabArena의 1시간 예산 아래 데이터셋당 중앙값 비용은 분류 약 8.8분, 회귀 약 9.6분으로 순전파만 하는 모델보다 훨씬 무겁고 4시간짜리 AutoML 포트폴리오보다는 가볍습니다. 

## 무엇을 보면 되나요

- **쓰는 법**: AutoGluon의 `TabularPredictor`에 `hyperparameters`로 `MITRA`와 `hf_model`을 지정하면 되고, `fine_tune` 옵션을 켤 수 있습니다. 모델 카드는 AutoGluon 기본값이 벤치마크 레시피와 다르다고 주의를 줍니다. 
- **선택 기준**: 표가 크고 시간이 넉넉하면 Mitra-v2, 빠른 응답이 우선이면 순전파형 모델이 맞습니다. 


저자들은 두 벤치마크 모두 상위권의 불확실성 구간이 겹쳐 "최고 성능"은 통계적 동률이라는 점, 제로샷이 아니라는 점, 공개 산출물에 예측 시간이 따로 측정돼 있지 않은 점, 큰 표에서는 인컨텍스트 지원 규모를 키울 여지가 남아 있다는 점을 밝혔습니다. 



표 형식 데이터는 기업 데이터의 대부분이지만 LLM 경쟁에서는 늘 뒷전이었습니다. 77M 모델이 1.6B와 동급이라는 결과는 이 영역에서는 크기보다 합성 사전 분포의 설계가 승부처라는 뜻이고, Apache-2.0에 AutoGluon 통합까지 갖춘 점에서 실무 채택 문턱이 낮습니다. 다만 "데이터셋당 9분"은 온라인 서빙이 아니라 배치 분석용이라는 뜻으로 읽어야 합니다. 



## 자주 묻는 질문

**Q. 어디에 쓰는 모델인가요?**

행과 열로 된 표 데이터의 분류·회귀입니다. 논문은 신용 위험 점수, 임상 예측, 설비 고장 탐지, 주택 가격 추정을 예로 들었습니다. 텍스트나 이미지를 다루는 LLM과는 다른 계열입니다.

**Q. 어떻게 쓰나요?**

AutoGluon의 TabularPredictor에서 hyperparameters로 MITRA와 hf_model 값을 autogluon/mitra-classifier-2로 지정하면 됩니다. fine_tune 옵션을 켜면 파인튜닝합니다. 모델 카드는 AutoGluon 기본값이 논문의 벤치마크 레시피와 다르다고 적고 있습니다.

**Q. TabPFN-3보다 확실히 좋은가요?**

TabArena 전체에서 약 137 Elo, 회귀에서 약 187 Elo 앞섰다고 논문은 밝힙니다. 다만 TabFM·EXAONE Tabular와의 비교는 불확실성 구간이 겹쳐 통계적 동률이라고 저자들이 직접 적었습니다.

## 출처

1. [Mitra-v2 Technical Report (arXiv 초록)](https://arxiv.org/abs/2609.04540) (paper)
2. [Mitra-v2 Technical Report 본문 (arXiv HTML)](https://arxiv.org/html/2609.04540) (paper)
3. [autogluon/mitra-classifier-2 모델 카드 (Hugging Face)](https://huggingface.co/autogluon/mitra-classifier-2) (official)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._