# 프런티어 모델 22종, 화학 벤치마크 답을 '외워서' 냈다

> 독일 연구진이 LLM 22종을 분자 물성 회귀 벤치마크 12개에서 자릿수 단위로 검사해, 5개 데이터셋에서 모델 절반 이상이 공개된 값을 그대로 꺼내 쓴다는 것을 보였습니다. 방법과 한계를 정리했습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/molecular-deja-vu-benchmark-retrieval/)
- 발행: 2026-09-08
- 카테고리: 논문 한입 · 태그: 논문, 벤치마크, 평가, 데이터 오염, 과학 AI

## 핵심 답변

함부르크공대·Helmholtz-Zentrum Hereon·DFKI·자를란트대 연구진이 9월 4일 arXiv에 올린 논문은 프런티어 LLM 22종을 FreeSolv·ESOL·Lipophilicity 등 분자 물성 회귀 벤치마크 12개에서 검사해, 모델의 예측값이 공개된 정답과 유효숫자 세 자리까지 일치하는 비율을 분자 정보 없이 맞출 확률과 비교했습니다. FreeSolv·ESOL·LD50·AqSolDB·끓는점 5개 데이터셋에서는 모델 절반 이상이 이런 '축어적 검색'을 보였고, 추론 예산을 높이면 검색이 89% 더 자주 나타났습니다.

## 요약

- 검사 대상은 Claude Opus 5·Sonnet 5, GPT-5.6 terra·luna·sol, Gemini 3.6 Flash·3.1 Pro, Grok 4.5, Kimi K3, Qwen3-235B, Llama 4 Maverick 등 22종입니다.
- 예측이 공개값과 유효숫자 1·2·3자리까지 맞는 비율을, 분자를 모른 채 라벨 분포만으로 맞출 '바닥'과 비교해 검색을 판정합니다.
- 5개 데이터셋에서 모델의 50% 넘게 축어적 검색이 나타났고, 다른 데이터셋의 오염은 산발적이었습니다.
- SMILES 문자를 바꿔 분자 정체를 가리면 대부분 셀에서 세 자리 일치가 2% 아래로 떨어졌지만, 세 셀은 변형된 SMILES와 원래 라벨의 조합을 여전히 알아봤습니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| arXiv 등록 | 2026-09-04 (arXiv:2609.05381) |
| 소속 | 함부르크공대, Helmholtz-Zentrum Hereon, DFKI, 자를란트대 |
| 모델 수 | 22종 (Claude·GPT·Gemini·Grok·Kimi·Qwen·Llama·Mistral·MiniMax) |
| 벤치마크 | 12개 (FreeSolv, ESOL, LD50, Lipophilicity, AqSolDB, Caco-2, BACE, PPBR, QM7, QM8 + 대조군 2개) |
| 오염 집중 | 5개 데이터셋 (모델 50% 초과가 축어적 검색) |
| 추론 효과 | +89% (높은 추론 수준에서 검색 판정 빈도) |


## 무슨 문제인가요

LLM이 분자의 용해도나 독성을 "예측"했을 때, 그것이 화학을 이해한 결과인지 훈련 데이터에 있던 정답을 꺼낸 것인지 구분하기 어렵습니다. 함부르크공대, Helmholtz-Zentrum Hereon, DFKI, 자를란트대 연구진 7명이 9월 4일 arXiv에 올린 논문은 이 구분을 자릿수 단위로 시도했습니다.  대상은 Claude Opus 5·Sonnet 5·Haiku 4.5, GPT-5.6 terra·luna·sol, GPT-5.5, Gemini 3.6 Flash·3.1 Pro, Grok 4.5, Kimi K3, Qwen3-235B, Llama 4 Maverick, Mistral Large 2512, MiniMax M3 등 22종이고, 벤치마크는 FreeSolv, ESOL, LD50, Lipophilicity, AqSolDB, Caco-2, BACE, PPBR, QM7, QM8에 최신성 대조군(항바이러스)과 양성 대조군(끓는점)을 더한 12개입니다. 





## 결과: 오염은 넓지만 고르지 않습니다

FreeSolv, ESOL, LD50, AqSolDB, 끓는점 5개 데이터셋에서는 모델의 50% 넘게 축어적 검색이 나타났고, 나머지 데이터셋의 오염은 산발적이었습니다.  같은 분자와 프롬프트로 추론 토큰 예산만 바꾸자 높은 추론 수준에서 검색 판정이 89% 더 자주 나왔습니다.  분자 정체를 가리기 위해 SMILES 문자열의 문자를 치환하면 한 셀을 빼고 모두에서 검색이 줄었고 대부분 세 자리 일치가 2% 아래로 떨어졌지만, 세 셀은 변형된 SMILES와 원래 라벨의 조합을 여전히 알아봤습니다.  검색을 억제하면 모델 간 비교 순위는 바뀌지만 기저 예측 능력의 차이는 남았다는 것이 저자들의 정리입니다. 

| 구분 | 데이터셋 | 결과 |
| --- | --- | --- |
| 검색 집중 | FreeSolv, ESOL, LD50, AqSolDB, 끓는점 | 모델 50% 초과가 축어적 검색 |
| 산발적 | Lipophilicity, Caco-2, BACE, PPBR, QM7, QM8 등 | 일부 모델·셀에서만 검색 |
| 최신성 대조군 | 항바이러스 | 훈련 이후 데이터로 검색 여부 대조 |

## 무엇을 보면 되나요

- **과학 AI 평가자**: "검색을 통제하지 않는 평가는 예측과 회상을 구분할 수 없다"는 것이 결론입니다. 오래된 공개 벤치마크의 점수는 자릿수 검사를 거친 뒤 읽어야 합니다. 
- **추론 모델 사용자**: 추론 예산을 올렸을 때 오르는 점수의 일부는 회상일 수 있습니다. 새 분자에 대한 성능은 별도로 확인하시길 권합니다. 
- **재현**: 코드, 셀별 결과, 프롬프트, 작업 기록 전체가 GitHub에 공개돼 있습니다. 


저자들은 통계가 유효숫자만 보므로 세 자리 일치가 적은 셀은 '깨끗하다'는 약한 증거일 뿐이고, 설계가 큰 검색에는 민감하지만 꼬리에는 약하다고 밝혔습니다. SMILES 치환은 분자 정체와 함께 화학 정보도 파괴하므로 벤치마크 수리법이 아니라 검색 차단의 가능성 증명이며, 최근접 이웃이나 고전 QSAR 같은 비암기 기준선과의 비교가 없고, 모든 오염 지도는 해당 추론 설정에서의 하한이라는 점도 적었습니다. 



이 논문의 방법은 화학에 국한되지 않습니다. 정답이 숫자인 벤치마크라면 어디든 "유효숫자 몇 자리까지 우연을 넘겨 맞추는가"를 물을 수 있고, 그 답이 모델의 점수표를 다시 쓰게 만들 수 있습니다. 추론을 늘릴수록 외운 값이 더 자주 나온다는 관찰은, 추론 모델의 벤치마크 상승분 중 얼마가 이해이고 얼마가 회상인지 다른 분야에서도 따져 봐야 한다는 신호로 읽힙니다. 



## 자주 묻는 질문

**Q. '축어적 검색'이 정확히 무엇인가요?**

논문은 '공개된 숫자를 모델의 가중치에서 복원할 수 있을 때' 검색이 일어났다고 정의합니다. 모델의 예측값이 정답과 유효숫자 한 자리, 두 자리, 세 자리까지 살아남는 비율을 재고, 이를 분자 정보 없이 라벨 분포만으로 우연히 맞출 확률과 비교합니다. 세 자리까지 우연을 크게 넘겨 맞추면 예측이 아니라 기억으로 봅니다.

**Q. 추론을 많이 시키면 왜 더 외운 값을 내나요?**

같은 분자와 프롬프트로 추론 토큰 예산만 바꾼 통제 실험에서, 높은 추론 수준일 때 검색 판정이 89% 더 자주 나왔습니다. 논문은 이 현상을 보고했을 뿐 원인을 단정하지는 않았습니다. 추론 모드의 벤치마크 점수 상승 일부가 회상일 수 있다는 뜻입니다.

**Q. 그러면 이 벤치마크들은 못 쓰나요?**

논문의 결론은 '검색을 통제하지 않는 평가는 예측과 회상을 구분할 수 없다'는 것이지, 벤치마크를 버리라는 것은 아닙니다. 검색을 억제하면 모델 순위는 바뀌지만 기저 예측 능력의 차이는 남았습니다. 코드와 셀별 결과, 프롬프트는 GitHub에 공개돼 있습니다.

## 출처

1. [Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models (arXiv:2609.05381)](https://arxiv.org/abs/2609.05381) (paper)
2. [논문 전문 HTML (arXiv)](https://arxiv.org/html/2609.05381) (paper)
3. [코드·결과 저장소 MolecularDejaVu (GitHub)](https://github.com/MatthiasHBusch/MolecularDejaVu) (other)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._