무슨 문제인가요
LLM이 분자의 용해도나 독성을 "예측"했을 때, 그것이 화학을 이해한 결과인지 훈련 데이터에 있던 정답을 꺼낸 것인지 구분하기 어렵습니다. 함부르크공대, Helmholtz-Zentrum Hereon, DFKI, 자를란트대 연구진 7명이 9월 4일 arXiv에 올린 논문은 이 구분을 자릿수 단위로 시도했습니다. 논문 대상은 Claude Opus 5·Sonnet 5·Haiku 4.5, GPT-5.6 terra·luna·sol, GPT-5.5, Gemini 3.6 Flash·3.1 Pro, Grok 4.5, Kimi K3, Qwen3-235B, Llama 4 Maverick, Mistral Large 2512, MiniMax M3 등 22종이고, 벤치마크는 FreeSolv, ESOL, LD50, Lipophilicity, AqSolDB, Caco-2, BACE, PPBR, QM7, QM8에 최신성 대조군(항바이러스)과 양성 대조군(끓는점)을 더한 12개입니다. 논문
예측 수집
22개 모델 × 12개 벤치마크
유효숫자 비교
정답과 1·2·3자리까지 일치하는 비율
바닥선 계산
분자를 모른 채 라벨 분포만으로 맞출 확률
검색 판정
바닥을 크게 넘기면 기억으로 판단
교란 실험
SMILES 문자 치환, 추론 예산 변경
결과: 오염은 넓지만 고르지 않습니다
FreeSolv, ESOL, LD50, AqSolDB, 끓는점 5개 데이터셋에서는 모델의 50% 넘게 축어적 검색이 나타났고, 나머지 데이터셋의 오염은 산발적이었습니다. 논문 같은 분자와 프롬프트로 추론 토큰 예산만 바꾸자 높은 추론 수준에서 검색 판정이 89% 더 자주 나왔습니다. 논문 분자 정체를 가리기 위해 SMILES 문자열의 문자를 치환하면 한 셀을 빼고 모두에서 검색이 줄었고 대부분 세 자리 일치가 2% 아래로 떨어졌지만, 세 셀은 변형된 SMILES와 원래 라벨의 조합을 여전히 알아봤습니다. 논문 검색을 억제하면 모델 간 비교 순위는 바뀌지만 기저 예측 능력의 차이는 남았다는 것이 저자들의 정리입니다. 논문
| 구분 | 데이터셋 | 결과 |
|---|---|---|
| 검색 집중 | FreeSolv, ESOL, LD50, AqSolDB, 끓는점 | 모델 50% 초과가 축어적 검색 |
| 산발적 | Lipophilicity, Caco-2, BACE, PPBR, QM7, QM8 등 | 일부 모델·셀에서만 검색 |
| 최신성 대조군 | 항바이러스 | 훈련 이후 데이터로 검색 여부 대조 |
무엇을 보면 되나요
- 과학 AI 평가자: "검색을 통제하지 않는 평가는 예측과 회상을 구분할 수 없다"는 것이 결론입니다. 오래된 공개 벤치마크의 점수는 자릿수 검사를 거친 뒤 읽어야 합니다. 논문
- 추론 모델 사용자: 추론 예산을 올렸을 때 오르는 점수의 일부는 회상일 수 있습니다. 새 분자에 대한 성능은 별도로 확인하시길 권합니다. 추정
- 재현: 코드, 셀별 결과, 프롬프트, 작업 기록 전체가 GitHub에 공개돼 있습니다. 논문
