무슨 일인가요
MIT(EECS·Sloan)와 하버드 케네디스쿨 벨퍼센터 연구진(Jillian Ross, Eric So, Zoe De Simone, Charles Pozniak, Andrew W. Lo)이 9월 3일 arXiv에 "Why Better Models Can Create Riskier Systems"를 올렸습니다. 주장은 간단합니다. 훈련 데이터와 아키텍처를 공유하는 탓에 더 유능한 LLM일수록 서로 비슷하게 행동하고, 그 결과 여러 모델을 섞어도 분산 효과가 나지 않는다는 것입니다. 논문
실험은 에이전트 기반 시장 시뮬레이션입니다. 알고리즘 트레이더 자리에 Claude Haiku 4.5, Claude Sonnet 4.6, Gemini 2.0 Flash Lite, Gemini 2.5 Flash, Llama-3.2-3B-Instruct, Llama-4-Scout-17B-16E-Instruct, GPT-5-nano 등 7종을 넣고, 노이즈 트레이더와 마켓메이커 1명을 함께 두었습니다. 논문 기본 가치는 100라운드 동안 33라운드에 100에서 120으로, 66라운드에 120에서 90으로 두 번 뛰며, 모델마다 64개 시나리오를 5번씩 돌리고 LLM 참여 비중은 0.0부터 1.0까지 0.2 단위로 바꿨습니다. 논문
결과는 어땠나요
능력 상승
MMLU-Pro·Arena ELO가 높은 모델
행동 동조
비교정 행동의 상관이 능력과 함께 상승
정보가 맞을 때
LLM 비중이 늘수록 추적 오차 감소
허위정보일 때
전원 LLM이면 오차가 기준의 5~7배
능력 점수는 모델 쌍 사이의 비교정(non-corrective) 동조 행동을 유의하게 예측했습니다. Chatbot Arena ELO 기준 t=3.94, p=0.001, R²=0.475, MMLU-Pro 기준 t=4.88, p<0.001, R²=0.580이었습니다. 논문 여기서 동조는 가격 괴리에 반응하는 교정 성분을 빼고 남은 잔차의 피어슨 상관으로 쟀습니다. 논문
정보가 정확할 때는 세 모델 계열 모두에서 LLM 비중이 커질수록 추적 오차가 단조 감소해 시장이 안정됐습니다. 논문 그러나 적대적 허위정보를 넣자 결과가 뒤집혀, LLM 비중이 커질수록 평균 추적 오차가 가파르게 올라 전원 LLM일 때 기준의 5~7배에 이르렀습니다. 논문 저자들은 이를 "개별 모델을 개선해도 시스템 결과가 좋아진다는 보장이 없다"는 능력 역설로 부릅니다. 논문
무엇을 보면 되나요
- 모델을 여러 개 섞어 쓰는 시스템: 벤더가 달라도 프런티어 모델끼리는 같은 방향으로 틀릴 수 있습니다. 앙상블이 곧 분산은 아닙니다. 추정
- 금융·리스크 담당자: 이 논문은 시뮬레이션 결과이고 실제 시장 데이터가 아닙니다. 다만 "같은 정보에 같은 방식으로 반응하는 참가자"가 늘 때의 취약성은 알고리즘 트레이딩에서 이미 익숙한 문제입니다. 추정
