# 모델을 바꾸면 에이전트 메모리가 깨진다 — 최대 13%p

> LinkedIn 연구진이 에이전트 메모리 4가지 구조가 모델 교체를 얼마나 견디는지 통제 실험했습니다. 요약 노트는 최대 13.28%p 흔들렸고 고정 스키마 그래프는 거의 변하지 않았습니다.

- 출처 사이트: AI피셜 (https://aifficial.net/posts/agent-memory-model-upgrade-portability/)
- 발행: 2026-09-07
- 카테고리: 논문 한입 · 태그: 논문, 에이전트, 메모리, RAG, 평가

## 핵심 답변

LinkedIn의 Ankit Goyal·Jaideep Ray가 9월 4일 arXiv에 올린 논문은 같은 대화 이력을 원문 보존(LC-RAW), 청크 검색(RAG), 자연어 요약 노트(NOTES), 고정 스키마 지식 그래프(KG-fixed)로 저장한 뒤 메모리를 쓴 모델과 읽는 모델을 바꿔 정확도 변화를 쟀습니다. 고정 스키마 그래프는 교체 후 변화가 0.11%p 이하였지만 요약 노트는 방향에 따라 +9.91%p 또는 −13.28%p로 흔들렸고, RAG는 임베딩을 절반만 갈면 전체 재임베딩 이득 11.90%p 중 4.96%p만 얻었습니다.

## 요약

- 48개 합성 대화 이력과 10B 미만 오픈 모델 2종(Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct-1M)으로 메모리 구조 4가지의 '이식성'을 통제 실험했습니다.
- 고정 스키마 지식 그래프는 작성 모델을 바꿔도 정확도 변화가 −0.11~+0.02%p에 그쳤고, 자연어 요약 노트는 +9.91 또는 −13.28%p로 방향에 따라 크게 흔들렸습니다.
- RAG에서 임베딩을 50/50으로 섞어 쓰면 전체 재임베딩 이득 11.90%p 중 4.96%p만 얻습니다.
- 원본 이력 없이 노트만 고쳐 쓰는 복구는 48건 모두 90% 회복 목표에 실패했고, 원본을 남겨 두면 한 방향에서 34건이 성공했습니다.

## 핵심 사실

| 항목 | 값 |
|---|---|
| arXiv 등록 | 2026-09-04 (arXiv:2609.05339) |
| 저자 | Ankit Goyal, Jaideep Ray (LinkedIn) |
| 실험 규모 | 합성 이력 48개 × 모델 2종 (Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct-1M) |
| KG-fixed 교체 변화 | −0.11 / +0.02%p |
| NOTES 교체 변화 | +9.91 / −13.28%p (이전 방향에 따라 비대칭) |
| RAG 부분 재임베딩 | +4.96%p (전체 재임베딩은 +11.90%p) |


## 무슨 문제인가요

"모델 업그레이드는 일상이지만 메모리 이전은 그렇지 않다." 논문의 첫 문장입니다. 에이전트가 같은 메모리 저장소를 그대로 들고 있어도 새 모델이 옛 노트를 다르게 해석하거나, 임베딩 버전이 섞여 검색이 깨지거나, 원본 증거가 없어 복구가 실패할 수 있다는 것입니다.  LinkedIn의 Ankit Goyal과 Jaideep Ray는 9월 4일 arXiv에 올린 논문에서 이를 통제 실험으로 쟀습니다. 



같은 대화 이력을 네 가지로 저장했습니다. 전문을 그대로 두고 긴 컨텍스트로 읽는 LC-RAW, 청크로 나눠 검색하는 RAG, 모델이 자연어로 압축한 NOTES, 주어·술어·목적어의 고정 스키마로 정규화한 KG-fixed입니다. 정답 코드를 무작위로 심은 합성 이력 48개, 정확 일치 채점, 10B 미만 오픈 모델 2종(Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct-1M)을 썼습니다.  핵심 조작은 "작성자 교체"로, 한 모델이 만든 메모리를 다른 모델이 물려받아 읽을 때 정확도가 얼마나 유지되는지를 봅니다. 

## 결과: 스키마는 살고, 요약은 흔들립니다



고정 스키마 그래프는 작성 모델을 바꿔도 정확도 변화가 −0.11%p(Llama 리더)와 +0.02%p(Qwen 리더)에 그쳤습니다.  반면 요약 노트는 Llama가 Qwen의 노트를 물려받으면 +9.91%p, Qwen이 Llama의 노트를 물려받으면 −13.28%p로 방향에 따라 비대칭으로 흔들렸습니다.  저자들은 두 방향을 평균 내면 실패가 가려진다며 반드시 양방향을 따로 재라고 권합니다. 

| RAG 인덱스 구성 | 정답 정확도 | 옛 임베딩 대비 |
| --- | --- | --- |
| 옛 임베딩 v1.0 | 42.57% | — |
| 50/50 혼합 인덱스 | 47.53% | +4.96%p |
| 전체 재임베딩 v1.5 | 54.47% | +11.90%p |
| 이상적 라우팅(상한) | 59.60% | +17.03%p |

임베딩 모델을 올릴 때 새 청크만 새 임베딩으로 넣는 부분 이전은 전체 재임베딩 이득의 절반 이상을 놓쳤습니다.  손실의 원인도 갈립니다. NOTES 손실의 80%는 노트를 처음 만들 때 정보가 빠진 데서, RAG 손실의 81%는 검색 실패에서 왔습니다.  복구 실험에서는 원본 이력 없이 노트만 고쳐 쓰는 방식이 48건 모두 90% 회복 목표에 실패했고, 원본을 남겨 두면 한 방향에서 34건이 성공했습니다(반대 방향은 0건). 

## 무엇을 보면 되나요

- **메모리 설계**: 모델 교체가 예정돼 있다면 자유 형식 요약보다 고정 스키마 구조가 안전합니다. 노트를 쓰더라도 원본 이력을 암호화해서라도 남겨 두라는 것이 권고입니다.
- **RAG 운영**: 임베딩 업그레이드는 전량 재임베딩으로, 그리고 리더 모델을 바꾸기 전에 검색 재현율부터 점검하시길 권합니다.
- **평가 절차**: 교체 방향별로 따로 재고, 손실이 생성·검색·읽기 중 어디서 나는지 분해한 뒤 고치는 순서입니다.


저자들이 밝힌 한계는 비슷한 크기의 오픈 모델 2종과 합성 과제만 썼다는 점, 지식 그래프의 우위가 이 과제에 한정된다는 점, RAG의 40% 검색 실패율이 리랭커 없는 단일 밀집 검색기라는 파이프라인 선택을 반영한다는 점입니다. 사전 등록 대신 내부 서명 계획을 썼다는 점도 적었습니다. 



이 논문이 건드린 지점은 "메모리는 데이터가 아니라 모델과 데이터의 합작품"이라는 사실입니다. 요약 노트는 작성 모델의 해석이 굳어 있어 모델을 바꾸는 순간 자산이 부채로 변할 수 있습니다. 프런티어 모델 교체 주기가 몇 달 단위로 짧아진 지금, 에이전트 메모리를 설계할 때 "다음 모델도 이 저장소를 읽을 수 있는가"를 첫 질문으로 놓아야 한다고 봅니다. 



## 자주 묻는 질문

**Q. 왜 요약 노트만 크게 흔들리나요?**

노트는 작성 모델이 무엇을 남길지 고른 결과라서 읽는 모델이 다르면 해석이 어긋납니다. 논문은 NOTES 손실의 80%가 노트를 처음 만들 때 정보가 빠진 데서 온다고 분해했습니다. 반면 고정 스키마 그래프는 주어·술어·목적어 형태가 정해져 있어 누가 읽어도 같습니다.

**Q. RAG를 쓰고 있으면 어떻게 해야 하나요?**

임베딩 모델을 올릴 때 청크 전부를 새 모델로 다시 임베딩하라는 것이 저자들의 권고입니다. 새 청크만 새 임베딩으로 넣는 50/50 혼합 인덱스는 이득의 절반 이상을 잃었습니다. 또 RAG 손실의 81%는 검색 실패였으므로 리더 모델을 탓하기 전에 검색 품질부터 점검하라고 합니다.

**Q. 이 결과를 프런티어 모델에도 적용할 수 있나요?**

저자들은 비슷한 크기의 오픈 모델 2종과 합성 과제만 썼다고 한계를 밝혔습니다. 지식 그래프의 우위도 이 과제에 한정된 결과라고 적었습니다. 방향은 참고하되 자기 시스템에서 양방향 교체 실험을 직접 해 보라는 것이 논문의 결론입니다.

## 출처

1. [Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability (arXiv:2609.05339)](https://arxiv.org/abs/2609.05339) (paper)
2. [논문 전문 HTML (arXiv)](https://arxiv.org/html/2609.05339) (paper)

_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._