무슨 문제인가요
"모델 업그레이드는 일상이지만 메모리 이전은 그렇지 않다." 논문의 첫 문장입니다. 에이전트가 같은 메모리 저장소를 그대로 들고 있어도 새 모델이 옛 노트를 다르게 해석하거나, 임베딩 버전이 섞여 검색이 깨지거나, 원본 증거가 없어 복구가 실패할 수 있다는 것입니다. 논문 LinkedIn의 Ankit Goyal과 Jaideep Ray는 9월 4일 arXiv에 올린 논문에서 이를 통제 실험으로 쟀습니다. 논문
같은 대화 이력을 네 가지로 저장했습니다. 전문을 그대로 두고 긴 컨텍스트로 읽는 LC-RAW, 청크로 나눠 검색하는 RAG, 모델이 자연어로 압축한 NOTES, 주어·술어·목적어의 고정 스키마로 정규화한 KG-fixed입니다. 정답 코드를 무작위로 심은 합성 이력 48개, 정확 일치 채점, 10B 미만 오픈 모델 2종(Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct-1M)을 썼습니다. 논문 핵심 조작은 "작성자 교체"로, 한 모델이 만든 메모리를 다른 모델이 물려받아 읽을 때 정확도가 얼마나 유지되는지를 봅니다. 논문
결과: 스키마는 살고, 요약은 흔들립니다
- 자기 저장소
- 물려받은 저장소
| 항목 | 자기 저장소 | 물려받은 저장소 |
|---|---|---|
| NOTES·Llama | 37.6% | 47.5% |
| NOTES·Qwen | 47.2% | 33.9% |
| KG-fixed·Llama | 84.6% | 84.5% |
| KG-fixed·Qwen | 98.8% | 98.8% |
출처: arXiv:2609.05339 Table 3 (비율을 %로 환산)
고정 스키마 그래프는 작성 모델을 바꿔도 정확도 변화가 −0.11%p(Llama 리더)와 +0.02%p(Qwen 리더)에 그쳤습니다. 논문 반면 요약 노트는 Llama가 Qwen의 노트를 물려받으면 +9.91%p, Qwen이 Llama의 노트를 물려받으면 −13.28%p로 방향에 따라 비대칭으로 흔들렸습니다. 논문 저자들은 두 방향을 평균 내면 실패가 가려진다며 반드시 양방향을 따로 재라고 권합니다. 논문
| RAG 인덱스 구성 | 정답 정확도 | 옛 임베딩 대비 |
|---|---|---|
| 옛 임베딩 v1.0 | 42.57% | — |
| 50/50 혼합 인덱스 | 47.53% | +4.96%p |
| 전체 재임베딩 v1.5 | 54.47% | +11.90%p |
| 이상적 라우팅(상한) | 59.60% | +17.03%p |
임베딩 모델을 올릴 때 새 청크만 새 임베딩으로 넣는 부분 이전은 전체 재임베딩 이득의 절반 이상을 놓쳤습니다. 논문 손실의 원인도 갈립니다. NOTES 손실의 80%는 노트를 처음 만들 때 정보가 빠진 데서, RAG 손실의 81%는 검색 실패에서 왔습니다. 논문 복구 실험에서는 원본 이력 없이 노트만 고쳐 쓰는 방식이 48건 모두 90% 회복 목표에 실패했고, 원본을 남겨 두면 한 방향에서 34건이 성공했습니다(반대 방향은 0건). 논문
무엇을 보면 되나요
- 메모리 설계: 모델 교체가 예정돼 있다면 자유 형식 요약보다 고정 스키마 구조가 안전합니다. 노트를 쓰더라도 원본 이력을 암호화해서라도 남겨 두라는 것이 권고입니다.
- RAG 운영: 임베딩 업그레이드는 전량 재임베딩으로, 그리고 리더 모델을 바꾸기 전에 검색 재현율부터 점검하시길 권합니다.
- 평가 절차: 교체 방향별로 따로 재고, 손실이 생성·검색·읽기 중 어디서 나는지 분해한 뒤 고치는 순서입니다.
