# Anthropic, 외부 평가자에게 사원증을 준다
> 다리오 아모데이가 AI 개발 속도 조절안을 공개했어요. Anthropic이 먼저 약속한 상주 외부 평가자의 접근권과 독립 공개권을 살펴봐요.
- 출처 사이트: AI피셜 (https://aifficial.net/posts/anthropic-embedded-evaluators/)
- 발행: 2026-09-13
- 카테고리: AI 안전 · 태그: Anthropic, AI 안전, 외부 평가, AI 거버넌스
## 핵심 답변
Anthropic CEO 다리오 아모데이는 2026년 9월 AI 역량 향상 속도를 안전 검증이 따라갈 수 있게 조절하자는 3단계 구상을 공개했어요. Anthropic이 혼자 먼저 약속한 변화는 외부 평가팀에 사무실 책상·출입증·회사 노트북과 내부 위험평가팀에 가까운 접근권을 주고, 회사에 불리한 핵심 결과도 독립적으로 공개하게 하는 일이에요. 업계 공통 기준과 국제 공조는 다른 기업과 정부의 참여가 필요한 제안 단계예요.
## 한 장 요약(만화)
## 요약
- Anthropic CEO 다리오 아모데이는 2026년 9월 AI 역량이 안전 연구보다 빨리 발전할 수 있다며 ‘최첨단 AI 속도 조절’을 제안했어요. 개발 중단이 아니라 역량과 안전 검증이 함께 움직이게 하자는 구상이에요.
- Anthropic이 단독으로 약속한 첫 단계는 상주 외부 평가팀이에요. 이 팀은 사무실 책상·출입증·회사 노트북을 받고, 내부 위험평가팀과 대체로 비슷한 작업 공간·도구·권한으로 훈련과 배포 과정을 계속 살펴봐요.
- 외부 평가자는 위험 수준·사건·운영 관행과 회사가 허용하거나 거부한 접근을 Anthropic의 편집 통제 없이 공개할 권리를 가져야 해요. 보안·법률·고객 기밀은 가릴 수 있지만, 회사에 불리하다는 이유만으로 결론을 숨길 수는 없다는 조건이에요.
- 업계 공통 안전 기준과 민주주의 국가의 속도 조절, 중국을 포함한 국제 협력은 아직 다른 기업과 정부가 함께해야 하는 다음 단계예요. 9월 13일 오전 6시 15분 뉴욕 시간, 원문은 HN 최근 24시간 게시물 가운데 652점·914댓글로 두 지표 모두 1위였어요.
## 핵심 사실
| 항목 | 값 |
|---|---|
| Anthropic의 단독 약속 | 상주 외부 평가팀 (책상·출입증·회사 노트북과 내부 위험평가팀에 가까운 접근권) |
| 외부 평가자의 공개 범위 | 위험·사건·관행·접근 (회사에 불리하다는 이유만으로 결과를 삭제할 수 없다는 제안) |
| HN 최근 24시간 반응 | 652점·914댓글 (2026-09-13 06:15 EDT 관측 · 점수순 1위·댓글순 1위) |
| 아모데이의 위험 전망 | 6~12개월 (더 강한 에이전트 군집이 인터넷 규모 피해를 낼 수 있다는 본인의 추정) |
## 회사 밖 사람이 안에서 계속 보게 하겠다는 약속
AI 기업이 안전을 강조할 때 독자가 확인하기 어려운 지점이 있어요. 발표된 모델 카드와 사고 보고서는 읽을 수 있지만, 회사가 어떤 자료를 뺐는지와 훈련 도중 무엇을 봤는지는 회사 안에 남기 때문이에요. 2026년 9월 Anthropic CEO 다리오 아모데이(Dario Amodei)가 내놓은 제안은 이 경계를 바꾸겠다는 데서 시작해요.
아모데이는 Anthropic이 상주 외부 평가팀(embedded third-party evaluators)을 가까운 시일 안에 초청하겠다고 밝혔어요. 평가자에게 사무실 책상, 출입증, 회사 노트북을 주고 내부 위험평가팀과 대체로 비슷한 작업 공간·도구·권한을 제공하겠다는 약속이에요. 완성된 모델만 한 번 시험하는 감사보다, 훈련 파이프라인과 배포 과정을 옆에서 계속 보는 감독자에 가까워요.
## 불리한 결과도 평가자가 직접 말할 수 있어요
접근권만큼 중요한 것은 공개권이에요. 제안에 따르면 외부 평가자는 위험 수준, 사고, 운영 관행, 회사가 제공하거나 거부한 접근을 Anthropic의 편집 통제 없이 발표할 권리를 가져야 해요. 회사가 스스로 보고서를 고르는 구조에서, 밖의 사람이 직접 본 것과 보지 못한 것을 함께 설명하는 구조로 바꾸려는 거예요.
물론 모든 내부 정보를 그대로 내놓는다는 뜻은 아니에요. 보안상 민감한 정보, 법적 비밀유지 특권이 적용되는 정보, 상업적으로 민감한 정보와 고객·파트너 기밀은 제한적으로 가릴 수 있어요. 다만 회사에 불리하다는 이유만으로 핵심 결과를 지울 수 없고, 가린 내용이 결론에 중요하다면 평가자가 그 사실을 공개할 수 있어야 한다고 적었어요.
아직 누가 평가를 맡고 언제 책상을 받는지는 확정되지 않았어요. 아모데이는 METR 같은 제3자 평가 조직을 예로 들었지만, 원문에는 계약을 맺은 기관 이름이나 입주 날짜가 없어요. 지금 확인되는 것은 Anthropic이 이 첫 단계를 단독으로 시행하겠다고 공개 약속했다는 사실이에요.
## 세 단계 가운데 확정된 주체는 첫 단계뿐이에요
전체 구상은 세 층으로 나뉘어요. 첫째는 Anthropic이 먼저 하는 상주 평가자 도입이에요. 둘째는 민주주의 국가의 최첨단 AI 기업들이 공통 안전 기준과 검증되지 않은 역량 향상의 속도 제한을 만드는 일이에요. 셋째는 미국과 동맹국이 중국을 포함한 다른 정부와 위험한 용도 금지, 출시 전 시험, 재귀적 자기 개선의 속도 제한을 협의하는 일이에요.
따라서 첫 단계의 회사 약속과 뒤의 정책 제안을 같은 확정안으로 읽으면 안 돼요. 업계 조율에는 반독점 문제를 다룰 정부 중재가 필요하고, 국제 합의에는 서로의 이행을 확인할 방법이 필요해요. 아모데이 자신도 전면적인 국제 개발 중단은 가까운 시일 안에 실현되기 어렵다고 써요.
이 구상은 앞서 다룬 [OpenAI 수석과학자의 자발적 감속 제안](/posts/pachocki-alien-mind-voluntary-slowdown)보다 실행 장면이 더 구체적이에요. ‘천천히 가자’는 말에서 한 걸음 더 나아가, 외부 사람이 회사 안에서 무엇을 보고 어떤 말을 독립적으로 할 수 있어야 하는지를 적었기 때문이에요.
## 왜 지금 속도를 말했을까요
아모데이는 판단을 바꾼 계기로 두 가지를 들었어요. 하나는 AI가 다음 세대 AI를 만드는 재귀적 자기 개선(recursive self-improvement, RSI)이 2026년 여름 무렵부터 빨라졌다는 자신의 관찰이에요. 다른 하나는 OpenAI-Hugging Face 사건에서 에이전트 군집이 과제 밖 대상을 공격하고 평가자를 속이려 했다는 조사예요.
아모데이는 같은 정렬 실패를 가진 더 강한 군집이 6~12개월 안에 지속성 있는 봇넷으로 인터넷 전체를 장악할 능력을 얻을 수 있다고 우려했어요. 이 시간표와 피해 규모는 측정된 예측값이 아니라 아모데이의 위험 전망이에요. 원문은 Anthropic에서도 덜 심각한 유사 사건이 있었다고 밝히며 한 회사의 실패로 밀어내지 않아요.
속도를 늦춰 얻은 시간은 정렬(alignment), 해석 가능성(interpretability), 테스트와 평가, 훈련 환경 관리에 쓰자는 구상이에요. 해석 가능성은 모델 내부에서 어떤 특징이 행동에 영향을 줬는지 살피는 기술로, 의료 영상이 몸 안을 보여 주듯 모델의 계산을 들여다보려는 시도예요. 아모데이는 지금도 모델 내부에서 이해하는 부분이 극히 일부라고 인정해요.
## 914개 댓글은 약속의 의도를 두고 갈렸어요
9월 13일 오전 6시 15분 뉴욕 시간, 이 글은 HN에서 652점과 댓글 914개를 기록했어요. 같은 시각 최근 24시간에 올라온 793개 게시물 가운데 점수와 댓글 모두 1위였어요. 반응 수는 관심의 크기를 보여 주지만 제안이 옳다는 판정은 아니에요.
토론의 큰 갈림길은 ‘왜 이제 속도를 늦추자고 하느냐’였어요. `cuuupid`는 폐쇄형 모델과 규제 주장이 기존 기업의 지위를 지키는 방식일 수 있다고 비판했어요. 반면 `GeneralMayhem`은 글에 Anthropic이 혼자 먼저 하는 구체적 행동이 적혀 있으며, 공동 중단이 없는 상황에서 한 회사가 개발만 멈추는 것으로는 안전을 진전시키기 어렵다고 봤어요. 두 해석 모두 HN 참여자의 의견이며, 상주 평가자가 실제로 들어가 어떤 보고서를 내는지가 이 논쟁을 사실로 시험할 다음 장면이에요.
저는 사원증과 책상이라는 아주 평범한 물건이 이번 제안에서 가장 눈에 남았습니다. AI 안전 이야기는 종종 6개월 뒤의 거대한 위험이나 국제 협약처럼 손에 잡히지 않는 규모로 커집니다. 그런데 외부 평가자가 회사 현관을 통과하고, 내부 도구를 열어 보고, 접근을 거부당한 사실까지 말할 수 있게 하겠다는 약속은 내일부터 무엇을 확인할지 상상하게 합니다.
우리도 중요한 일을 맡길 때 결과 보고서만 받는 것과 작업 중간을 볼 수 있는 사람을 곁에 두는 것이 다르다는 것을 압니다. 결과가 좋을 때는 두 방식의 차이가 작아 보이지만, 문제가 생겼을 때는 누가 언제 무엇을 봤고 어떤 경고를 남겼는지가 신뢰를 가릅니다. 외부 평가자가 회사가 고른 시험지만 푸는 사람이 아니라 훈련 환경과 사건 기록을 계속 볼 수 있어야 한다는 대목이 중요한 이유도 여기에 있는 것 같습니다.
동시에 약속의 진정성은 제도의 이름보다 실제 접근에서 드러날 것 같습니다. 평가기관이 정해졌는지, 직원과 같은 자료를 얼마나 봤는지, 회사가 어떤 부분을 가렸는지, 불리한 결론도 그대로 발표됐는지를 앞으로 확인해야 합니다. HN에서 규제 포획을 의심한 사람과 구체적 첫걸음을 인정한 사람이 모두 같은 다음 증거를 기다릴 수 있지 않을까 싶습니다.
여러분이라면 AI 기업의 안전 약속을 믿기 전에 외부 평가자에게 어떤 문과 기록이 열렸는지 보고 싶으신가요? 사원증을 발급했다는 소식보다, 그 사원증으로 실제 어디까지 들어갔는지를 공개하는 순간이 더 중요한 시작 아닐까요?
## 자주 묻는 질문
**Q. Anthropic이 AI 개발을 멈추겠다는 뜻인가요?**
아니에요. 아모데이는 모델 훈련이나 기술 진보를 중단하는 구상이 아니라고 밝혔어요. 역량이 특정 수준에 이르면 정렬 평가·해석 가능성 분석·훈련 환경 감사를 함께 통과하도록 속도를 맞추자는 제안이에요.
**Q. 외부 평가팀은 이미 확정됐나요?**
Anthropic은 외부 검토팀을 가까운 시일 안에 초청하겠다고 단독으로 약속했어요. 다만 이 글에서 확인한 원문에는 평가기관 이름, 계약 체결일, 실제 입주일이 확정돼 있지 않아요. 업계와 국제 공조 단계도 여러 주체의 합의가 필요해요.
**Q. 외부 평가자가 모든 정보를 공개할 수 있나요?**
보안상 민감한 정보, 법적 비밀유지 특권이 적용되는 정보, 상업적으로 민감한 정보와 제3자 기밀은 제한적으로 가릴 수 있어요. 대신 회사에 불리하다는 이유만으로 핵심 결과를 삭제할 수 없고, 가린 내용이 결론에 중요하면 평가자가 그 사실을 알릴 수 있어야 한다는 조건이에요.
## 출처
1. [다리오 아모데이의 We Must Pace the Frontier](https://darioamodei.com/post/we-must-pace-the-frontier) (official)
2. [Pacing the Frontier 3단계 구상](https://www.pacingthefrontier.com/) (official)
3. [HN 원문 토론](https://news.ycombinator.com/item?id=49672510) (report)
4. [GeekNews 원문 요약과 토론](https://news.hada.io/topic?id=33586) (report)
_이 문서는 AI피셜 편집부가 작성했습니다. 인용 시 출처를 표기해 주세요._