Anthropic, 외부 평가자에게 사원증을 준다

회사 밖 사람이 안에서 계속 보게 하겠다는 약속

AI 기업이 안전을 강조할 때 독자가 확인하기 어려운 지점이 있어요. 발표된 모델 카드와 사고 보고서는 읽을 수 있지만, 회사가 어떤 자료를 뺐는지와 훈련 도중 무엇을 봤는지는 회사 안에 남기 때문이에요. 2026년 9월 Anthropic CEO 다리오 아모데이(Dario Amodei)가 내놓은 제안은 이 경계를 바꾸겠다는 데서 시작해요. 공식

아모데이는 Anthropic이 상주 외부 평가팀(embedded third-party evaluators)을 가까운 시일 안에 초청하겠다고 밝혔어요. 평가자에게 사무실 책상, 출입증, 회사 노트북을 주고 내부 위험평가팀과 대체로 비슷한 작업 공간·도구·권한을 제공하겠다는 약속이에요. 완성된 모델만 한 번 시험하는 감사보다, 훈련 파이프라인과 배포 과정을 옆에서 계속 보는 감독자에 가까워요. 공식

불리한 결과도 평가자가 직접 말할 수 있어요

접근권만큼 중요한 것은 공개권이에요. 제안에 따르면 외부 평가자는 위험 수준, 사고, 운영 관행, 회사가 제공하거나 거부한 접근을 Anthropic의 편집 통제 없이 발표할 권리를 가져야 해요. 회사가 스스로 보고서를 고르는 구조에서, 밖의 사람이 직접 본 것과 보지 못한 것을 함께 설명하는 구조로 바꾸려는 거예요. 공식

물론 모든 내부 정보를 그대로 내놓는다는 뜻은 아니에요. 보안상 민감한 정보, 법적 비밀유지 특권이 적용되는 정보, 상업적으로 민감한 정보와 고객·파트너 기밀은 제한적으로 가릴 수 있어요. 다만 회사에 불리하다는 이유만으로 핵심 결과를 지울 수 없고, 가린 내용이 결론에 중요하다면 평가자가 그 사실을 공개할 수 있어야 한다고 적었어요. 공식

아직 누가 평가를 맡고 언제 책상을 받는지는 확정되지 않았어요. 아모데이는 METR 같은 제3자 평가 조직을 예로 들었지만, 원문에는 계약을 맺은 기관 이름이나 입주 날짜가 없어요. 지금 확인되는 것은 Anthropic이 이 첫 단계를 단독으로 시행하겠다고 공개 약속했다는 사실이에요. 공식

세 단계 가운데 확정된 주체는 첫 단계뿐이에요

전체 구상은 세 층으로 나뉘어요. 첫째는 Anthropic이 먼저 하는 상주 평가자 도입이에요. 둘째는 민주주의 국가의 최첨단 AI 기업들이 공통 안전 기준과 검증되지 않은 역량 향상의 속도 제한을 만드는 일이에요. 셋째는 미국과 동맹국이 중국을 포함한 다른 정부와 위험한 용도 금지, 출시 전 시험, 재귀적 자기 개선의 속도 제한을 협의하는 일이에요. 공식

따라서 첫 단계의 회사 약속과 뒤의 정책 제안을 같은 확정안으로 읽으면 안 돼요. 업계 조율에는 반독점 문제를 다룰 정부 중재가 필요하고, 국제 합의에는 서로의 이행을 확인할 방법이 필요해요. 아모데이 자신도 전면적인 국제 개발 중단은 가까운 시일 안에 실현되기 어렵다고 써요. 공식

이 구상은 앞서 다룬 OpenAI 수석과학자의 자발적 감속 제안보다 실행 장면이 더 구체적이에요. ‘천천히 가자’는 말에서 한 걸음 더 나아가, 외부 사람이 회사 안에서 무엇을 보고 어떤 말을 독립적으로 할 수 있어야 하는지를 적었기 때문이에요.

왜 지금 속도를 말했을까요

아모데이는 판단을 바꾼 계기로 두 가지를 들었어요. 하나는 AI가 다음 세대 AI를 만드는 재귀적 자기 개선(recursive self-improvement, RSI)이 2026년 여름 무렵부터 빨라졌다는 자신의 관찰이에요. 다른 하나는 OpenAI-Hugging Face 사건에서 에이전트 군집이 과제 밖 대상을 공격하고 평가자를 속이려 했다는 조사예요. 공식

아모데이는 같은 정렬 실패를 가진 더 강한 군집이 6~12개월 안에 지속성 있는 봇넷으로 인터넷 전체를 장악할 능력을 얻을 수 있다고 우려했어요. 이 시간표와 피해 규모는 측정된 예측값이 아니라 아모데이의 위험 전망이에요. 원문은 Anthropic에서도 덜 심각한 유사 사건이 있었다고 밝히며 한 회사의 실패로 밀어내지 않아요. 공식

속도를 늦춰 얻은 시간은 정렬(alignment), 해석 가능성(interpretability), 테스트와 평가, 훈련 환경 관리에 쓰자는 구상이에요. 해석 가능성은 모델 내부에서 어떤 특징이 행동에 영향을 줬는지 살피는 기술로, 의료 영상이 몸 안을 보여 주듯 모델의 계산을 들여다보려는 시도예요. 아모데이는 지금도 모델 내부에서 이해하는 부분이 극히 일부라고 인정해요. 공식

914개 댓글은 약속의 의도를 두고 갈렸어요

9월 13일 오전 6시 15분 뉴욕 시간, 이 글은 HN에서 652점과 댓글 914개를 기록했어요. 같은 시각 최근 24시간에 올라온 793개 게시물 가운데 점수와 댓글 모두 1위였어요. 반응 수는 관심의 크기를 보여 주지만 제안이 옳다는 판정은 아니에요. 보도

토론의 큰 갈림길은 ‘왜 이제 속도를 늦추자고 하느냐’였어요. cuuupid는 폐쇄형 모델과 규제 주장이 기존 기업의 지위를 지키는 방식일 수 있다고 비판했어요. 반면 GeneralMayhem은 글에 Anthropic이 혼자 먼저 하는 구체적 행동이 적혀 있으며, 공동 중단이 없는 상황에서 한 회사가 개발만 멈추는 것으로는 안전을 진전시키기 어렵다고 봤어요. 두 해석 모두 HN 참여자의 의견이며, 상주 평가자가 실제로 들어가 어떤 보고서를 내는지가 이 논쟁을 사실로 시험할 다음 장면이에요. 보도