본문으로 건너뛰기

영국 정부 연구 — 인기 오픈 모델 1만 개 중 보안 문서는 15개

영국 DSIT가 9월 7일 공개한 그리니치대 체계적 문헌 연구입니다. 오픈소스 소프트웨어와 오픈소스 AI의 보안 증거 격차, 플랫폼 분석 수치, 정부 권고 4가지를 정리했습니다.

AI피셜 편집부· 3분 읽기원문 보기 ↗
그리니치대 본 캠퍼스가 자리한 런던 옛 왕립해군대학 건물 전경
사진: DiscoA340 · CC BY-SA 4.0

핵심 답변

영국 과학혁신기술부(DSIT)는 2026년 9월 7일 'AI 사이버 보안' 정책 모음에 그리니치대 연구진이 수행한 체계적 문헌 연구를 올렸습니다. 학술 문헌 14,561건을 걸러 43건, 회색 문헌 172건을 분석한 결과 오픈소스 AI의 훈련 데이터·가중치 배포 같은 상류 위험에 대한 증거가 거의 없다고 결론지었고, Hugging Face에서 가장 많이 내려받은 허용적 라이선스 모델 1만 개 중 보안 관련 문서를 갖춘 것은 15개(0.2%)에 그쳤습니다.

TL;DR세 줄 요약

  • DCMS가 의뢰하고 그리니치대 연구진 4명이 수행한 독립 연구로, 영국 정부 정책을 대표하지 않는다고 명시돼 있습니다.
  • PRISMA 방식의 병렬 체계적 검토 두 건입니다. 학술 데이터베이스 8곳에서 14,561건을 걸러 43건, 회색 문헌 172건을 분석했습니다.
  • GitHub에서 AI·보안 키워드를 함께 가진 저장소 약 2,000개 중 실질적 보안 내용을 담은 것은 131개(약 6%), Hugging Face 상위 1만 개 모델 중 보안 문서가 있는 것은 15개(0.2%)였습니다.
  • 권고는 정의 확립, AI BoM 등 출처 표준 주도, 플랫폼 운영자와의 거버넌스 협의, 국제 표준 참여 네 가지입니다.

핵심 사실

공개일
2026-09-07GOV.UK, DSIT 'AI cyber security' 모음
수행 기관
University of GreenwichDCMS 의뢰, 독립 연구
학술 문헌
14,561건 → 43건데이터베이스 8곳, PRISMA 선별
회색 문헌
172건사이버 당국·표준 기구·국제기구·커뮤니티
Hugging Face 분석
10,000개 중 15개 (0.2%)허용적 라이선스 상위 다운로드 모델 중 보안 문서 보유
GitHub 분석
약 2,000개 중 131개 (약 6%)AI·보안 키워드 저장소 중 실질적 보안 내용

무슨 일인가요

영국 과학혁신기술부(DSIT)가 9월 7일 GOV.UK의 "AI cyber security" 정책 모음을 갱신하면서 연구 보고서 한 편을 추가했습니다. 제목은 "A study of cybersecurity literature on open-source software and AI"이고, 문화미디어스포츠부(DCMS)가 의뢰해 그리니치대 연구진 4명(Srinidhi Vasudevan, Anna Piazza, Guru Krishna Ramakrishnan, Guido Conaldi)이 수행했습니다. 공식 게시물은 이 보고서가 독립 연구이며 영국 정부 정책을 대표하지 않는다고 못 박고 있습니다. 공식

방법은 PRISMA 틀을 따른 병렬 체계적 검토 두 건입니다. 학술 데이터베이스 8곳에서 2020년 이후 문헌 14,561건을 걸러 43건을 남겼고, 국가 사이버 보안 당국·표준 기구·국제기구·오픈소스 커뮤니티가 낸 회색 문헌 172건을 따로 검토했으며, 여기에 GitHub와 Hugging Face 플랫폼 분석을 더했습니다. 공식

미국 NERSC 전산센터의 서버 랙이 복도 양옆으로 늘어선 모습
보고서는 훈련 데이터와 가중치 배포 같은 상류 위험에 증거가 거의 없다고 지적합니다. 사진은 미국 NERSC 전산센터의 서버 랙입니다.· 사진: Derrick Coetzee from Berkeley, CA, USA · CC0
연구 구성
  1. 학술 검토

    데이터베이스 8곳, 14,561건 → 43건

  2. 회색 문헌

    당국·표준 기구 등 172건

  3. 플랫폼 분석

    GitHub · Hugging Face

  4. 다섯 주제 도출

    정의·상류 위험·오픈 워싱 등

  5. 권고 4가지

    정부 대상

숫자로 보면

15 / 10,000

Hugging Face 상위 다운로드 오픈 모델 중 보안 관련 문서를 갖춘 수

허용적 오픈소스 라이선스 모델 기준, 0.2% — 보고서는 '약 667개 중 1개' 확률로 표현

보고서는 상용 코드베이스의 96%에 오픈소스 구성 요소가 들어가며, Log4Shell(2021)과 XZ Utils 백도어(2024)가 거버넌스 공백을 드러냈다는 배경에서 출발합니다. 공식 플랫폼 분석에서는 GitHub에서 AI와 보안 키워드를 함께 가진 저장소 약 2,000개 가운데 두 영역을 실질적으로 다루는 것이 131개(약 6%)에 그쳤고, Hugging Face에서는 가장 많이 내려받은 허용적 라이선스 모델 1만 개 중 보안 관련 문서를 갖춘 것이 15개(0.2%)였습니다. 공식

주제보고서의 진단
정의 불일치코드 접근·오픈 웨이트·공급망 세 가지 틀이 경쟁, 2024년 10월 OSAID는 데이터 정보·코드·파라미터를 모두 요구
상류 위험 공백침입 탐지 같은 하류 위험 연구는 많지만 훈련 방식·데이터·가중치 배포는 거의 다루지 않음
오픈 워싱Llama 2·Grok·Phi-2·Mixtral은 OSAID 미충족, 완전 충족은 Pythia·OLMo·Amber·CrystalCoder·T5 다섯 개
위험 프로필 차이OSS는 의존성 혼동·악성 주입 등 대응이 성숙, OSAI는 데이터 오염·가중치 변조·불안전한 파인튜닝·출처 부재
대응 성숙도 격차OSS에는 SBOM·시큐어 바이 디자인·취약점 공개가 있지만 OSAI에는 상응하는 기반이 없음

표의 내용은 보고서가 정리한 다섯 가지 핵심 주제입니다. 공식 특히 훈련 데이터 필터링이 사후 훈련 방어보다 10배 넘게 효과적이지만 가중치 공개 전에만 가능하며, 공개 재배포 이후에도 유효한 유일한 개입 지점이라는 대목이 눈에 띕니다. 공식 EU AI Act에서 오픈소스 지위가 면제 조건이 되므로, 정의가 흔들리면 거버넌스 위험으로 이어진다는 지적도 있습니다. 공식

정부에 무엇을 권고했나요

권고 4가지

정의를 세우고, 출처 표준을 주도하고, 플랫폼과 협의하고, 국제 규범에 참여하라

  1. OSS는 OSI 정의를 명시 채택, OSAI는 OSAID를 기준으로 완전 오픈소스·오픈 웨이트·부분 공개를 구분해 의무를 차등 적용

  2. SBOM을 확장해 훈련 데이터 출처·모델 계보·파인튜닝 이력·알려진 취약점을 담는 AI BoM 개발을 주도 (Linux Foundation AIBOM, G7 2025 지침 기반)

  3. Hugging Face·GitHub 등 배포 인프라 운영자와 문서 기준·기여자 검증·모델 무결성 검증을 협의 (자발적 채택으로는 생기지 않았다고 평가)

  4. ISO/IEC JTC 1/SC 42, ETSI 등에서 규범이 정해지기 전에 참여

출처: GOV.UK 보고서 권고 절

네 가지 권고는 모두 보고서 본문에 그대로 있는 내용입니다. 공식

무엇을 보면 되나요

이 보고서는 정책이 아니라 정책의 "근거 자료"입니다. 다만 영국 정부가 2025년 1월 AI 사이버 보안 실천 규범을 낸 뒤 같은 모음에 연구 자료를 계속 쌓고 있다는 점에서, 오픈 웨이트 모델의 문서·출처 의무를 다루는 후속 조치의 방향을 미리 보여 주는 자료로 읽을 수 있습니다. 공식

자주 묻는 질문

이 문서는 영국 정부의 공식 정책인가요?
아닙니다. GOV.UK 게시물은 이 보고서가 독립 연구이며 영국 정부 정책을 대표하지 않는다고 명시합니다. 다만 DSIT의 'AI cyber security' 정책 모음에 연구 자료로 편입돼 있어 이후 정책 논의의 근거 자료로 쓰일 가능성이 있습니다.
'오픈 워싱'이 무슨 뜻인가요?
보고서는 오픈소스라고 널리 불리는 모델 가운데 Llama 2, Grok, Phi-2, Mixtral이 2024년 10월 공개된 오픈소스 AI 정의(OSAID)를 충족하지 못하며, 이를 완전히 충족하는 모델은 Pythia, OLMo, Amber, CrystalCoder, T5 다섯 개뿐이라고 적었습니다. EU AI Act에서 오픈소스 지위가 면제 조건이 되기 때문에 거버넌스 위험이 생긴다는 지적입니다.
오픈소스 AI 보안에서 무엇이 가장 효과적이라고 하나요?
보고서는 훈련 데이터 필터링이 사후 훈련 방어보다 10배 넘게 효과적이라는 문헌을 인용하면서, 이 조치는 가중치 공개 전에 이뤄져야 하며 공개 재배포 이후에도 살아남는 유일한 개입 지점이라고 설명합니다.

출처 · 3

  1. 1A study of cybersecurity literature on open-source software and AI (GOV.UK 게시물)공식 발표www.gov.uk/government/publications/a-study-of-cybersecurity-literature-on-open-source-software-and-ai
  2. 2같은 보고서 HTML 전문 (GOV.UK)공식 발표www.gov.uk/government/publications/a-study-of-cybersecurity-literature-on-open-source-software-and-ai/a-study-of-cybersecurity-literature-on-open-source-software-and-ai
  3. 3AI cyber security 정책 모음 (GOV.UK, DSIT)공식 발표www.gov.uk/government/collections/ai-cyber-security

이 글의 마크다운 원문: /posts/uk-open-source-ai-security-study/md/ · 인용 시 출처를 “AI피셜”으로 표기해 주세요.

이 글이 도움이 됐다면 동료에게 보내 주세요.

AI피셜 새 글 알림

새 글이 올라오면 메일로 알려드려요

매일 5편, 5분 브리프. 스팸 없이 새 글 소식만. 언제든 한 번에 해지.

같은 태그·카테고리의 글을 골랐습니다.

업계 동향· 3

G20 '캐롤라이나 원칙' 채택 — 같은 주 EU는 30여 곳 질의

9월 2일 G20 혁신장관회의가 '기존 규정 우선, 새 규제는 새로운 쟁점에만'이라는 캐롤라이나 원칙에 합의했고, EU AI Office는 30여 개 AI 기업에 첫 정보 요청을 보냈습니다. 두 흐름을 비교합니다.

  • #규제
  • #정책
  • #G20
업계 동향· 3

EU, ChatGPT를 '초대형 검색엔진'으로 지정 — DSA 의무

유럽집행위가 8월 31일 ChatGPT를 DSA상 초대형 온라인 검색엔진(VLOSE)으로 지정했습니다. EU 월평균 1억 5,910만 명, 4개월 안의 시스템 리스크 평가 의무를 정리했습니다.

  • #규제
  • #정책
  • #유럽