캘리포니아주가 첨단 인공지능(AI)의 비상정지장치, 이른바 ‘킬스위치’ 의무화를 검토한다. 개빈 뉴섬 주지사는 9월 18일(현지시간) 독립적인 AI 안전 검증 제도의 시행을 앞당기고, 전문가들이 두 달 안에 추가 안전 규제 권고안을 마련하도록 하는 행정명령을 발표했다. 모든 AI에 비상정지장치를 즉시 설치하도록 확정했다는 뜻은 아니다. 기존 법률의 시행 준비와 앞으로 검토할 의무를 나눠 읽어야 한다.
이번 발표에서 중요한 질문은 버튼의 이름이 아니라 검증 책임이다. 기업이 스스로 안전하다고 설명하는 것에서 나아가, 외부 검증기관이 연구소와 평가 자료에 접근하고 정지 기능의 효과를 계속 확인하도록 만들 수 있느냐가 쟁점이다.
이미 서명한 감독 법률과 새 의무화 검토는 다르다
주지사실의 9월 9일 발표에 따르면 뉴섬은 SB 813과 AB 1405에 서명했다. SB 813은 AI 시스템과 모델을 평가하는 독립 검증기관의 제도적 틀을, AB 1405는 AI 감사인 등록과 독립성·투명성 기준을 마련하는 법률로 소개됐다.
9월 18일 행정명령의 한 축은 주 정부운영청이 이 두 제도의 시행 일정을 앞당기도록 하는 것이다. 다른 축은 주 비상서비스국과 협의해 전문가들을 모으고, 주법을 더 강화할 방안을 권고하게 하는 것이다. 따라서 ‘법률 서명’, ‘시행 준비 가속’, ‘새 의무의 검토’를 같은 단계로 묶으면 현재 기업에 요구되는 것과 앞으로 바뀔 수 있는 것을 혼동하게 된다.
연구소 상주 검증과 정지 기능의 지속 평가가 검토 대상
주지사실은 첨단 AI 기업 연구소에 지정된 독립 검증기관을 두고 정기 감사와 평가를 수행하게 하는 방안, 기업의 안전 체계·투명성 보고서·위험평가를 독립 기준으로 검증하는 방안을 제시했다. 프런티어 모델의 비상정지 기능을 개발하고 그 효과를 계속 검증하는 방안도 포함했다. 중대한 안전 사고의 정의에 통제 상실 유형을 반영하는 문제도 권고 과제다.
여기서 프런티어 모델은 이번 발표가 겨냥한 첨단 AI 모델을 뜻한다. 발표문만으로 모든 소규모 AI 응용서비스까지 동일한 의무가 생겼다고 단정할 수 없다. 대상 기업과 모델의 경계, 실제 준수 시점, 위반 때의 책임은 후속 권고와 법률·시행 규정에서 확인해야 한다.
‘정지 가능’이라는 선언보다 시험 조건이 중요하다
다음은 발표 내용을 토대로 살펴볼 운영상 쟁점이다. 비상정지 기능을 시험할 때에는 모델이 새 출력을 내지 않는지뿐 아니라, 연결된 외부 도구의 새 작업과 대기 중인 실행이 함께 멈추는지도 구분해야 한다. 이미 외부 시스템에 반영된 변경을 되돌리는 일은 정지와 별도의 복구 문제다. 기능 이름만으로 이 모든 범위가 해결됐다고 볼 수 없다.
정지 권한의 관리도 중요하다. 사고 때 권한 있는 담당자가 신속하게 개입할 수 있어야 하지만, 권한 없는 제3자가 정상 서비스를 멈추는 위험도 줄여야 한다. 어떤 상황을 정지 조건으로 삼는지, 중단 후 재가동은 누가 승인하는지, 시험 결과와 실패 기록을 어디까지 공개하는지가 실효성을 가르는 지표다. 이는 특정 제품을 직접 시험한 결과가 아니라 향후 제도 설계와 도입 검수에서 확인할 질문이다.
독립 감사의 필요성과 비용·기밀 보호 문제를 함께 봐야 한다
외부 검증을 강화하는 취지는 타당하다. 개발사만 평가 자료를 고르고 결과를 해석한다면 이용자는 안전 주장을 비교하기 어렵다. 정기적인 검증과 실패 기록이 공개될수록 책임 소재를 따질 근거가 늘어난다.
그러나 ‘독립기관’이라는 이름만으로 이해상충이 사라지지는 않는다. 평가 비용을 누가 부담하는지, 검증기관 선정과 교체 권한이 누구에게 있는지, 불리한 결과를 숨길 수 있는지까지 따져야 한다. 연구소 접근이 확대되면 영업비밀과 이용자 데이터의 보호 범위도 명확해야 한다. 같은 평가를 반복하는 데 드는 비용과 실제 위험을 낮추는 효과를 구분하지 못하면 감독이 서류 제출 절차로 굳어질 수 있다. 이 부분은 앞으로 공개될 권고안의 설계 과제이며, 현재 특정 기관의 부실이 확인됐다는 주장이 아니다.
한국 기업은 자동 적용으로 오해하지 말고 계약상 통제부터 확인해야
이번 캘리포니아 발표가 한국 기업 모두에 곧바로 같은 법적 의무를 부과하는 것은 아니다. 현지에서 활동하는 기업은 대상 범위와 후속 규정을 확인해야 하며, 미국 AI 서비스를 도입하는 국내 기업은 공급자가 제공하는 중단·사고 보고·감사 자료의 범위를 계약과 운영 절차에서 구분할 필요가 있다.
기업의 자율 행동강령과 정부의 의무화 검토도 다른 수단이다. 앞서 공개된 MS AI 행동강령 초안의 중단·권한 통제 기준은 개발 방향에 관한 문서였다. 이번 사안의 새 쟁점은 외부 검증을 제도로 연결하려는 주정부의 조치다. 문서에 적힌 목표를 실제 서비스의 성능 보증으로 읽지 않아야 한다는 점은 두 경우 모두 중요하다.
향후 두 달 내 권고안에서 확인할 핵심은 대상 모델의 범위, 정지 성능을 측정하는 방법, 검증기관의 독립성, 사고 보고와 복구 책임이다. 중단 기능의 의무화 여부만큼이나 실패를 발견하고 고칠 수 있는 체계를 공개하는지가 중요하다. 안전 감독을 강화하려면 명칭보다 검증 가능한 조건이 먼저 나와야 한다.
출처와 확인 범위
- 캘리포니아 주지사실 — 독립 감독 가속 및 AI 비상정지장치 검토 행정명령 발표 · 2026년 9월 18일, 현지 날짜 표기. 구체적인 게시 시각은 확인되지 않았다.
- 캘리포니아 주지사실 — SB 813·AB 1405 서명 발표 · 2026년 9월 9일. 기존 제도와 새 검토 과제를 구분하는 데 사용했다.
- 연합뉴스 — 뉴섬 주지사 AI 킬스위치 행정명령 보도 · 권영전 기자, 2026년 9월 19일 04:12 한국시간. 발표 사실과 두 달 내 권고 일정의 국내 보도를 대조했다.
확인 기준: 2026년 9월 19일 한국시간. 공개된 주지사실 발표와 보도를 비교했으며, 서명된 행정명령 PDF의 전체 조문은 브라우저에서 판독하지 못했다. 조문별 법률 자문이나 제품 시험 결과를 제공하는 기사가 아니다. 원문 문장과 보도사진을 복제하지 않았으며 대표이미지는 AI로 제작한 개념 삽화다. 실제 장비·제품 또는 사건 사진이 아니다. 원문 저작권은 각 출처에 있다.
함께 읽을 글
토론 질문: AI 비상정지 기능의 신뢰성을 평가할 때, 독립 시험 결과와 사고 후 복구 기록 중 어떤 정보를 우선 공개해야 할까요?
무료회원 가입하고 관심 뉴스 알림 받기 — 오전 주요 뉴스 브리핑·관심 분야 알림·보이스피싱·리콜 등 중요 알림을 수신 동의에 따라 제공합니다.
의견을 남겨주세요