생성형 인공지능이 사이버 공격의 진입 비용과 작업 시간을 낮추면서 방어 조직도 AI 기반 탐지와 자동 대응을 확대하고 있다. 공격자는 표적 조사, 피싱 문구 작성, 악성코드 수정과 취약점 분석에 AI를 활용하고 있다. 구글 위협정보팀은 2025년 말 위협 행위자들이 공격 생애주기의 여러 단계에 AI를 통합해 생산성을 높인 사례를 관찰했다고 밝혔다. 영국 국가사이버보안센터(NCSC) 역시 2027년까지 AI가 침입 활동의 빈도와 강도를 높일 가능성이 매우 크다고 평가한다. 다만 ‘AI 대 AI’ 경쟁이라는 구호만으로는 보안이 강화되지 않는다. 자동화 속도, 데이터 품질, 인간 승인과 기본 보안 통제가 함께 작동해야 한다.
공격의 혁명보다 생산성 확대가 먼저
현재 확인되는 가장 넓은 변화는 AI가 완전히 새로운 공격을 만드는 것보다 기존 작업을 빠르고 값싸게 수행하도록 돕는 데 있다. 공개 정보에서 직원과 협력사를 조사하고 자연스러운 현지 언어로 피싱 메일을 만들며, 탈취한 자료를 분류하는 시간이 줄어든다. 코딩 경험이 부족한 공격자도 악성 스크립트를 수정하거나 오류를 해결할 수 있다.
NCSC는 AI가 정찰, 취약점 연구와 익스플로잇 개발, 사회공학, 기본 악성코드 생성과 유출 데이터 처리에 이미 활용되고 있다고 분석한다. ENISA의 2025 위협 동향에서도 피싱은 관찰된 초기 침투 방식의 약 60%를 차지했고 서비스형 피싱 도구가 공격 자동화를 촉진했다. AI는 대량 발송 문구의 품질과 개인화를 높여 기존 방어의 문법 오류나 어색한 표현 단서를 약화시킬 수 있다.
취약점 공개에서 공격까지 시간이 짧아진다
AI 코딩 도구는 방어 개발자의 코드 검토와 패치 작성을 돕지만 공격자도 같은 기술로 공개된 취약점을 분석할 수 있다. Google Cloud의 2026 위협 보고서는 취약점 공개 후 실제 악용까지의 기간이 과거 수주에서 수일로 줄어드는 추세를 지적한다. 조직이 월간 패치 주기만 고수하면 중요한 결함이 다음 정기 점검 전에 공격에 사용될 수 있다.
따라서 자산의 중요도와 인터넷 노출 여부, 실제 악용 신호를 결합해 패치 우선순위를 자동 조정해야 한다. 모든 경고를 같은 수준으로 처리하면 보안팀이 소진된다. 외부에 노출된 인증 시스템이나 VPN, 클라우드 관리 계정처럼 공격 경로가 짧은 자산을 먼저 막고, 임시 완화 조치를 적용한 뒤 정식 패치를 검증하는 체계가 필요하다.
방어 AI는 경고를 줄이고 맥락을 연결해야
기업 보안 시스템은 엔드포인트, 네트워크, 이메일과 클라우드에서 막대한 로그를 만든다. AI는 서로 다른 경고를 하나의 사건으로 묶고 공격 순서를 요약해 분석 시간을 줄일 수 있다. 계정 로그인 위치와 권한 상승, 대량 다운로드가 연속으로 발생했을 때 단일 이상징후보다 높은 위험으로 판단하는 방식이다. 사고 대응 중 원시 로그를 시간순으로 정리하고 관련 자산을 찾는 작업에도 도움이 된다.
그러나 모델이 만든 요약은 증거 자체가 아니다. 시간과 계정, 파일 해시가 원본 로그와 연결돼야 분석가가 확인할 수 있다. 탐지 모델이 잘못된 상관관계를 만들거나 공격자가 로그에 악성 문구를 삽입해 AI 판단을 왜곡할 가능성도 있다. 중요한 차단 결정은 재현 가능한 규칙과 원본 증거를 근거로 해야 하며, 모델 출력에는 출처와 신뢰도를 표시해야 한다.
완전 자동 대응은 피해를 키울 수 있다
AI가 의심 계정을 잠그고 네트워크를 격리하면 공격 확산을 빠르게 막을 수 있다. 반면 오탐으로 관리자 계정이나 핵심 서버를 차단하면 정상 업무가 중단된다. 자동화 범위는 조치의 가역성과 피해 규모에 따라 나눠야 한다. 악성 파일의 실행을 일시 중지하거나 세션 토큰을 폐기하는 조치는 비교적 되돌리기 쉽지만, 서버 삭제나 대규모 계정 차단은 사람의 승인이 필요하다.
조직은 대응 절차를 ‘권고’, ‘승인 후 실행’, ‘조건부 자동 실행’ 단계로 구분하고 긴급 중지와 롤백 기능을 마련해야 한다. 모델이 왜 조치를 제안했는지 설명하고, 실제 실행 결과를 다시 학습 데이터로 사용할 때 오판이 강화되지 않도록 검토해야 한다. 속도만 높인 자동화는 잘못된 판단도 빠르게 확산시킨다.
공격자는 방어 AI 자체를 노린다
보안 운영에 AI가 깊게 들어가면 모델과 데이터 파이프라인이 새로운 공격 표면이 된다. 공격자는 프롬프트 인젝션으로 분석 지시를 바꾸거나, 반복적인 정상 신호를 주입해 이상행동의 기준을 흐릴 수 있다. 모델 API 키를 탈취하거나 학습·검색 데이터에 민감정보가 섞이도록 유도할 수도 있다. AI가 외부 도구를 호출한다면 과도한 권한이 실제 시스템 변경으로 이어질 위험이 있다.
CISA와 NCSC의 안전한 AI 개발 지침은 설계부터 배포·운영까지 보안을 적용하고 공급자가 고객의 보안 결과에 책임을 지는 Secure by Design 원칙을 강조한다. 보안 AI에도 최소 권한, 입력 검증, 모델·데이터 버전 관리, 독립 테스트와 사고 공개가 필요하다. 외부 모델을 사용할 경우 로그가 어디에 저장되고 학습에 재사용되는지 계약으로 확인해야 한다.
기본 보안이 AI보다 먼저다
AI 보안 제품을 도입해도 다중요소인증, 최소 권한, 자산 목록, 백업과 패치 관리가 부실하면 공격 경로는 남는다. Mandiant의 2026 보고서도 AI 활용이 늘고 있지만 침해를 가능하게 하는 인간과 시스템의 기본 실패를 줄이는 일이 핵심이라고 강조한다. 공격자가 유효한 비밀번호와 관리 권한을 얻으면 복잡한 AI 기술이 필요하지 않다.
특히 랜섬웨어 대응은 오프라인 백업과 복구 훈련, 계정 분리, 원격관리 노출 축소가 우선이다. AI는 경고 우선순위를 정하고 반복 작업을 줄이는 보조 수단으로 배치해야 한다. 기존 통제가 제대로 작동하는지 측정하지 않은 채 AI 도구만 추가하면 경고 채널과 비용만 늘어날 수 있다.
분석: 공격자와 방어자의 비대칭
공격자는 한 번 성공하면 되지만 방어자는 수많은 시스템을 지속적으로 보호해야 한다. AI는 양쪽의 속도를 높이지만, 방어자가 보유한 정상 행위 데이터와 시스템 통제권은 중요한 우위다. 자체 환경의 로그인·프로세스·네트워크 기준을 잘 관리하면 범용 공격 도구가 찾기 어려운 이상징후를 탐지할 수 있다. 반대로 로그 품질이 낮고 자산을 모르면 AI도 정확한 판단을 내리기 어렵다.
성과 지표도 탐지 건수보다 평균 탐지·격리 시간, 오탐으로 인한 업무 중단, 패치까지 걸린 시간, 복구 성공률을 중심으로 바꿔야 한다. 공격 시뮬레이션을 통해 AI가 실제 경로를 찾고 대응하는지 검증하고, 사람이 개입해야 하는 구간을 반복적으로 조정해야 한다.
전망: 인간을 대체하기보다 대응 시간을 단축
단기적으로 AI는 숙련 분석가를 없애기보다 초동 분류와 조사 보고서 작성, 반복적인 차단 작업을 보조할 가능성이 크다. 위협 행위자는 더 많은 표적을 동시에 시험하겠지만 방어 조직도 로그 분석과 취약점 관리의 속도를 높일 수 있다. 중요한 결정과 사고 책임, 비즈니스 영향을 이해하는 역할은 여전히 사람에게 남는다.
기업은 AI 보안 도입 전에 보호할 자산과 자동화 가능한 조치를 정의하고, 소규모 환경에서 오탐과 롤백을 시험해야 한다. 모델이 빠르게 변하는 만큼 공급자 평가와 독립 검증도 반복해야 한다. 사이버 공격의 자동화에 맞서는 가장 강한 방어는 화려한 모델 하나가 아니라 신뢰할 수 있는 데이터, 기본 통제, 제한된 자동화와 훈련된 사람이 결합된 시스템이다.
의견을 남겨주세요