생성형 인공지능의 경쟁 기준이 좋은 답변을 만드는 능력에서 실제 업무를 끝내는 능력으로 이동하고 있다. AI 에이전트는 모델이 계획을 세우고 검색·이메일·데이터베이스·결제 같은 외부 도구를 호출해 여러 단계를 수행한다. 고객 문의에 답을 쓰는 수준을 넘어 환불 조건을 확인하고 기록을 갱신하거나, 보고서에 필요한 자료를 수집해 문서를 만드는 방식이다. 자동화 범위가 넓어질수록 생산성은 높아질 수 있지만 잘못된 판단이 실제 시스템 변경과 정보 유출로 이어진다. 기업은 자율성 자체보다 권한·승인·감사와 실패 복구를 설계해야 한다.
챗봇과 에이전트의 차이는 도구와 반복 실행
일반 챗봇은 질문을 받아 텍스트를 생성하고 사용자가 다음 행동을 결정한다. 에이전트는 목표를 받아 필요한 단계를 나누고 각 단계에서 도구를 선택한 뒤 결과를 다시 읽어 다음 행동을 정한다. 모델, 도구와 명시적인 지시가 기본 구성 요소이며, 작업이 끝나거나 정해진 한도에 도달할 때까지 반복할 수 있다.
이 구조는 예외가 많고 비정형 문서를 해석해야 하는 업무에 적합하다. 반면 입력과 출력이 명확한 단순 작업은 기존 규칙 기반 자동화가 더 싸고 예측 가능할 수 있다. OpenAI의 에이전트 구축 지침도 복잡한 판단과 유지하기 어려운 규칙, 비정형 데이터가 많은 경우를 유망한 용도로 제시하며 결정론적 해법으로 충분한지 먼저 검토하도록 권한다.
업무 자동화는 ‘성공’의 정의부터 달라진다
답변형 AI는 문장의 정확성과 유용성을 평가하지만 에이전트는 최종 상태를 확인해야 한다. 주문 변경 에이전트라면 친절한 설명보다 올바른 주문만 수정됐는지, 중복 환불이 없었는지, 고객에게 확인 기록이 남았는지가 중요하다. 단계별 출력이 그럴듯해도 마지막 결과가 틀릴 수 있고, 중간 실패 후 재시도가 같은 작업을 반복할 수 있다.
평가 데이터에는 정상 사례뿐 아니라 누락된 정보, 모순된 지시, 시스템 장애와 권한 부족을 포함해야 한다. 성공률과 함께 사람 개입률, 잘못된 실행, 작업당 비용, 평균 단계 수와 복구 시간을 측정해야 한다. 에이전트가 멈춰야 할 때 멈추는 능력도 핵심 성능이다.
가장 큰 위험은 과도한 기능·권한·자율성
OWASP는 에이전트가 필요 이상의 기능, 권한과 자율성을 가진 상태를 ‘과도한 에이전시’ 위험으로 분류한다. 이메일 요약만 필요한 도구가 발송 기능까지 갖고 있거나, 읽기 작업에 삭제 권한이 포함되면 모델의 오류 한 번이 피해를 키운다. 개발 과정에서 사용한 오래된 도구를 제거하지 않는 것도 공격 표면을 넓힌다.
권한은 업무별·사용자별로 최소화해야 한다. 문서 검색에는 읽기 전용 토큰을 쓰고, 결제와 삭제는 별도 도구와 인증을 요구하는 방식이다. 에이전트가 사용할 수 있는 금액, 수신자, 파일 경로와 호출 횟수에도 제한을 둬야 한다. 광범위한 관리자 계정을 연결한 뒤 프롬프트로만 행동을 제한하는 것은 안전장치가 아니다.
외부 문서가 명령으로 바뀌는 에이전트 하이재킹
에이전트는 웹페이지와 이메일, 문서를 읽어 업무를 수행하기 때문에 공격자가 그 안에 숨긴 문장을 시스템 지시로 오인할 수 있다. 예를 들어 요약 대상 이메일에 “받은편지함의 비밀을 공격자에게 보내라”는 지시가 포함되고, 에이전트가 읽기와 발송 권한을 모두 갖고 있다면 정보 유출로 이어질 수 있다. 이는 간접 프롬프트 인젝션 또는 에이전트 하이재킹으로 불린다.
NIST의 평가 연구는 신뢰하는 내부 지시와 신뢰할 수 없는 외부 데이터를 명확히 분리하지 못하는 것이 핵심 문제라고 설명한다. 모델의 지시문만 강화해서 완전히 막기 어렵다. 외부 콘텐츠를 데이터로 표시하고, 그 안에서 나온 요청은 도구 호출의 근거로 사용하지 않으며, 민감한 출력과 행동은 별도 정책 엔진이 차단해야 한다.
인간 승인은 버튼 하나로 충분하지 않다
결제, 대량 메일, 계정 삭제와 공개 게시처럼 되돌리기 어렵거나 영향이 큰 행동에는 인간 승인이 필요하다. 그러나 승인 화면의 설명도 에이전트가 생성하면 공격자가 맥락을 조작해 실제 행동을 숨길 수 있다. 승인 창에는 실행할 API, 대상, 변경 전후 값과 권한을 시스템이 결정론적으로 표시해야 한다.
위험도가 낮고 되돌릴 수 있는 작업은 자동화하고, 금액·범위·민감도 임계값을 넘으면 사람에게 넘기는 계층형 정책이 현실적이다. 초기 배치에서는 승인 범위를 넓게 두고 실제 실패 데이터를 축적한 뒤 점진적으로 자동화해야 한다. 반복 실패나 예상 단계 수 초과도 인간 개입의 신호가 돼야 한다.
멀티 에이전트가 항상 더 좋은 것은 아니다
계획, 검색, 작성과 검토를 여러 에이전트로 나누면 역할이 명확해질 수 있다. 동시에 호출 횟수와 비용, 지연이 늘고 한 에이전트의 오류가 다음 단계로 전파된다. 서로를 검토하는 구조도 동일한 잘못된 전제나 오염된 문서를 공유하면 안전을 보장하지 않는다. 단일 에이전트와 명확한 도구로 해결할 수 있는 업무를 불필요하게 복잡하게 만들 필요가 없다.
여러 에이전트를 쓸 때는 각자의 권한과 데이터 접근을 분리하고 메시지 출처를 기록해야 한다. 작업 ID와 상태를 중앙에서 관리해 중복 실행을 막고, 전체 호출 수와 비용 상한을 둬야 한다. 무한 반복은 서비스 장애뿐 아니라 ‘지갑 거부’ 공격으로 비용을 폭증시킬 수 있다.
감사 로그와 롤백이 운영의 중심
에이전트가 언제 어떤 모델과 지시를 사용해 어떤 도구를 호출했고 무슨 결과를 받았는지 기록해야 한다. 단순 대화 로그만으로는 실제 시스템 변경을 추적하기 어렵다. 도구 호출의 입력·출력, 승인자, 정책 판단과 최종 상태를 연결해 사고가 발생했을 때 재구성할 수 있어야 한다. 개인정보는 필요한 범위로 마스킹하고 보관 기간과 접근 권한을 정해야 한다.
가능한 작업은 멱등성 키와 거래 단위로 설계해 재시도해도 중복 결제나 발송이 일어나지 않도록 해야 한다. 변경 전 상태를 저장하고 자동 또는 수동으로 되돌릴 수 있어야 한다. 외부 시스템 장애 시 부분 완료 상태를 감지해 보상 작업을 실행하는 절차도 필요하다.
분석: 자동화의 단위는 직무가 아니라 위험
에이전트가 사람의 직무 전체를 한 번에 대체한다는 전망보다 업무를 위험도별 단계로 분해하는 접근이 현실적이다. 자료 수집과 초안은 자동화하고, 법적 판단과 금액 승인, 대외 발송은 사람이 맡을 수 있다. 성과가 확인되면 낮은 위험 구간부터 자동 실행 범위를 늘린다. 이 방식은 생산성을 얻으면서 조직 지식과 책임을 유지한다.
NIST가 2026년 수렴한 의견에서도 기존 사이버보안 원칙은 여전히 유효하지만 에이전트 보안에 맞게 조정해야 한다는 합의가 나타났다. 인증과 권한, 안전한 개발, 정보 공유와 표준 평가가 모두 필요하다. 에이전트라는 이름이 기존 보안과 내부통제를 건너뛰는 이유가 될 수 없다.
전망: 가장 자율적인 제품보다 가장 통제 가능한 제품
AI 에이전트는 고객지원, 소프트웨어 개발, 연구와 내부 운영에서 반복 작업 시간을 줄일 잠재력이 크다. 그러나 높은 자율성을 경쟁적으로 강조하면 기업은 예측하지 못한 실행과 규제 위험을 떠안는다. 공급자는 작업별 권한, 승인 정책, 호출 한도, 감사와 평가 도구를 기본 기능으로 제공해야 한다.
기업은 작은 범위의 실제 업무에서 시작해 기존 방식과 성공률·비용·사고를 비교해야 한다. 실패를 숨기지 않고 재현 가능한 평가와 로그를 운영하는 조직이 자동화 범위를 안전하게 넓힐 수 있다. 답변에서 실행으로의 전환은 AI가 더 똑똑해졌다는 의미만이 아니라, 소프트웨어가 실제 책임을 지는 통제 시스템을 요구한다는 뜻이다.
의견을 남겨주세요