기업용 AI의 비용 중심이 모델 학습에서 반복 추론으로 이동하고 있다. 챗봇은 한 번 답하면 끝나지만 에이전트는 검색, 데이터베이스 조회, 코드 실행, 검증을 여러 차례 호출한다. 사용자 요청 한 건이 수십~수백 번의 연산과 데이터 이동으로 커지면서 GPU 가격만으로는 클라우드 원가를 설명할 수 없게 됐다.
추론이 학습보다 큰 운영부하가 되는 이유
NVIDIA의 2026 회계연도 연차보고서는 추론이 학습을 넘어 지배적 AI 작업이 됐다고 설명한다. 모델을 한 번 만드는 비용보다 많은 사용자가 매일 호출하는 비용이 사업의 경제성을 좌우하기 시작했다는 뜻이다. 특히 reasoning 모델은 답을 내기 전 더 많은 토큰과 반복 계산을 사용한다.
에이전트형 AI에서는 추론량 외에 상태 유지 비용이 붙는다. 긴 컨텍스트를 메모리에 올리고, 외부 도구의 응답을 저장하며, 실패한 단계를 재시도한다. 짧은 응답시간을 보장하려고 GPU를 미리 예약하면 사용하지 않는 시간에도 비용이 발생한다.
‘추론세’는 GPU 밖에서 발생한다
Google Cloud가 1,400명 이상의 IT 리더를 조사한 2026년 보고서에서 응답자의 62%는 데이터 전송료, 저장공간 팽창, 유휴 특수 하드웨어로 큰 추론 비용 부담을 경험했다고 답했다. 81%는 운영 복잡성을 숨은 비용으로 꼽았다. 공급업체 조사라는 한계가 있지만 비용 항목을 GPU 시간 밖으로 확장한다는 의미가 있다.
에이전트의 제어 평면은 CPU, 메시지 큐, 인증, 로그, 관측 도구를 사용한다. 모델 호출이 싸져도 호출 횟수가 늘면 총비용은 오를 수 있다. 출력 토큰 단가만 비교하는 벤치마크가 실제 업무흐름 비용과 다른 이유다.
클라우드 설계는 최대 성능보다 혼합 배치가 중요하다
모든 단계에 고가 GPU를 쓰는 대신 작업 성격에 따라 실리콘을 나눠야 한다. 모델 추론은 GPU나 TPU, 에이전트 오케스트레이션은 CPU, 검색은 벡터 데이터베이스, 장기 기록은 저비용 저장소가 맡는다. 요청을 묶는 배치 처리, KV 캐시 재사용, 작은 모델 라우팅도 비용을 낮춘다.
반대로 지나친 최적화는 지연시간과 품질을 떨어뜨릴 수 있다. 민감한 업무는 캐시된 낡은 답을 재사용하면 안 되고, 작은 모델로 넘겼다가 오류가 늘면 재시도 비용이 커진다. 비용·지연·정확도의 세 목표를 서비스별로 분리해야 한다.
전력 문제는 세계 총량보다 지역 집중도다
IEA는 데이터센터가 2024년 세계 전력소비의 약 1.5%를 차지했으며 2030년에는 약 945TWh로 두 배 이상 늘 수 있다고 본다. 세계 전체 비중은 제한적이지만 AI 데이터센터는 특정 지역에 집중돼 변전소와 송전망에 큰 부담을 준다. 미국 데이터센터 용량의 거의 절반이 다섯 지역 클러스터에 몰려 있다는 분석이다.
IEA의 2026년 중간전력전망은 세계 전력수요가 2026년 3.6%, 2027년 3.8% 증가할 것으로 예상한다. 데이터센터뿐 아니라 산업, 냉방, 전기차가 함께 전력을 요구한다. 클라우드 용량계획은 GPU 납기보다 전력 접속과 냉각수, 지역 피크시간 가격을 먼저 확인해야 한다.
기업이 관리할 네 가지 단위경제
첫째, 사용자 요청 한 건당 총 모델 호출 횟수다. 둘째, 성공한 업무 한 건당 GPU·CPU·저장·전송비다. 셋째, 예약 가속기의 실제 이용률이다. 넷째, 정확도 기준을 통과한 결과당 재시도 횟수다. 이 지표가 있어야 토큰 단가 인하가 총비용 절감으로 이어졌는지 확인할 수 있다.
조달 계약도 월 GPU 수량보다 서비스 수준을 중심으로 바뀌어야 한다. 피크 지연시간, 데이터 반출료, 캐시 정책, 장애 시 다른 실리콘으로 이동할 수 있는지, 로그 보존비용을 함께 명시해야 한다. 특정 칩과 특정 클라우드에 묶이면 추론가격 하락의 혜택을 받기 어렵다.
전망과 위험
상방 시나리오는 모델 효율, 캐시, 전용 추론칩이 빠르게 개선돼 사용량 증가보다 단위비용 하락이 큰 경우다. 하방은 에이전트가 더 긴 사고과정과 많은 도구를 사용하며 절감분을 모두 소비하는 경우다. 오류 검증과 보안 로그까지 확대되면 ‘싸진 추론’이 ‘비싼 업무자동화’로 남을 수 있다.
AI 클라우드 경쟁의 다음 단계는 가장 큰 모델이 아니라 한 건의 유용한 업무를 가장 적은 총자원으로 끝내는 능력이다. 기업은 모델 벤치마크보다 완료율, 비용, 지연시간, 에너지 사용을 같은 대시보드에서 봐야 한다.
출처와 확인 시각
- NVIDIA, 2026 Annual Review, 2026년 발행, 2026년 8월 15일 06:11 KST 확인.
- Google Cloud, State of AI Infrastructure Report Overview, 2026년 7월 7일 발행, 2026년 8월 15일 06:11 KST 확인.
- International Energy Agency, Energy and AI: Executive Summary, 2025년 4월 발행, 2026년 8월 15일 06:11 KST 확인.
- International Energy Agency, Electricity Mid-Year Update 2026: Executive Summary, 2026년 7월 발행, 2026년 8월 15일 06:11 KST 확인.
공개된 기업·국제기관 자료를 바탕으로 한 독립 분석이며 특정 서비스 구매 권유가 아니다.
의견을 남겨주세요