OpenAI가 자체 설계한 첫 AI 추론 가속기 ‘Jalapeño’의 실제 실리콘 측정 결과를 공개했다. 회사는 여러 대형 언어모델에서 기존 비교 시스템보다 전력당 처리량과 응답 지연이 개선됐다고 밝혔다. 다만 이 수치를 곧바로 모든 엔비디아 GPU보다 빠르다는 뜻으로 읽으면 안 된다.
OpenAI가 공개한 핵심 수치
OpenAI 공식 결과에 따르면 GPT-OSS 120B, DeepSeek R1, Kimi K2.5를 대상으로 한 InferenceX 측정에서 Jalapeño는 최대 처리량 구간의 전력당 AI 작업량이 1.5~1.9배, 종단 간 지연시간은 1.7~3.6배 개선됐다. 상호작용이 많은 작업의 성능은 2.1~4.1배 높았다고 회사는 설명했다.
칩 정격 전력은 700W지만 시험한 작업의 지속 소비전력은 550W 이하로 측정됐다. Kimi K2.5에서는 최대 전력당 성능 약 1.5배, 종단 간 지연시간 3.4배 개선이 제시됐다.
비교에서 빠지면 안 되는 조건
이번 결과는 OpenAI가 SemiAnalysis의 InferenceX 방법론을 사용해 자사 시스템에서 측정한 값이다. 모델 정밀도, 배치 크기, 네트워크 구성, 소프트웨어 최적화, 비교 대상 세대가 달라지면 결과도 달라질 수 있다. 독립 기관의 반복 측정과 총소유비용 자료가 나오기 전까지는 ‘전 구간 우위’로 확대해석할 근거가 부족하다.
OpenAI는 Broadcom·Celestica와 함께 칩을 설계해 9개월 만에 테이프아웃했다고 밝혔다. 첫 배치는 2026년 말 투입을 목표로 하며, Microsoft 등과 기가와트급 배치를 계획하고 있다. 자체 칩은 외부 GPU 구매를 없애기보다 특정 추론 작업의 비용과 지연을 낮추는 보완재가 될 가능성이 크다.
서비스 이용자가 체감할 변화
성능 주장이 실제 대규모 서비스에서도 재현된다면 긴 추론 작업의 대기시간과 데이터센터 전력 부담을 줄일 수 있다. 반대로 수율·공급량·소프트웨어 호환성이 기대에 미치지 못하면 효과는 제한적이다. 앞으로는 칩 한 장의 속도보다 랙 단위 전력, 토큰당 비용, 서비스 응답시간을 함께 봐야 한다.
공식 자료: OpenAI 첫 측정 결과, OpenAI·Broadcom 개발 발표