태그: SageMaker

3B만 활성화하는 30B 모델, AI 에이전트 비용 구조를 바꿀까

AWS는 NVIDIA Nemotron 3.5 Lightning을 SageMaker JumpStart에서 배포할 수 있다고 밝혔다. 300억 개 전체 매개변수 가운데 추론 시 30억 개를 활성화하는 혼합전문가 구조와 최대 100만 토큰 문맥이 특징이다. 핵심은 최고…