엔비디아, 로컬 엣지 에이전트용 Nemotron 3.5 Bolt E4B 공개
엔비디아(Nvidia)가 2026년 10월 23일 로컬 및 엣지 에이전트 워크로드를 위한 사후 학습(post-trained) 오픈 웨이트 모델인 Nemotron 3.5 Bolt E4B를 출시했습니다. Gemma-4-E4B-it을 기반으로 사후 학습된 이 모델은 총 8B 파라미터(유효 파라미터 4B) 아키텍처를 갖추고 있으며, 최대 64K 토큰의 컨텍스트 창을 지원합니다. 이번 출시는 시스템 연산 오버헤드를 최소화하면서 음성 비서, 대화형 페르소나, 임베디드 인터페이스를 위한 저지연 실행 환경을 제공합니다.
엔터프라이즈 엣지 기기에서 모델이 처리하는 작업
엔비디아 Nemotron 3.5 엣지 에이전트 배포는 로컬 음성 비서, 대화형 페르소나, 임베디드 인터페이스 작업을 처리합니다. 이 모델은 다중 턴 툴 사용, 지시 이행, 입력 근거 제공에 중점을 둡니다. 적은 메모리 오버헤드와 낮은 TTFT(Time-to-First-Token) 지연 시간으로 작동하여 로컬 에이전트가 인접 소프트웨어의 시스템 용량을 보존하면서 신속하게 도구를 호출할 수 있도록 지원합니다.
경쟁 모델과의 벤치마크 비교
엔비디아 NeMo Gym 하네스 하에서 진행된 공식 평가에서 Nemotron 3.5 Bolt E4B 벤치마크는 다중 턴 툴 사용 및 지시 이행 분야에서 높은 점수를 기록했습니다. Q4_K_M 양자화 형식에서 이 모델은 RoleBench에서 71.21점을 기록해 Gemma 4 E4B-it의 60.51점, Qwen 3.5 4B의 52.35점을 앞섰습니다. RoleMRC에서는 Gemma 4의 75.24점, Qwen 3.5 4B의 62.61점에 비해 79.12점에 도달했습니다. InverseIFEval 평가에서 Q4_K_M 모델은 Gemma 4의 39.75점과 Qwen 3.5 4B의 22.04점에 대비되는 45.26점을 기록했습니다.
주요 테스트에서 Nemotron 3.5 Bolt 대 Qwen 3.5 4B 성능 비교
Nemotron 3.5 Bolt 대 Qwen 3.5 4B를 비교하면 특정 추론 및 툴 처리 지표 전반에서 성능 차이가 드러납니다. Q4_K_M 정밀도에서 엔비디아 모델은 ToolSandbox에서 74.13점, RelyToolBench에서 69.29점을 기록한 반면, Qwen 3.5 4B는 ToolSandbox에서 74.51점, RelyToolBench에서 38.34점을 기록했습니다. MultiChallenge에서는 양자화된 엔비디아 모델이 55.60점을 기록하여 Qwen 3.5 4B의 52.23점을 상회했습니다.
Docker를 사용하여 모델을 로컬에서 실행하는 방법
Nemotron 3.5 Bolt E4B 로컬 실행 방법을 확인하려는 개발자는 Docker 컨테이너 내부에서 llama.cpp를 통해 모델을 배포할 수 있습니다. 배포 시 Hugging Face에서 GGUF 모델 파일인 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf와 선택 사항인 드래프터 파일 Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf를 다운로드합니다. GPU 가속을 적용하여 ghcr.io/ggml-org/llama.cpp 서버 이미지를 실행하면 챗 완성을 위한 OpenAI 호환 HTTP 엔드포인트가 8000번 포트에 노출됩니다.
시스템 메모리 요구사항 및 아키텍처
Nemotron 3.5 Bolt E4B VRAM 요구사항 측면에서, 4GB 양자화 버전은 저메모리 로컬 배포를 위해 설계되었습니다. 기반 아키텍처는 Gemma-4-E4B를 바탕으로 총 8B 파라미터와 4B 유효 파라미터를 갖추고 있습니다. 이 모델은 최대 64K 입력 및 출력 토큰의 컨텍스트 길이를 지원합니다. 지시 이행 및 다중 턴 툴 환경 전반에 걸쳐 그룹 상대 정책 최적화(Group Relative Policy Optimization)를 적용한 다중 환경 강화 학습으로 사후 학습되었습니다.
라이선스 및 상용 배포 규칙
이 모델은 OpenMDW-1.1 라이선스로 출시되어 상업적 및 비상업적 배포가 모두 가능합니다. Google Gemma-4-E4B-it을 기반으로 추가 사후 학습되었으므로, 기반 모델인 Gemma 4의 사용은 Apache License, Version 2.0의 적용을 받습니다. 사후 학습 데이터의 컷오프 시점은 2026년 5월입니다. 지원되는 운영 체제는 NVIDIA Ampere A100, Hopper H100-80GB 및 Blackwell GPU 마이크로아키텍처 상의 Linux입니다.
자주 묻는 질문 (FAQ)
이 모델은 상용 배포 라이선스를 지원합니까?
예, 이 모델은 상업적 및 비상업적 용도 모두에 대해 OpenMDW-1.1 라이선스로 제공되며, 기본 Gemma 4 모델은 Apache License, Version 2.0의 적용을 받습니다.
Qwen 3.5 및 Gemma 4와 비교했을 때 모델의 성능은 어떠합니까?
Q4_K_M 양자화 수준의 NeMo Gym 평가에서 이 모델은 RoleBench에서 71.21점, RelyToolBench에서 69.29점을 기록하여 Gemma 4 E4B-it(60.51점 및 67.15점)과 Qwen 3.5 4B(52.35점 및 38.34점)를 능가했습니다.
MOZGII의 시각
우리라면 이렇게 만듭니다
엣지 하드웨어에 로컬 디바이스 어시스턴트를 배포하기 위해, 저희라면 llama.cpp와 같은 임베디드 엔진을 엄격한 로컬 기능 라우팅과 결합할 것입니다. 저희라면 로컬 하드웨어에서 낮은 지연 시간을 유지하기 위해 보조 드래프터 파일과 함께 사 기가바이트의 양자화 가중치를 로드할 것입니다. 저희라면 모델에 로컬 디바이스 텔레메트리, 사용자 입력, 정의된 툴 스키마를 제공할 것입니다. 얇은 로컬 소프트웨어 레이어가 모델의 툴 호출을 하드웨어 명령으로 직접 변환할 것입니다.
복잡한 멀티턴 컨텍스트로 인해 메모리 한계가 발생하거나 잘못된 툴 매개변수 형식이 유발될 때 시스템에 오류가 발생합니다. 실행을 제어하기 위해, 저희라면 디바이스 드라이버에 전달하기 전에 생성된 모든 함수 호출에 대해 규칙 기반 검증 스크립트를 실행할 것입니다. 시스템 관리자는 운영 중 로깅된 실패한 툴 호출과 처리되지 않은 사용자 입력을 검토할 것입니다. 저희라면 첫 번째 토큰까지의 시간을 주요 지표로 추적할 것입니다.
다음으로, 저희라면 로컬 에이전트의 한계를 초과하는 쿼리에 대한 자동 폴백 경로를 구축할 것입니다. 입력에 더 깊은 추론이나 육만 사천 토큰 창을 넘어선 긴 메모리가 필요할 때, 엣지 에이전트는 작업 부하를 클라우드 서버로 라우팅할 것입니다.
출처
이 기사의 사실은 다음 출처에서 가져왔습니다.