Nvidia lanza Nemotron 3.5 Bolt E4B para agentes locales en el borde
Nvidia lanzó Nemotron 3.5 Bolt E4B el 23 de octubre de 2026, entregando pesos abiertos posentrenados para cargas de trabajo de agentes locales y en el borde. Posentrenado a partir de Gemma-4-E4B-it, el modelo cuenta con una arquitectura de 8B de parámetros totales con 4B de parámetros efectivos y admite ventanas de contexto de hasta 64K tokens. El lanzamiento atiende la ejecución de baja latencia para asistentes de voz, personajes interactivos e interfaces de dispositivos, preservando el consumo de cómputo del sistema.
Qué tareas maneja el modelo en dispositivos empresariales en el borde
El despliegue del agente en el borde Nvidia Nemotron 3.5 maneja tareas para asistentes de voz locales, personajes interactivos e interfaces embebidas. El modelo se enfoca en el uso de herramientas multiturno, el seguimiento de instrucciones y la fundamentación de entradas. Opera con un bajo consumo de memoria y una baja latencia hasta el primer token, lo que permite a los agentes locales ejecutar llamadas a herramientas con rapidez mientras preservan la capacidad del sistema para el software adyacente.
Pruebas de rendimiento frente a modelos competidores
En evaluaciones oficiales bajo el marco Nvidia NeMo Gym, los resultados de rendimiento de Nemotron 3.5 Bolt E4B muestran altas puntuaciones en el uso de herramientas multiturno y seguimiento de instrucciones. En el formato cuantizado Q4_K_M, el modelo obtuvo 71.21 en RoleBench, en comparación con 60.51 de Gemma 4 E4B-it y 52.35 de Qwen 3.5 4B. En RoleMRC, alcanzó 79.12 frente a 75.24 de Gemma 4 y 62.61 de Qwen 3.5 4B. En InverseIFEval, el modelo Q4_K_M logró 45.26 frente a 39.75 de Gemma 4 y 22.04 de Qwen 3.5 4B.
Rendimiento de Nemotron 3.5 Bolt frente a Qwen 3.5 4B en pruebas clave
Al comparar Nemotron 3.5 Bolt vs Qwen 3.5 4B se revelan diferencias en métricas específicas de razonamiento y manejo de herramientas. En precisión Q4_K_M, el modelo de Nvidia alcanzó 74.13 en ToolSandbox y 69.29 en RelyToolBench, mientras que Qwen 3.5 4B obtuvo 74.51 en ToolSandbox y 38.34 en RelyToolBench. En MultiChallenge, el modelo cuantizado de Nvidia registró 55.60 frente a 52.23 de Qwen 3.5 4B.
Cómo ejecutar el modelo localmente usando Docker
Los desarrolladores que buscan cómo ejecutar Nemotron 3.5 Bolt E4B localmente pueden desplegar el modelo mediante llama.cpp dentro de contenedores Docker. El despliegue implica descargar el archivo de modelo GGUF Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf desde Hugging Face junto con el archivo drafteador complementario opcional Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf. Ejecutar la imagen del servidor llama.cpp de ghcr.io/ggml-org con aceleración por GPU expone un punto de enlace HTTP compatible con OpenAI en el puerto 8000 para completado de chat.
Requisitos de memoria del sistema y arquitectura
Con respecto a los requisitos de VRAM de Nemotron 3.5 Bolt E4B, la edición cuantizada de 4GB está diseñada para ejecuciones locales de bajo consumo de memoria. La arquitectura subyacente se basa en Gemma-4-E4B con 8B de parámetros totales y 4B de parámetros efectivos. El modelo admite longitudes de contexto de hasta 64K tokens de entrada y salida. Fue posentrenado mediante aprendizaje por refuerzo multientorno con Optimización de Política Relativa de Grupo en entornos de seguimiento de instrucciones y herramientas multiturno.
Licencia y reglas de despliegue comercial
El modelo se publica bajo la licencia OpenMDW-1.1 y está listo para despliegues tanto comerciales como no comerciales. Debido a que fue posentrenado a partir de Google Gemma-4-E4B-it, el uso del modelo base Gemma 4 está gobernado por la Licencia Apache, Versión 2.0. La fecha de corte de los datos de posentrenamiento es mayo de 2026. Los sistemas operativos compatibles incluyen Linux en microarquitecturas de GPU NVIDIA Ampere A100, Hopper H100-80GB y Blackwell.
Preguntas y respuestas
¿El modelo cuenta con licencia para despliegue comercial?
Sí, el modelo está disponible bajo la licencia OpenMDW-1.1 para uso comercial y no comercial, mientras que el modelo base Gemma 4 se rige por la Licencia Apache, Versión 2.0.
¿Cómo rinde el modelo frente a Qwen 3.5 y Gemma 4?
En evaluaciones de NeMo Gym con cuantización Q4_K_M, el modelo obtuvo 71.21 en RoleBench y 69.29 en RelyToolBench, superando a Gemma 4 E4B-it (60.51 y 67.15) y a Qwen 3.5 4B (52.35 y 38.34).
La visión de MOZGII
Cómo lo construiríamos
Para desplegar un asistente de dispositivo local en hardware de borde, emparejaríamos un motor integrado como llama.cpp con un enrutamiento de funciones local estricto. Cargaríamos los pesos cuantificados de cuatro gigabytes junto con un archivo borrador complementario para mantener una baja latencia en el hardware local. Le enviaríamos al modelo la telemetría del dispositivo local, las entradas del usuario y los esquemas de herramientas definidos. Una capa ligera de software local traduciría las llamadas a herramientas del modelo directamente en comandos de hardware.
El sistema falla cuando el contexto complejo de varios turnos causa límites de memoria o formatos no válidos en los parámetros de las herramientas. Para controlar la ejecución, ejecutaríamos scripts de validación basados en reglas sobre cada llamada a función generada antes de pasarla a los controladores de dispositivo. Un administrador de sistemas revisaría las llamadas a herramientas fallidas y las entradas de usuario no gestionadas registradas durante la operación. Seguiríamos el tiempo hasta el primer token como nuestra métrica principal.
A continuación, construiríamos una ruta de respaldo automatizada para las consultas que superen los límites del agente local. Cuando una entrada requiriera un razonamiento más profundo o una memoria prolongada más allá de la ventana de sesenta y cuatro mil tokens, el agente de borde derivaría la carga de trabajo a un servidor en la nube.
Fuentes
De dónde salen los datos de esta nota.