Nvidia lance Nemotron 3.5 Bolt E4B pour les agents locaux
Nvidia a publié Nemotron 3.5 Bolt E4B le 23 octobre 2026, fournissant des poids ouverts post-entraînés pour les charges de travail d'agents locaux et périphériques. Issu du post-entraînement de Gemma-4-E4B-it, le modèle présente une architecture de 8 milliards de paramètres avec 4 milliards de paramètres effectifs et prend en charge des fenêtres de contexte allant jusqu'à 64K tokens. Cette publication répond au besoin d'exécution à faible latence pour les assistants vocaux, les personnages interactifs et les interfaces embarquées, tout en préservant la charge de calcul du système.
Tâches prises en charge par le modèle sur les équipements périphériques
Le déploiement de l'agent périphérique Nvidia Nemotron 3.5 prend en charge les tâches destinées aux assistants vocaux locaux, aux personnages interactifs et aux interfaces embarquées. Le modèle privilégie l'utilisation d'outils multi-tours, le suivi des instructions et la cohérence avec les données d'entrée. Il fonctionne avec un faible encombrement mémoire et une latence réduite du premier token, ce qui permet aux agents locaux d'exécuter des appels d'outils rapides tout en préservant la capacité du système pour les logiciels adjacents.
Benchmarks comparés aux modèles concurrents
Lors des évaluations officielles sous l'environnement Nvidia NeMo Gym, les benchmarks du Nemotron 3.5 Bolt E4B affichent des scores élevés pour l'utilisation d'outils multi-tours et le suivi d'instructions. Dans le format quantifié Q4_K_M, le modèle a obtenu un score de 71.21 sur RoleBench, contre 60.51 pour Gemma 4 E4B-it et 52.35 pour Qwen 3.5 4B. Sur RoleMRC, il a atteint 79.12 contre 75.24 pour Gemma 4 et 62.61 pour Qwen 3.5 4B. Sur InverseIFEval, le modèle Q4_K_M a réalisé 45.26 par rapport à 39.75 pour Gemma 4 et 22.04 pour Qwen 3.5 4B.
Performances comparées entre Nemotron 3.5 Bolt et Qwen 3.5 4B
La comparaison entre Nemotron 3.5 Bolt et Qwen 3.5 4B révèle des différences sur des métriques spécifiques de raisonnement et de gestion des outils. En précision Q4_K_M, le modèle Nvidia a atteint 74.13 sur ToolSandbox et 69.29 sur RelyToolBench, tandis que Qwen 3.5 4B a obtenu 74.51 sur ToolSandbox et 38.34 sur RelyToolBench. Sur MultiChallenge, le modèle quantifié de Nvidia a enregistré 55.60 contre 52.23 pour Qwen 3.5 4B.
Comment exécuter le modèle localement avec Docker
Les développeurs souhaitant savoir comment exécuter Nemotron 3.5 Bolt E4B localement peuvent déployer le modèle via llama.cpp dans des conteneurs Docker. Le déploiement nécessite le téléchargement du fichier de modèle GGUF Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf depuis Hugging Face, accompagné en option du fichier auxiliaire d'anticipation Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf. L'exécution de l'image serveur ghcr.io/ggml-org/llama.cpp avec accélération GPU expose un point de terminaison HTTP compatible OpenAI sur le port 8000 pour la génération de réponses textuelles.
Exigences de mémoire système et architecture
Concernant les exigences de VRAM du Nemotron 3.5 Bolt E4B, l'édition quantifiée de 4GB est conçue pour des déploiements locaux à faible empreinte mémoire. L'architecture sous-jacente s'appuie sur Gemma-4-E4B avec un total de 8B paramètres et 4B paramètres effectifs. Le modèle prend en charge des longueurs de contexte allant jusqu'à 64K tokens en entrée et sortie. Il a été optimisé par apprentissage par renforcement multi-environnement avec l'algorithme Group Relative Policy Optimization sur le suivi d'instructions et les environnements d'outils multi-tours.
Licence et règles de déploiement commercial
Le modèle est publié sous licence OpenMDW-1.1 et se révèle prêt pour un déploiement commercial et non commercial. Comme il s'agit d'un post-entraînement à partir de Google Gemma-4-E4B-it, l'utilisation du modèle de base Gemma 4 est régie par la licence Apache License, Version 2.0. La date d'arrêt des données de post-entraînement est mai 2026. Les systèmes d'exploitation pris en charge incluent Linux sur les microarchitectures GPU NVIDIA Ampere A100, Hopper H100-80GB et Blackwell.
Questions et réponses
Le modèle est-il sous licence pour un déploiement commercial ?
Oui, le modèle est disponible sous licence OpenMDW-1.1 pour un usage commercial et non commercial, le modèle de base Gemma 4 restant régi par l'Apache License, Version 2.0.
Quelles sont les performances du modèle face à Qwen 3.5 et Gemma 4 ?
Lors des évaluations NeMo Gym avec quantification Q4_K_M, le modèle a obtenu 71.21 sur RoleBench et 69.29 sur RelyToolBench, surpassant Gemma 4 E4B-it (60.51 et 67.15) et Qwen 3.5 4B (52.35 et 38.34).
Le regard de MOZGII
Comment nous le construirions
Pour déployer un assistant local sur du matériel périphérique, nous associerions un moteur embarqué tel que llama.cpp à un routage strict des fonctions locales. Nous chargerions les poids quantifiés de quatre gigaoctets aux côtés d'un fichier auxiliaire de rédaction afin de maintenir une faible latence sur le matériel local. Nous fournirions au modèle la télémétrie de l'appareil local, les saisies de l'utilisateur et des schémas d'outils définis. Une fine couche logicielle locale traduirait directement les appels d'outils du modèle en commandes matérielles.
Le système flanche lorsque le contexte complexe à plusieurs tours entraîne le dépassement des limites de mémoire ou un formatage incorrect des paramètres d'outils. Pour contrôler l'exécution, nous exécuterions des scripts de validation fondés sur des règles sur chaque appel de fonction généré avant de le transmettre aux pilotes de périphériques. Un administrateur système examinerait les appels d'outils échoués et les saisies utilisateur non traitées enregistrés pendant le fonctionnement. Nous suivrions le temps jusqu'au premier jeton comme indicateur principal.
Ensuite, nous construirions une trajectoire de repli automatisée pour les requêtes qui dépassent les limites de l'agent local. Lorsqu'une saisie nécessiterait un raisonnement plus approfondi ou une mémoire longue au-delà de la fenêtre de soixante-quatre mille jetons, l'agent périphérique acheminerait la charge de travail vers un serveur dans le nuage.
Sources
D’où viennent les faits de cet article.