Nvidia veröffentlicht Nemotron 3.5 Bolt E4B für lokale Edge-Agenten
Nvidia hat am 23. Oktober 2026 Nemotron 3.5 Bolt E4B veröffentlicht und stellt damit nachgelernte offene Gewichte für lokale Edge-Agenten bereit. Das aus Gemma-4-E4B-it entwickelte Modell basiert auf einer Architektur mit 8B Parametern (4B effektive Parameter) und unterstützt Kontextfenster von bis zu 64K Token. Die Veröffentlichung zielt auf eine latenzarme Ausführung für Sprachassistenten, interaktive Personas und Geräteschnittstellen ab, ohne die Systemressourcen übermäßig zu belasten.
Welche Aufgaben das Modell für Unternehmens-Edge-Geräte übernimmt
Nvidia Nemotron 3.5 Edge Agent Deployment übernimmt Aufgaben für lokale Sprachassistenten, interaktive Personas und eingebettete Schnittstellen. Das Modell konzentriert sich auf mehrstufige Werkzeugnutzung, Befolgen von Anweisungen und Eingabeverankerung. Es arbeitet mit geringem Speicherbedarf sowie niedriger Latenz bis zum ersten Token, sodass lokale Agenten schnelle Werkzeugaufrufe ausführen können, während Systemkapazitäten für parallele Software geschont werden.
Benchmarks im Vergleich zu konkurrierenden Modellen
In offiziellen Evaluierungen unter der Nvidia NeMo Gym Testumgebung zeigen Nemotron 3.5 Bolt E4B Benchmarks hohe Werte bei mehrstufiger Werkzeugnutzung und Anweisungsbefolgung. Im quantisierten Q4_K_M-Format erzielte das Modell 71.21 Punkte auf RoleBench, verglichen mit 60.51 für Gemma 4 E4B-it und 52.35 für Qwen 3.5 4B. Auf RoleMRC erreichte es 79.12 gegenüber 75.24 bei Gemma 4 und 62.61 bei Qwen 3.5 4B. Auf InverseIFEval erzielte das Q4_K_M-Modell 45.26 im Vergleich zu 39.75 für Gemma 4 und 22.04 für Qwen 3.5 4B.
Leistung von Nemotron 3.5 Bolt vs Qwen 3.5 4B bei den wichtigsten Tests
Der Vergleich Nemotron 3.5 Bolt vs Qwen 3.5 4B zeigt Unterschiede bei spezifischen Logik- und Werkzeug-Metriken. In der Q4_K_M-Präzision erreichte das Nvidia-Modell 74.13 auf ToolSandbox und 69.29 auf RelyToolBench, während Qwen 3.5 4B auf ToolSandbox 74.51 und auf RelyToolBench 38.34 erzielte. Auf MultiChallenge verzeichnete das quantisierte Nvidia-Modell 55.60 gegenüber 52.23 bei Qwen 3.5 4B.
Wie man das Modell lokal mit Docker ausführt
Entwickler, die erfahren möchten, wie sie Nemotron 3.5 Bolt E4B lokal ausführen können, können das Modell über llama.cpp in Docker-Containern bereitstellen. Die Bereitstellung umfasst das Herunterladen der GGUF-Modelldatei Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf von Hugging Face zusammen mit der optionalen Begleitdatei Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf. Das Ausführen des Server-Images ghcr.io/ggml-org/llama.cpp mit GPU-Beschleunigung stellt einen OpenAI-kompatiblen HTTP-Endpunkt auf Port 8000 für Chat-Vervollständigungen bereit.
Systemspeicheranforderungen und Architektur
Hinsichtlich der Nemotron 3.5 Bolt E4B VRAM Anforderungen ist die quantisierte 4GB-Version für eine speichereffiziente lokale Bereitstellung konzipiert. Die zugrunde liegende Architektur basiert auf Gemma-4-E4B mit 8B Gesamtparametern und 4B effektiven Parametern. Das Modell unterstützt Kontextlängen von bis zu 64K Eingabe- und Ausgabetoken. Es wurde mittels Multi-Environment Reinforcement Learning mit Group Relative Policy Optimization über Umgebungen für Anweisungsbefolgung und mehrstufige Werkzeuge hinweg nachgelernt.
Lizenz und Regeln für den kommerziellen Einsatz
Das Modell wird unter der OpenMDW-1.1-Lizenz veröffentlicht und ist sowohl für den kommerziellen als auch für den nicht-kommerziellen Einsatz bereit. Da es aus Google Gemma-4-E4B-it weiterentwickelt wurde, unterliegt die Nutzung des zugrunde liegenden Gemma 4-Basismodells der Apache License, Version 2.0. Das Stichtagsdatum für die Trainingsdaten liegt im Mai 2026. Zu den unterstützten Betriebssystemen gehört Linux auf NVIDIA Ampere A100, Hopper H100-80GB und Blackwell GPU-Mikroarchitekturen.
Fragen und Antworten
Ist das Modell für den kommerziellen Einsatz lizenziert?
Ja, das Modell ist unter der OpenMDW-1.1-Lizenz sowohl für die kommerzielle als auch für die nicht-kommerzielle Nutzung verfügbar, wobei das Gemma 4-Basismodell der Apache License, Version 2.0 unterliegt.
Wie schneidet das Modell im Vergleich zu Qwen 3.5 und Gemma 4 ab?
In NeMo Gym-Evaluierungen bei Q4_K_M-Quantisierung erzielte das Modell 71.21 auf RoleBench und 69.29 auf RelyToolBench und übertraf damit Gemma 4 E4B-it (60.51 und 67.15) sowie Qwen 3.5 4B (52.35 und 38.34).
Die Sicht von MOZGII
Wie wir es bauen würden
Um einen lokalen Geräteassistenten auf Edge-Hardware einzusetzen, würden wir eine eingebettete Engine wie llama.cpp mit einer strikten lokalen Funktionsweiterleitung kombinieren. Wir würden die vier Gigabyte schweren quantisierten Gewichte zusammen mit einer begleitenden Drafter-Datei laden, um eine geringe Latenz auf lokaler Hardware aufrechtzuerhalten. Wir würden dem Modell lokale Gerätetelemetrie, Benutzereingaben und definierte Werkzeugschemata zuführen. Eine dünne lokale Softwareschicht würde die Werkzeugaufrufe des Modells direkt in Hardwarebefehle übersetzen.
Das System stößt an seine Grenzen, wenn komplexer Mehrschritt-Kontext zu Speicherbegrenzungen oder ungültiger Formatierung von Werkzeugparametern führt. Um die Ausführung zu steuern, würden wir regelbasierte Validierungsskripte für jeden generierten Funktionsaufruf ausführen, bevor dieser an Gerätetreiber übergeben wird. Ein Systemadministrator würde fehlgeschlagene Werkzeugaufrufe und unbehandelte Benutzereingaben prüfen, die während des Betriebs protokolliert werden. Wir würden die Zeit bis zum ersten Token als unsere Hauptkennzahl verfolgen.
Als Nächstes würden wir eine automatisierte Ausweichroute für Anfragen aufbauen, die die Grenzen des lokalen Agenten überschreiten. Wenn eine Eingabe tieferes Logikverständnis oder ein langes Gedächtnis über das Fenster von vierundsechzigtausend Token hinaus erfordert, würde der Edge-Agent die Arbeitslast an einen Cloud-Server leiten.
Quellen
Woher die Fakten dieser Meldung stammen.