Nvidia ने लॉन्च किया Nemotron 3.5 Bolt E4B: लोकल edge agents के लिए नया AI मॉडल
Nvidia ने 23 अक्टूबर 2026 को Nemotron 3.5 Bolt E4B लॉन्च किया, जो लोकल और edge agent वर्कलोड के लिए पोस्ट-ट्रेन्ड ओपन वेट्स प्रदान करता है। Gemma-4-E4B-it से पोस्ट-ट्रेन किया गया यह मॉडल 8B पैरामीटर आर्किटेक्चर और 4B इफेक्टिव पैरामीटर्स के साथ आता है और 64K टोकन तक के कॉन्टेक्स्ट विंडोज को सपोर्ट करता है। यह रिलीज़ सिस्टम कंप्यूट ओवरहेड को बनाए रखते हुए वॉइस असिस्टेंट्स, इंटरएक्टिव पर्सना और डिवाइस इंटरफेस के लिए लो-लेटेंसी एग्जीक्यूशन की सुविधा देता है।
enterprise edge devices के लिए मॉडल कौन से टास्क संभालता है
Nvidia Nemotron 3.5 edge agent deployment लोकल वॉइस असिस्टेंट्स, इंटरएक्टिव पर्सना और एम्बेडेड इंटरफेस के लिए टास्क संभालता है। यह मॉडल मल्टी-टर्न टूल यूज़, इंस्ट्रक्शन फॉलोइंग और इनपुट ग्राउंडिंग पर ध्यान केंद्रित करता है। यह कम मेमोरी ओवरहेड और कम time-to-first-token लेटेंसी के साथ काम करता है, जिससे लोकल एजेंट्स निकटवर्ती सॉफ़्टवेयर के लिए सिस्टम क्षमता सुरक्षित रखते हुए तेज़ी से टूल कॉल निष्पादित कर सकते हैं।
प्रतिस्पर्धी मॉडल्स की तुलना में benchmarks
Nvidia NeMo Gym harness के तहत आधिकारिक मूल्यांकन में, Nemotron 3.5 Bolt E4B benchmarks मल्टी-टर्न टूल यूज़ और इंस्ट्रक्शन फॉलोइंग में उच्च स्कोर दिखाते हैं। Q4_K_M क्वांटाइज्ड फ़ॉर्मेट में, मॉडल ने RoleBench पर 71.21 स्कोर किया, जबकि Gemma 4 E4B-it ने 60.51 और Qwen 3.5 4B ने 52.35 स्कोर किया। RoleMRC पर, यह 79.12 तक पहुंचा, जबकि Gemma 4 का स्कोर 75.24 और Qwen 3.5 4B का स्कोर 62.61 था। InverseIFEval पर, Q4_K_M मॉडल ने 45.26 हासिल किया, जबकि Gemma 4 का स्कोर 39.75 और Qwen 3.5 4B का स्कोर 22.04 था।
प्रमुख टेस्ट्स में Nemotron 3.5 Bolt vs Qwen 3.5 4B का प्रदर्शन
Nemotron 3.5 Bolt vs Qwen 3.5 4B की तुलना विशिष्ट रीज़निंग और टूल-हैंडलिंग मीट्रिक्स में अंतर उजागर करती है। Q4_K_M प्रिसिजन में, Nvidia मॉडल ToolSandbox पर 74.13 और RelyToolBench पर 69.29 तक पहुंच गया, जबकि Qwen 3.5 4B ने ToolSandbox पर 74.51 और RelyToolBench पर 38.34 स्कोर किया। MultiChallenge पर, क्वांटाइज्ड Nvidia मॉडल ने 55.60 दर्ज किया, जबकि Qwen 3.5 4B का स्कोर 52.23 था।
Docker का उपयोग करके मॉडल को locally कैसे चलाएं
डेवलपर्स जो यह सीख रहे हैं कि how to run Nemotron 3.5 Bolt E4B locally, वे Docker कंटेनरों के भीतर llama.cpp के जरिए मॉडल डिप्लॉय कर सकते हैं। डिप्लॉयमेंट में Hugging Face से GGUF मॉडल फ़ाइल Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf के साथ-साथ वैकल्पिक साथी ड्राफ्टर फ़ाइल Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf डाउनलोड करना शामिल है। GPU एक्सीलरेशन के साथ ghcr.io/ggml-org/llama.cpp सर्वर इमेज चलाने से चैट कॉम्प्लीशन्स के लिए पोर्ट 8000 पर एक OpenAI-संगत HTTP एंडपॉइंट एक्सपोज़ होता है।
सिस्टम मेमोरी आवश्यकताएं और आर्किटेक्चर
Nemotron 3.5 Bolt E4B VRAM requirements के संबंध में, 4GB क्वांटाइज्ड संस्करण लो-मेमोरी लोकल डिप्लॉयमेंट के लिए इंजीनियर किया गया है। अंतर्निहित आर्किटेक्चर Gemma-4-E4B पर आधारित है, जिसमें 8B कुल पैरामीटर और 4B प्रभावी पैरामीटर हैं। मॉडल 64K इनपुट और आउटपुट टोकन तक के कॉन्टेक्स्ट लेंथ को सपोर्ट करता है। इसे इंस्ट्रक्शन फॉलोइंग और मल्टी-टर्न टूल एनवायरनमेंट में Group Relative Policy Optimization के साथ मल्टी-एनवायरनमेंट रीइन्फोर्समेंट लर्निंग का उपयोग करके पोस्ट-ट्रेन किया गया था।
लाइसेंस और कमर्शियल डिप्लॉयमेंट के नियम
मॉडल OpenMDW-1.1 लाइसेंस के तहत जारी किया गया है और कमर्शियल व नॉन-कमर्शियल दोनों डिप्लॉयमेंट के लिए तैयार है। चूंकि इसे Google Gemma-4-E4B-it से आगे पोस्ट-ट्रेन किया गया था, इसलिए अंतर्निहित Gemma 4 बेस मॉडल का उपयोग Apache License, Version 2.0 द्वारा शासित होता है। पोस्ट-ट्रेनिंग डेटा के लिए कटऑफ तिथि मई 2026 है। समर्थित ऑपरेटिंग सिस्टम में NVIDIA Ampere A100, Hopper H100-80GB और Blackwell GPU माइक्रोआर्किटेक्चर पर Linux शामिल है।
सवाल और जवाब
क्या मॉडल कमर्शियल डिप्लॉयमेंट के लिए लाइसेंस प्राप्त है?
हाँ, मॉडल कमर्शियल और नॉन-कमर्शियल दोनों उपयोग के लिए OpenMDW-1.1 लाइसेंस के तहत उपलब्ध है, जिसमें बेस Gemma 4 मॉडल Apache License, Version 2.0 द्वारा शासित है।
Qwen 3.5 और Gemma 4 की तुलना में मॉडल कैसा प्रदर्शन करता है?
Q4_K_M क्वांटाइजेशन में NeMo Gym मूल्यांकनों में, मॉडल ने RoleBench पर 71.21 और RelyToolBench पर 69.29 स्कोर किया, जो Gemma 4 E4B-it (60.51 और 67.15) और Qwen 3.5 4B (52.35 और 38.34) से बेहतर प्रदर्शन करता है।
MOZGII की राय
हम इसे कैसे बनाते
एज हार्डवेयर पर लोकल डिवाइस असिस्टेंट को तैनात करने के लिए, हम llama.cpp जैसे एम्बेडेड इंजन को सख्त लोकल फ़ंक्शन राउटिंग के साथ जोड़ते। हम लोकल हार्डवेयर पर कम लेटेंसी बनाए रखने के लिए साथी ड्राफ़्टर फ़ाइल के साथ चार गीगाबाइट के क्वॉन्टाइज़्ड वेट्स लोड करते। हम मॉडल को लोकल डिवाइस टेलीमेट्री, यूज़र इनपुट और परिभाषित टूल स्कीमा फ़ीड करते। एक पतली लोकल सॉफ्टवेयर लेयर मॉडल टूल कॉल्स को सीधे हार्डवेयर कमांड्स में बदलती।
जब जटिल मल्टी-टर्न संदर्भ के कारण मेमोरी सीमाएं या अमान्य टूल पैरामीटर फ़ॉर्मैटिंग होती है, तो सिस्टम विफल हो जाता है। एग्जीक्यूशन को नियंत्रित करने के लिए, हम डिवाइस ड्राइवर्स को पास करने से पहले हर जेनरेट की गई फ़ंक्शन कॉल पर नियम-आधारित वैलिडेशन स्क्रिप्ट्स चलाते। एक सिस्टम एडमिनिस्ट्रेटर ऑपरेशन के दौरान लॉग की गई विफल टूल कॉल्स और अनहैंडल यूज़र इनपुट्स की समीक्षा करता। हम अपने मुख्य मीट्रिक के रूप में टाइम टू फ़र्स्ट टोकन को ट्रैक करते।
इसके बाद, हम उन प्रश्नों के लिए एक स्वचालित फ़ॉलबैक रूट बनाते जो लोकल एजेंट की सीमाओं से बाहर हैं। जब किसी इनपुट को चौंसठ हज़ार टोकन विंडो से परे गहरे तर्क या लंबी मेमोरी की आवश्यकता होती, तो एज एजेंट वर्कलोड को क्लाउड सर्वर पर रूट कर देता।
स्रोत
इस खबर के तथ्य इन स्रोतों से लिए गए हैं।