Nvidia выпустила Nemotron 3.5 Bolt E4B для локальных ИИ-агентов
Nvidia выпустила Nemotron 3.5 Bolt E4B 23 октября 2026 года, предоставив открытые веса после дообучения для локальных и периферийных ИИ-агентов. Модель создана на основе Gemma-4-E4B-it, имеет архитектуру с 8B параметров (из которых 4B эффективные) и поддерживает контекст до 64K токенов. Релиз предназначен для работы с минимальной задержкой в голосовых помощниках, интерактивных персонажах и интерфейсах устройств с сохранением вычислительных ресурсов системы.
Какую задачу модель решает на периферийных устройствах
Развертывание периферийных ИИ-агентов Nvidia Nemotron 3.5 ориентировано на задачи локальных голосовых помощников, интерактивных персонажей и встроенных интерфейсов. Модель сфокусирована на многошаговом вызове инструментов, следовании инструкциям и привязке к входным данным. Она работает с низкими затратами памяти и минимальной задержкой до первого токена, что позволяет локальным агентам быстро вызывать инструменты и сохранять ресурсы для соседнего ПО.
Бенчмарки в сравнении с конкурирующими моделями
В официальных тестах Nvidia NeMo Gym бенчмарки Nemotron 3.5 Bolt E4B показывают высокие результаты при вызове инструментов и следовании инструкциям. В формате квантования Q4_K_M модель набрала 71.21 балла в RoleBench против 60.51 у Gemma 4 E4B-it и 52.35 у Qwen 3.5 4B. В тесте RoleMRC показатель составил 79.12 против 75.24 у Gemma 4 и 62.61 у Qwen 3.5 4B. В InverseIFEval версия Q4_K_M показала 45.26 против 39.75 у Gemma 4 и 22.04 у Qwen 3.5 4B.
Сравнение Nemotron 3.5 Bolt и Qwen 3.5 4B на ключевых тестах
Сравнение Nemotron 3.5 Bolt и Qwen 3.5 4B демонстрирует различия в метриках рассуждения и работы с инструментами. В точности Q4_K_M модель Nvidia получила 74.13 в ToolSandbox и 69.29 в RelyToolBench, тогда как Qwen 3.5 4B набрала 74.51 в ToolSandbox и 38.34 в RelyToolBench. В тесте MultiChallenge квантованная модель Nvidia зафиксировала результат 55.60 против 52.23 у Qwen 3.5 4B.
Как запустить модель локально с помощью Docker
Разработчики, изучающие вопрос, как запустить Nemotron 3.5 Bolt E4B локально, могут развернуть модель через llama.cpp в контейнерах Docker. Процесс включает скачивание файла GGUF Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf с Hugging Face вместе с опциональным вспомогательным файлом спекулятивного декодирования Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf. Запуск образа сервера ghcr.io/ggml-org/llama.cpp с GPU-ускорением открывает совместимый с OpenAI HTTP-эндпоинт на порту 8000 для генерации ответов.
Системные требования к памяти и архитектура
Что касается требований к VRAM для Nemotron 3.5 Bolt E4B, квантованная версия на 4GB спроектирована для локального развертывания с малым объемом памяти. Базовая архитектура опирается на Gemma-4-E4B с 8B общих и 4B эффективных параметров. Модель поддерживает длину контекста до 64K входных и выходных токенов. Дообучение проходило методом обучения с подкреплением в нескольких средах с алгоритмом GRPO (Group Relative Policy Optimization) для задач следования инструкциям и диалогового вызова инструментов.
Лицензия и правила коммерческого использования
Модель выпущена под лицензией OpenMDW-1.1 и готова к коммерческому и некоммерческому использованию. Поскольку она дообучена на базе Google Gemma-4-E4B-it, использование базовой модели Gemma 4 регулируется лицензией Apache License, Version 2.0. Дата среза данных post-training: май 2026 года. Поддерживаемые операционные системы включают Linux на микроархитектурах NVIDIA Ampere A100, Hopper H100-80GB и Blackwell.
Вопросы и ответы
Разрешена ли модель для коммерческого использования?
Да, модель доступна по лицензии OpenMDW-1.1 для коммерческого и некоммерческого использования, а базовая модель Gemma 4 регулируется лицензией Apache License, Version 2.0.
Как модель показывает себя в сравнении с Qwen 3.5 и Gemma 4?
В тестах NeMo Gym при квантовании Q4_K_M модель набрала 71.21 балла в RoleBench и 69.29 в RelyToolBench, превзойдя Gemma 4 E4B-it (60.51 и 67.15) и Qwen 3.5 4B (52.35 и 38.34).
Взгляд MOZGII
Как бы мы это построили
Чтобы развернуть локального ассистента устройства на краевом оборудовании, мы бы объединили встроенный движок вроде llama.cpp со строгой маршрутизацией локальных функций. Мы бы загрузили квантованные веса размером в четыре гигабайта вместе с сопроводительным файлом-черновиком для сохранения низкой задержки на локальном оборудовании. Мы бы передавали модели телеметрию локального устройства, пользовательский ввод и заданные схемы инструментов. Тонкий слой локального программного обеспечения переводил бы вызовы инструментов модели напрямую в аппаратные команды.
Система дает сбой, когда сложный многошаговый контекст приводит к превышению лимитов памяти или неверному форматированию параметров инструмента. Для контроля исполнения мы бы запускали скрипты валидации на основе правил для каждого сгенерированного вызова функции перед его передачей драйверам устройств. Системный администратор проверял бы сбои вызовов инструментов и необработанный пользовательский ввод, записанные во время работы. Мы бы отслеживали время до первого токена в качестве нашей основной метрики.
Затем мы бы построили автоматический маршрут резервирования для запросов, которые выходят за рамки лимитов локального агента. Когда ввод требует более глубоких рассуждений или длинной памяти за пределами окна в шестьдесят четыре тысячи токенов, краевой агент перенаправлял бы нагрузку на облачный сервер.
Источники
Откуда взяты факты этой новости.