Nvidia、ローカルエッジAI向けモデル「Nemotron 3.5 Bolt E4B」を公開
Nvidiaは2026年10月23日、ローカルおよびエッジAIのワークロード向けに事後学習済みのオープンウェイトモデル「Nemotron 3.5 Bolt E4B」を公開しました。本モデルはGemma-4-E4B-itをベースにファインチューニング（事後学習）されたもので、実効パラメータ数4Bを含む総パラメータ数8Bのアーキテクチャを採用し、最大64Kトークンのコンテキストウィンドウに対応しています。システム全体の計算コストを抑えつつ、音声アシスタントや対話型ペルソナ、デバイスインターフェースにおける低遅延処理を実現します。
企業向けエッジデバイスでモデルが担うタスク
Nvidia Nemotron 3.5のエッジエージェント導入により、ローカル音声アシスタントや対話型ペルソナ、組み込みインターフェースにおけるタスク処理が可能になります。このモデルは、複数ターンのツール利用、指示追従、入力グラウンディング（根拠付け）に特化しています。低いメモリオーバヘッドと高速な初期トークン生成時間（Time-to-First-Token）で動作するため、隣接するソフトウェアの計算容量を維持しながら、ローカルエージェントによる迅速なツール呼び出しを実行できます。
競合モデルと比較したベンチマーク結果
Nvidia NeMo Gymハーネスを用いた公式評価において、Nemotron 3.5 Bolt E4Bのベンチマークは、複数ターンのツール利用と指示追従で高いスコアを記録しました。Q4_K_M量子化フォーマットでは、RoleBenchで71.21を記録し、Gemma 4 E4B-itの60.51やQwen 3.5 4Bの52.35を上回りました。RoleMRCでは79.12に達し、Gemma 4の75.24、Qwen 3.5 4Bの62.61を凌駕しました。また、InverseIFEvalにおいてQ4_K_Mモデルは45.26を達成し、Gemma 4の39.75やQwen 3.5 4Bの22.04と比較して優れた精度を示しました。
主要テストにおけるNemotron 3.5 BoltとQwen 3.5 4Bの性能比較
Nemotron 3.5 BoltとQwen 3.5 4Bの比較により、推論およびツール処理に関する特定の指標において明確な違いが明らかになりました。Q4_K_M精度において、NvidiaモデルはToolSandboxで74.13、RelyToolBenchで69.29を記録したのに対し、Qwen 3.5 4BはToolSandboxで74.51、RelyToolBenchで38.34となりました。MultiChallengeでは、量子化されたNvidiaモデルが55.60を記録し、Qwen 3.5 4Bの52.23を上回りました。
Dockerを使用してモデルをローカルで実行する方法
Nemotron 3.5 Bolt E4Bをローカルで実行する方法を調べる開発者は、Dockerコンテナ内のllama.cppを介してデプロイできます。導入にあたっては、Hugging FaceからGGUFモデルファイル「Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf」と、オプションのドラフター用ファイル「Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf」をダウンロードします。GPUアクセラレーションを有効にした状態でghcr.io/ggml-org/llama.cppのサーバーイメージを実行すると、ポート8000でチャット補完用のOpenAI互換HTTPエンドポイントが公開されます。
システムメモリ要件とアーキテクチャ
Nemotron 3.5 Bolt E4BのVRAM要件に関して、4GB量子化バージョンは低メモリのローカルデプロイメント向けに設計されています。ベースとなるアーキテクチャはGemma-4-E4Bに基づいており、総パラメータ数は8B、実効パラメータ数は4Bです。本モデルは、入力および出力で最大64Kトークンのコンテキスト長をサポートします。指示追従および複数ターンツール環境において、GRPO（Group Relative Policy Optimization）を用いたマルチ環境強化学習により事後学習が行われました。
ライセンスと商用利用の規約
本モデルはOpenMDW-1.1ライセンスの下で公開されており、商用および非商用の双方でデプロイ可能です。Google Gemma-4-E4B-itからさらに事後学習されたモデルであるため、ベースとなるGemma 4モデルの使用にはApache License, Version 2.0が適用されます。事後学習データのカットオフ日は2026年5月です。サポートされているオペレーティングシステムには、NVIDIA Ampere A100、Hopper H100-80GB、およびBlackwell GPUマイクロアーキテクチャ上のLinuxが含まれます。
質疑応答
このモデルは商用デプロイ用にライセンスされていますか？
はい。本モデルはOpenMDW-1.1ライセンスに基づき商用および非商用利用が可能であり、ベースとなるGemma 4モデルにはApache License, Version 2.0が適用されます。
Qwen 3.5やGemma 4と比較した性能はどうですか？
Q4_K_M量子化におけるNeMo Gymの評価では、RoleBenchで71.21、RelyToolBenchで69.29のスコアを記録し、Gemma 4 E4B-it（60.51および67.15）やQwen 3.5 4B（52.35および38.34）を上回りました。
MOZGIIの視点
私たちならこう作ります
エッジハードウェア上にローカルのデバイスアシスタントを配備するなら、私たちが採用するのはllama.cppのような組み込みエンジンと厳格なローカル機能ルーティングの組み合わせでしょう。ローカルハードウェアでの低遅延を維持するため、四ギガバイトの量子化重みと同伴ドラフターファイルを読み込むでしょう。モデルには端末のテレメトリ、ユーザー入力、定義済みツールスキーマを供給するでしょう。軽量なローカルソフトウェア層が、モデルのツール呼び出しをハードウェアコマンドへ直接変換するでしょう。
複雑なマルチターンの対話履歴によってメモリ上限に達したり、無効なツールパラメータ形式が発生したりすると、システムは不具合を起こします。実行を確実に制御するため、私たちが実施するのは、生成されたすべての関数呼び出しをデバイスドライバーに渡す前に、ルールベースの検証スクリプトでチェックすることでしょう。システム管理者は、運用中にログ記録された失敗したツール呼び出しや未処理のユーザー入力を確認することになるでしょう。主要な指標としては、最初のトークンが出力されるまでの時間を追跡するでしょう。
次に、ローカルエージェントの限界を超えるクエリに対して、自動フォールバックルートを構築するでしょう。入力が六万四千トークンのウィンドウを超える深い推論や長期記憶を必要とする場合、エッジエージェントは処理負担をクラウドサーバーへルーティングするでしょう。
出典
この記事の事実の出典です。