この記事の結論

NVIDIAは9月、Nemotron 3.5 Lightningを例に、モデル構造の選び方とAIエージェントの評価方法を解説する記事を公開。導入前の評価設計に役立つ内容です。

概要：モデルの選び方と評価の仕方を2本の記事で解説

NVIDIAの開発者向けブログは、2026年9月15日に「Dense vs. MoE Models」、9月21日に「How to Evaluate AI Agents From Tool Calls to Task Completion」という2本の解説記事を公開しました。どちらも、8月に公開されたNemotron 3.5 Lightningを具体例として取り上げています。

1本目は、全パラメータを毎回使う「密（Dense）モデル」と、一部の専門部分だけを使う「MoE（Mixture of Experts）モデル」の違いと選び方を説明するものです。2本目は、AIエージェントを「個々のツール呼び出しが正しいか」ではなく「作業が最後まで完了したか」で評価する考え方と、その指標を整理したものです。

Nemotron 3.5 Lightning自体の発表は当サイトで既に取り上げていますが、今回の2本はモデルの紹介ではなく、自社でモデルを選び、エージェントを評価するための実務的な考え方をまとめた内容です。NemoClawで使うモデルを選ぶ際や、社内のエージェントを本番に出すかどうかを判断する際の参考になります。

密モデルとMoE：メモリと計算を分けて考える

MoEの記事によると、Nemotron 3.5 Lightningは総パラメータ30Bのうち、1トークンあたり3Bだけを使うMoE構造です。さらにMamba-2層と注意機構を組み合わせたハイブリッド構造で、推測的デコーディングも使っています。

記事の要点は、MoEは「メモリの費用」と「計算の費用」を切り離すという点です。すべての専門部分をGPUメモリに載せる必要があるため、必要なメモリ量は総パラメータで決まります。30BのMoEと30Bの密モデルは、どちらもおよそ60GBが必要です。一方で1トークンあたりの計算量は実際に使うパラメータ分だけなので、処理速度では有利になります。

記事の比較表（Artificial Analysisの2026年8月31日取得データ）では、同じく約30Bの密モデルGemma 4 31Bの出力速度が毎秒36.9〜222.4トークン、100万出力トークンあたり0.40ドルだったのに対し、Nemotron 3.5 Lightningは毎秒235.7〜494.2トークン、0.22ドルでした。ただし総合的な能力の指標ではQwen3.8-27Bの半分未満で、記事自身も「決まった手順を大量にこなす実行層には向くが、1回の難しい推論で結果が決まる用途には向かない」と整理しています。

どちらを選ぶかの判断軸

記事は、選択の判断軸として4点を挙げています。第一にメモリの予算で、同じ総パラメータなら必要メモリはほぼ同じため、「その容量を能力に使うか（密）、速度に使うか（MoE）」の違いになります。第二に同時接続数で、MoEは単一リクエストで明確に有利ですが、同時接続が増えると遅延の差は縮まります。

第三に追加学習の予定です。密モデルの追加学習は単純ですが、MoEを全面的に学習し直すと、振り分けを担うルーターが偏り、一部の専門部分ばかりが使われる恐れがあります。LoRAなどの部分的な学習やルーターの固定で避けられ、NeMoの教師ありファインチューニングのレシピはLightningについてこれを正しく扱うと記事は述べています。

第四に量子化（モデルの軽量化）です。MoEではルーターが、ハイブリッド注意機構のモデルでは再帰的な射影部分が量子化の影響を受けやすいとされます。NemoClawで社内GPUにモデルを載せる場合、量子化版を選ぶ前にこの点を意識しておくとよいでしょう。

エージェント評価：ツール呼び出しより「作業完了」で測る

評価の記事は、個々の関数呼び出しの正しさだけを見る評価では不十分だと指摘します。例えば返金処理の呼び出し自体が正しくても、前後の確認や更新を飛ばしていれば作業は失敗です。そのため、各操作を実際に実行し、状態の変化を追い、最後に目的の状態になったかを確かめる実行環境が必要になると説明しています。

評価は2層で行います。各ステップが妥当だったかを見る「ステップ単位の評価」と、途中は問わず最終状態だけを見る「エンドツーエンドの評価」です。記事は、利用者が実際に体験するのはエンドツーエンドの結果であり、本番投入の判断はこちらで行い、ステップ単位の記録は原因調査に使うのが一般的だとしています。

記録すべき指標として、作業成功率、3〜5回の試行での成功率の幅（一貫性）、ツール呼び出しの精度、引数の正確さ、成功1件あたりのステップ数、成功1件あたりのコストが挙げられています。例えば1回目90%、2回目74%と振れるモデルは、安定して84%を出すモデルより信頼しにくく、成功率は1つの数字ではなく「82〜88%」のような幅で報告すべきだとしています。Nemotron 3.5 Lightningについては、PinchBenchで86%の正答率を出し、同程度の正答率のQwen3.6 35Bより30%速く1万件のタスクを終えたと紹介されています。

日本の中小企業・情シスが評価を始める手順

評価の記事は、自社の業務で評価する手順を次のように示しています。

  1. 公開されているエージェント用ベンチマークを回し、3〜5回の試行で成功率とその幅を記録して、最低ラインを把握する。
  2. 実際の問い合わせ記録や業務の手順、社内APIから自社用の評価セットを作る。判定は、データベースの行や処理済みのチケットなど、環境の状態で行う。
  3. その分布に合わせてモデルとエージェントの仕組みを調整する。
  4. 成功率、一貫性、成功1件あたりのステップ数とコストを測り直し、ステップ単位の記録は原因調査用に残す。

記事は、公開ベンチマークの点数は有用な目安だが、本番投入の判断基準にすべきではないとも述べています。日本の中小企業であれば、まず社内の定型業務を10〜20件のタスクとして書き出し、NemoClawのサンドボックス内でエージェントに実行させて、最終的な状態が正しいかを確認するところから始めるのが現実的です（この件数は当サイトの目安で、記事の推奨値ではありません）。

出典