この記事の結論

NVIDIAは9月16日、NemoClawで3Dシーンをロボット向けに整える手順を公開。22日のIsaac ROS 5.0発表でもNemoClawとROSをつなぐ事例が紹介されました。

概要：NemoClawの用途がロボット開発に広がる

NVIDIAの開発者向けブログは2026年9月16日、AIエージェントを使って3Dシーンをロボットのシミュレーション用に準備する手順を解説する記事を公開しました。この中でNVIDIA NemoClawは、専門作業を担う「サブエージェント」を組み立てるための参照構成（リファレンスアーキテクチャ）として使われています。

また9月22日には、ロボット開発の定番フレームワークROS向けのGPU高速化パッケージ群「NVIDIA Isaac ROS 5.0」が、カナダ・トロントで開かれたROSConで発表されました。その発表ブログでも、NemoClawのブループリントとNemotronをIsaac ROSにつなぐオープンソースプロジェクト「AgenticROS」が紹介されています。

当サイトでは6月にも、COMPUTEX 2026で発表されたNemoClawのJetson対応とヒューマノイドロボット連携を取り上げました。今回の2つは、3Dシーンの準備という具体的な作業手順と、ROSとの接続という形で、ロボット開発の中でNemoClawが専門エージェントの土台として使われている事例です。

3Dシーン準備の流れ：統括役とNemoClawのサブエージェント

解説記事の構成では、CodexやClaudeといった汎用エージェントが全体を統括し、NemoClawで展開したHermesのサブエージェントが個別の作業を担当します。サブエージェントは、NVIDIA Omniverseのライブラリを道具として使い、シーンを実際に操作します。記事はこの役割分担を「統括はCodexかClaude、推論はNemoClawのエージェント、実作業はOmniverseのライブラリ」とまとめています。

作業は8段階に分かれています。BlenderにMCP（Model Context Protocol）サーバー経由で接続してシーンの内容を棚卸しし、シーンをOpenUSD形式に書き出し、棚や箱、床、つかめる物体といった意味ラベルを付け、材質にシミュレーション用の情報を加え、カメラやLiDARなどのセンサーを配置します。その後、物理演算用のovphysxで衝突形状や質量、摩擦を設定し、描画用のovrtxで確認用の画像を作り、最後にSimReadyの検証を通してIsaac SimやIsaac Labへ引き渡します。

記事は、安全で機械的な修正は自動で行い、ラベルが不確かな物体や物理的なふるまいの判断など、開発者の意図に左右される点は人に確認を求める設計を勧めています。例として「検証で14件の問題、うち10件は自動修正可能、4件は要確認」という報告の形が示されています。

Isaac ROS 5.0：エージェントと人が一緒にロボットを作る

Isaac ROS 5.0について、NVIDIAは「人とAIエージェントが一緒にロボットを作るのを助ける」と説明しています。ROSの新しい版であるROS LyricalとUbuntu 24.04に対応し、セットアップやマニピュレーション（物をつかむ操作）のための再利用可能な「スキル」、AIエージェントが読みやすい形に整えた文書が加わりました。

スキルの例として、開発者のカメラや環境に合わせてステレオ深度推定モデルを調整するFoundationStereoの微調整スキル、物体の位置と向きの推定を最大5.5倍速くするFoundationPoseの推論ライブラリ、検出・深度推定・姿勢出力をつなぐピックアンドプレースのスキルが挙げられています。

エコシステムの事例としては、3DカメラのRealSenseが支援するオープンソースプロジェクト「AgenticROS」が紹介されました。Isaac ROSをNemotronのオープンモデルとNemoClawのブループリントにつなぎ、AIエージェントがROSベースのロボットとやり取りできるようにするものです。NVIDIAは、Isaac ROSを130万人近いROS利用者に向けて、GPUによる高速化やAIモデル、ライブラリを無料のオープンソースで提供するものと説明しています。

日本の製造業・ロボット開発者にとっての意味

解説記事は、ロボットの学習がうまく進まない原因は方策やモデルよりも前段の「シミュレーションに使える世界が無いこと」にある場合が多いと指摘しています。3Dシーンをその状態に整える作業は手間と時間がかかり、ロボットのシミュレーションを担当する技術者の本来の担当範囲から外れることも多い、というのが記事の説明です。3Dシーンの整備をエージェントに任せる流れは、この課題に直接効く可能性があります。

ただし、今回公開されたのは手順と参照構成であり、そのまま使える完成品ではありません。記事中の構成は、統括役にCodexを使う例や、Blender用のMCPサーバー、Omniverseのライブラリなど複数の要素を組み合わせたものです。自社で試す場合は、まず小さなシーン1つで、ラベル付けや衝突形状の設定がどこまで自動化できるかを確かめるのが現実的です。

NemoClawの立場から見ると、専門作業ごとにサブエージェントを分け、それぞれに受け入れ基準を持たせる設計は、ロボット以外の業務エージェントにも応用できる考え方です。

試す前に確認したいこと

  1. 統括役のエージェントに何を使うか：記事ではCodexとClaudeが例示されています。社内規程で利用できるサービスかを先に確認してください。
  2. サブエージェントの実行環境：NemoClawで動かすHermesなどのサブエージェントは、OpenShellの隔離環境の中で動きます。3Dデータや設計データを扱う場合は、ネットワークポリシーで外部への送信先を絞っておくと安心です。
  3. 人の確認をどこに入れるか：記事は、判断があいまいな箇所を人に回す設計を前提にしています。自社の品質基準に照らして、どの判断を自動化してよいかを事前に決めておくことが重要です。

なお、NemoClawの基盤であるOpenShellは9月25日に0.1.0へ大きく更新されましたが、NemoClaw側は9月27日時点で0.0.116に固定しています。新たに環境を作る場合もNemoClawの手順に従ってください。

出典