米NVIDIAは、自律的に動作するAIエージェントを安全に運用するためのオープンな安全基盤「NVIDIA Open Agent Safety Platform」を発表した。
AIエージェントは、質問に答えるだけでなく、自らコードを書いたり、外部サービスやデータベースに接続したりしながら、複数の作業を進められるようになっている。企業の業務自動化やソフトウェア開発、半導体設計、ロボット制御など、AIが実際のシステムを操作する場面も増えている。
一方で、AIエージェントに大きな権限を与えるほど、想定していなかったファイルへのアクセスや、許可していないサービスとの通信、機密情報の外部送信といったリスクも大きくなる。長時間動作するエージェントが別のAIエージェントを呼び出して作業するケースもあり、最初に決めたルールだけで動きを管理することは難しくなっている。
そこでNVIDIAは、AIエージェントが利用できるファイルやネットワーク、APIなどを細かく制御し、その動作を監視できる安全基盤を提供する。ソフトウェアによるアクセス制御に加え、必要に応じて専用ハードウェアからエージェントを監視する仕組みも組み合わせ、AIが許可された範囲を超えて動作することを防ぐ。
自律的に動くAIが抱える新たな課題、権限をどう安全に与えるか
これまでAIの安全対策では、AIモデルに危険な指示を拒否させたり、安全な回答を返すよう学習させたりする方法が中心だった。こうした対策は重要だが、AIエージェントが実際にどのファイルへアクセスし、どこへ通信し、どのAPIを操作できるのかまで細かく制限するには別の仕組みも必要になる。
「NVIDIA Open Agent Safety Platform」は、AIモデルの判断だけに頼らず、AIエージェントが動作する環境そのものを管理するための基盤として設計された。NVIDIAは、Webが普及した時代にブラウザのサンドボックスや暗号化通信などがインターネットサービスの安全性を支えたように、AIエージェントの普及にも動作環境を守る仕組みが必要になると説明している。
プラットフォームを構成するのは、オープンソースの「OpenShell」と、ハードウェアからAIエージェントを監視する「NVIDIA Sentry」だ。
OpenShellは、Apache 2.0ライセンスで公開されるセキュアな実行環境。AIエージェントと企業のシステムの間に入り、ファイルシステム、ネットワーク、API、認証情報などへのアクセスを管理する。
AIエージェントはカーネルレベルで隔離されたサンドボックス内で動作し、OpenShellの「Supervisor」が外部との通信や処理を監視する。
ネットワークについては、接続先のIPアドレスやポートだけを管理する仕組みではなく、通信の中身まで確認できる。HTTPやREST、GraphQL、Model Context Protocol（MCP）などを対象に、APIの読み取りは許可しながら書き込みは拒否するといった細かなルールを設定できる。
たとえばGitHubのAPIを利用するAIエージェントに対して、データの取得は許可しながら、リポジトリへの書き込みは止めるといった設定が可能になる。
ファイルへのアクセスも同様だ。システム領域を読み取り専用にし、「/tmp」などの一時領域だけ書き込みを許可するといったルールを設定できる。利用できるプログラムも指定できるため、AIエージェントが必要以上にシステムへアクセスすることを防げる。
認証情報の保護にも対応する。AIエージェントには本物のAPIキーを渡さず、ダミーのキーを渡しておく。本物のキーはエージェントの外側で管理し、設定されたルールに合う通信だけ、本物のキーへ置き換えて送信する。この仕組みなら、AIエージェントがAPIキーを探しても、本物のキーそのものに触れることができない。
OpenShellには「Policy Prover」も搭載する。設定したアクセスルールに問題がないかを、数理的な方法で事前に検証する機能だ。AIに安全かどうかを判断させるのではなく、決められたルールをもとに検証するため、NVIDIAによれば判定処理はLLMを使った方法と比べて約100倍高速になるという。
複数のAIエージェントが連携する場合も、別のエージェントを経由して制限を回避できる経路がないかを確認できる。
また、AIエージェントが作業中に権限不足に直面した場合は、エージェント自身が一時的なポリシー変更を提案することもできる。人間が承認すれば、サンドボックスを再起動することなく作業を続けられる。
OpenShellはx86とArmの両方に対応しており、NVIDIA Vera CPUを含むさまざまなCPU環境で利用できる。Docker、Podman、MicroVM、Kubernetesなどにも対応し、既存のコンテナや仮想マシン、クラウド環境へ組み込みやすい設計になっている。
OpenShellで権限を制御、BlueField-4のSentryで独立した監視も可能
より高い安全性が求められる環境向けに用意されるのが「NVIDIA Sentry」だ。
Sentryは、NVIDIAのDPU「BlueField-4」上で動作する監視機能。AIエージェントが動くCPUやホストOSとは独立したセキュリティ領域で動作するため、ホスト側が攻撃を受けた場合にも監視を続けられる。
ここでOpenShellとSentryの役割が分かれる。Vera CPUなどのホスト側ではOpenShellがAIエージェントを動かし、ファイルやネットワークへのアクセスを管理する。一方、BlueField-4側ではSentryが外側からAIエージェントの動きを監視する。
SentryはAIエージェントの思考プロセス（Chain of Thought）やログをリアルタイムで監視し、通常とは異なる動きや「ドリフト（本来の指示からの脱線）」を検知すると、ミリ秒単位でエージェントを無効化したり、隔離したりできるという。
たとえば、一般的な業務自動化ではCPU上のOpenShellを利用し、より高い安全性が必要な環境ではBlueField-4 DPUを導入してSentryによるハードウェア監視を追加する、といった構成が考えられる。ソフトウェアによるアクセス制御と、ハードウェアからの監視を組み合わせて使えるわけだ。
OpenShellは特定のハードウェアだけを対象にしたものではなく、既存のサーバーやクラウド、Kubernetes環境にも組み込める。専用DPUを使わず、汎用CPU上でOpenShellだけを動かす構成も可能だ。
すでに100社以上のパートナー企業が参加を表明している。Anthropicは企業向けサービス「Claude Managed Agents」とOpenShellの統合を進めているほか、Cadenceは半導体設計向けAIエージェント「ChipStack」に適用。Slackはオンデマンド型エージェント基盤、Gecko Roboticsは物理ロボットを制御するAIのガバナンスに活用している。
このほか、Microsoft、Cisco、Oracle、Dell、HPE、Lenovo、Intel、Arm、AMD、CoreWeaveなどもエコシステムに参加している。日本企業では日立製作所の名前がパートナー一覧に含まれている。ただし、現時点では日本企業について、個別の導入時期や具体的な運用計画までは明らかになっていない。
想定される用途は幅広い。半導体設計では、AIエージェントによるRTL設計や検証を安全に進める環境として利用できる。企業では、社内文書の検索やソースコード作成、業務自動化など、AIに一定の権限を与えて長時間作業させる用途が考えられる。
工場やプラントで動くロボットなどの物理AI、金融機関、電力・エネルギーといった重要インフラも候補になる。こうした環境では、AIの誤った操作が情報漏洩だけでなく、実際の設備やシステムに影響する可能性もあるため、AIに与える権限を細かく管理することが重要になる。
NVIDIA Open Agent Safety Platformが目指すのは、AIモデルそのものを安全にするだけでなく、AIエージェントが「何に触れられるのか」「どこへ通信できるのか」「どの操作まで許されるのか」を実行環境から管理することだ。
AIエージェントが文章を生成するだけの存在から、ソフトウェアや業務システムを実際に操作する存在へ変わるにつれて、AIにどこまで仕事を任せるのかという問題も重要になってくる。OpenShellによる細かな権限制御と、必要に応じてSentryから外側から監視する仕組みは、そのための安全基盤として位置付けられている。
関連リンク
(画像提供：NVIDIA)