米NIST傘下のCAISIがAIエージェントシステムの安全性に関する情報提供を要請

米商務省の国立標準技術研究所（NIST）内に設置されたAI標準・イノベーションセンター（CAISI）は、AIエージェントシステムの安全な開発と展開に関して、産業界、学術界、セキュリティコミュニティから知見を募る情報提供依頼（RFI）を公開した。

AIエージェントシステムは、実世界のシステムや環境に影響を与える自律的な計画立案および実行能力を持つ。これらのシステムは生産性とイノベーションに大きな利点をもたらす一方で、特有のセキュリティ課題を提示している。

AIエージェントシステムが直面する脅威やリスクには、他のソフトウェアシステムと重複するものがある。例えば、認証やメモリ管理における脆弱性の悪用が挙げられる。しかし、本RFIは、AIモデルの出力とソフトウェアシステムの機能を組み合わせる際に生じる特有のリスクに焦点を当てている。これには、間接的なプロンプトインジェクションのようにモデルが敵対的データと相互作用することで生じるリスクや、データポイズニングを受けたモデルを使用することで生じるリスクが含まれる。また、敵対的な入力が存在しない場合であっても、モデルが仕様を悪用（specification gaming）したり、不整合な目的を追求したりするなど、セキュリティを損なう行動をとるリスクも対象としている。これらのセキュリティ課題は、現在の導入を妨げるだけでなく、AIエージェントシステムがより広く展開されるにつれて、公共の安全や国家安全保障に対するリスクとなる可能性がある。

本RFIは、AIエージェントのデプロイヤー、開発者、コンピュータセキュリティ研究者などからの入力を求めている。収集された情報は、AIエージェントのセキュリティに関連する自発的なガイドラインやベストプラクティスに関する今後の取り組みの指針となる。また、CAISIが現在行っているエージェントセキュリティに関する研究や評価にも貢献する。回答者には、AIエージェントシステムに関する経験に基づき、具体的な事例、ベストプラクティス、ケーススタディ、実行可能な推奨事項を提供することが推奨されている。

コメントの受付期間は、2026年3月9日の午後11時59分（米国東部時間）までである。コメントはwww.regulations.govにて、管理番号NIST-2025-0035のもとでオンライン提出が可能である。