生成AIプラットフォームを用いた攻撃計画の作成に関する検証結果
GAOは、主要な生成AIプラットフォーム4社が攻撃計画の作成に悪用可能であることを検証した。
2026年春、米国会計検査院(GAO)は、広く利用されている4つの生成AIプラットフォーム(Claude、Grok、ChatGPT、Gemini)に対し、悪意ある行為者が攻撃を計画・実行する際に役立つ情報を生成するかを確認した。具体的には、プロンプトへの回答として、2つのプラットフォームが大量殺傷を目的とした即席爆発装置(IED)の構築および起爆に関する情報を提供した。また、他の2つのプラットフォームは、経済的被害を与えることを目的として、ドローンまたは火器を用いた送電網への攻撃手法に関する情報を作成した。各プラットフォームは、具体的な標的、場所、タイミング、攻撃方法など、実行に転用可能な詳細情報を提供した。いずれの攻撃計画も生成に要した時間は12時間未満であったが、結果が得られるまでの時間はトピックやユーザーの経験などの要因によって変動する可能性がある。検証の各ケースにおいて、プロンプトは各プラットフォームの安全装置を作動させ、拒否、情報の削除、アカウント停止などの対応が引き起こされた。しかし、GAOは一般的な回避技術を用いることで、これらの安全装置を迂回することに成功した。GAOは、調査、監視、専門家へのインタビューを通じて、情報の実行可能性を検証した。試験結果として、4つのプラットフォームすべてにおいて、攻撃を実行するために使用可能な情報の提供と、攻撃方法の提示が確認された。具体的な攻撃方法は、車両を用いたIED、ドローンによる送電網攻撃、火器による送電網攻撃などが含まれる。
本文書は、2026年春時点において、米国会計検査院(GAO)が主要な生成AIプラットフォームに対して実施した検証試験に基づいている。前提として、AIプラットフォーム側には情報の生成を拒否、削除、あるいはアカウントを停止する安全装置が実装されているが、GAOは一般的な迂回技術を用いてこれらを突破し、情報の実行可能性を専門家の評価等によって裏付けている。
- 自社の生成AI利用環境において、意図しない情報の出力を制限する安全装置はどのような技術的根拠に基づいているか?
- 生成AIプラットフォームを業務に活用する際、セキュリティ上の懸念事項が発生した場合の検知および停止手順はどのように定義されているか?