※本ブログは米国時間2026年9月14日に公開されたA10本社ブログの日本語訳です。原文はこちらからご覧ください。

AIレッドチーミングは進化を遂げています。本ブログでは、エージェントリスク、敵対的脅威、そして企業がAIシステムをフルスタックで保護する方法について解説します。

AIシステムが実験的なツールから運用インフラへと移行するにつれ、リスクの性質は劇的に変化しました。かつてはモデルの精度が問題だったものが、今ではシステムの完全性、攻撃に対する耐性、そして現実世界への影響といった、より広範な課題へと拡大しています。

A10のLee Weinerは、AIレッドチーミングの専門家であるJohn Vaina氏、Gavin Klondike氏と対談し、過去1年間で脅威の状況がどのように変化したかを改めて検証しました。

この議論は明確な変化を示しています。AIセキュリティはもはや理論上の問題ではなく、運用面でも複雑で、企業や国家の安全保障上の懸念と深く結びついているのです。

この記事の要点

  • AIレッドチーミングは、個別のモデルテストから、モデル、データパイプライン、エージェントワークフロー、インフラ全体にわたるフルスタックの敵対的シミュレーションへと拡大しています。
  • エージェンティックAIは、些細なプロンプト操作が現実世界に影響を与える自律的な行動へと連鎖的に発展する可能性があり、新たな攻撃対象領域を生み出します。
  • 従来のセキュリティフレームワークは、決定論的で静的なシステムを前提としているため、AIには対応できません。AIは確率的で、状況に応じて変化し、常に進化しているからです。
  • 効果的なAIセキュリティは、断続的ではなく継続的である必要があり、敵対的テストと監視を開発ライフサイクルに組み込む必要があります。

モデルテストからフルスタックの敵対的シミュレーションまで

1年前、AIセキュリティの多くはモデルレベルの脆弱性にのみ焦点をあてていました。しかし、その範囲は拡大しています。

今日のレッドチーミングでは、AIスタック全体にわたる攻撃をシミュレートします。具体的には以下の項目が含まれます。

  • モデルとプロンプト
  • 検索システムとデータパイプライン
  • エージェントワークフローとツール統合
  • インフラとデプロイメント環境

今日のレッドチーミングは、もはや個別のシステムの脆弱性を探るだけではありません。相互に連携するコンポーネントが、攻撃を受けた際にどのように動作するかを理解することが重要になっています。

この変化は、ある根本的な真実を反映しています。リスクはつなぎ目に生じるということです。脆弱性は往々にして、システムがどのように構成・連携され、外部に公開されているかという点に潜んでいます。

エージェントシステムの台頭と新たな攻撃対象領域

過去1年間で最も大きな変化の一つは、エージェンティックAIの急速な普及です。

これらのシステムは、自律的なアクションの実行、外部ツールやAPIとの連携、そして複数のステップや意思決定ポイントにまたがる動作を行うように設計されています。こうした能力は強力かつ新たなユースケースを可能にする一方で、全く新しい種類のリスクも生じます。

AIシステムが意図しない動作を実行したり、複数の環境にわたって意思決定を連鎖させたり、あるいは些細なプロンプト操作であっても現実世界に影響を及ぼす事態へと増幅させることが可能になると、従来のセキュリティの前提は崩れ始めます。一見些細なプロンプトから始まったことが、やがて重大な影響を伴う一連の動作へと連鎖的に発展する恐れがあるのです。

その結果、攻撃対象領域は、静的な入力だけでなく、相互に連携するシステム間で生じる動的に変化する振る舞いにまで拡大しています。

敵対的AIへの対策は、今や実践的な専門領域に

AIレッドチーミングは、もはや実験的な取り組みや学術研究の枠にとどまりません。政府機関、最先端のAI研究所、そして大企業において、活発に実践され、高い需要を誇る専門分野となっています。

現実の環境で悪用される前に脆弱性を特定しようとする組織は、継続的な敵対的シミュレーションを実施するケースを増やしています。こうした動きは、AIシステムが今やミッションクリティカルな存在となり、その障害が重大な結果を招きかねないこと、そして悪意ある攻撃者が脆弱性を求めてこれらのシステムを積極的に探索しているという認識が広まっていることを反映しています。

セキュリティは今や、あらゆる取り組みの基盤となっています。

AIセキュリティと国家安全保障

この1年間に見られたもう一つの大きな変化は、AIセキュリティと国家安全保障の結びつきが強まっていることです。これにより、AIのリスクは単なる技術的な懸念事項ではなく、戦略的に重要な課題として認識されるようになりました。AIシステムが情報分析、サイバー防衛、インフラ運用といった重要な業務に組み込まれるにつれ、一つの脆弱性が、一つの組織の範囲を超えて広範な影響を及ぼす可能性があります。

現在、AIレッドチーミングの専門家たちは、「Institute for Security and Technology(IST)」などの組織を通じて、政策や戦略的イニシアチブの策定に貢献しています。こうした融合は、極めて重要な変化を浮き彫りにしています。すなわち、AIシステムはインフラとして扱われるようになりつつあり、その脆弱性が地政学的な影響を及ぼす可能性が生じているのです。

その結果、議論はエンジニアリングチームにとどまらず、政策立案者、規制当局者、そして国家安全保障に関わる関係者をも巻き込むようになりました。

組織が直面する主な課題

AIシステムの安全性を確保するために、対処すべき課題がいくつか浮上しています。

  • 可視性の欠如：攻撃的な状況下で自社のAIシステムがどのような挙動を示すかについて、組織が明確に把握できていないケースがあります。
  • 急速な導入に対してセキュリティ対策が遅れている：セキュリティ体制の整備が追いつかないまま、AI機能の導入が先行しています。
  • システムの複雑性：現代のAIアプリケーションは単一のモデルではなく、一つのエコシステムを形成しています。そのため、安全性を確保するにはシステム全体を俯瞰する視点が必要です。
  • 人材および専門知識の不足：経験豊富なAIレッドチームメンバーが不足しており、組織が自社内で対応できる能力を構築することが困難になっています。

これらの課題に対処するには、段階的なプロセス改善では不十分です。

組織には、攻撃者の振る舞いをシミュレーションし、システムの性能や動作状況を継続的に可視化するとともに、AIシステムを構成する技術スタック全体のリスクを評価できる専用ツールが必要です。こうしたプラットフォームは、レッドチーミングやセキュリティテストの主要なプロセスを自動化することで、専門人材の不足を補い、既存のチームでも専門家レベルの高度で一貫したセキュリティ評価を実施できるよう支援します。

さらに重要なのは、開発ライフサイクル全体にセキュリティを組み込めることです。これにより、AIセキュリティを問題発生後の対応から、規模の拡大にも対応できる予防的なセキュリティ対策へと進化させることができます。

従来のセキュリティ対策が不十分な理由

従来のセキュリティフレームワークは、AI駆動システム向けに設計されたものではありません。モデルの意図、会話のコンテキスト、自律的なツールオーケストレーションを評価するようには設計されていませんでした。それらは通常、次のような前提を置いています。

  • 決定論的な挙動
  • 予測可能な入出力
  • 静的な攻撃対象領域

しかし、AIシステムはこれら3つの前提すべてに反する特性を持っています。

  • 確率的
  • コンテキストセンシティブ(文脈依存、状況依存)
  • 絶えず進化

AIシステムには、新たなセキュリティの考え方が求められます。この考え方は、敵対的思考と、行動ベースのテストおよび継続的な監視を組み合わせたものでなければなりません。また、AIの能力が急速に進化するのと同様に、迅速に変化・適応できる柔軟性も必要です。

今後の展望：継続的かつシステム全体にわたるAIセキュリティ

A10のレッドチーム専門家が強調するポイントは明確です。AIセキュリティは、単発的な取り組みではなく、継続的に実施する必要があります。

これを実現するには、組織は敵対的な条件下でシステムを定期的にテストする必要があります。その際、単なるモデルだけでなく、現在広く利用されているアプリケーションやエージェントを含む、AIスタック全体を評価対象とするべきです。さらに、本番環境におけるAIシステムの挙動やパフォーマンスを監視することも不可欠です。AIシステムでは、同じ入力であっても異なる出力が生成される可能性があるため、この点は特に重要となります。

ここで重要なのは、これが一度だけの監査では不十分であるという点です。セキュリティは、継続的な取り組みとしてAI開発のライフサイクルに組み込まれる必要があります。

結論

この1年で、AIセキュリティは一部の専門家のみが関心を寄せるニッチな課題から、業務運営上の不可欠な要件へと変貌を遂げました。

AIシステムが自律性を高め、相互接続が進み、その影響力が拡大するにつれ、リスクや重要性も増大し続けています。成功を収めるのは、次のような取り組みを行う組織でしょう。

  • AIセキュリティを最優先事項として扱う
  • 敵対的テストやレッドチーミングに投資する
  • AIシステムのあらゆる層にレジリエンス(回復力・強靭性)を組み込む

AIシステムがどのように失敗するのかを理解することは、AIシステムの信頼性を高めるための第一歩である、と私たちは考えています。

よくある質問(FAQ)

Q. AIレッドチーミングとは何でしょうか？
A. AIレッドチーミングとは、AIシステムに対する敵対的な攻撃をシミュレーションして、攻撃者が悪用する前に脆弱性を特定する手法です。当初はモデルレベルの弱点を調査するものでしたが、現在ではプロンプト、検索システム、エージェント型ワークフロー、デプロイ用インフラストラクチャなど、フルスタックを対象としたテストへと発展しています。組織はこれを用いて、開発段階およびデプロイ後の継続的な運用において、プロンプトインジェクション、ジェイルブレイク、データ漏洩といったリスクを特定します。.
Q. AIレッドチーミングは、従来のセキュリティテストと何が異なるのでしょうか？
A. 従来のセキュリティテストは、決定論的な挙動、予測可能な入出力、そして静的な攻撃対象領域を前提としています。一方、AIシステムは確率的かつコンテキストセンシティブであり、絶えず進化し続けるため、これら3つの前提すべてを覆します。AIレッドチーミングはこうした特性を踏まえ、敵対的思考を挙動のテストや継続的な監視と組み合わせて実施します。つまり、固定されたルールに対して個別の入力を検証するのではなく、相互に接続されたコンポーネントが負荷のかかる状況下でどのような挙動を示すかを評価するのです。
Q. エージェンティックAIシステムとはどのようなもので、なぜセキュリティ上のリスクを高めるのでしょうか？
A. エージェンティックAIシステムは、自律的に外部ツールやAPIと連携しながら、複数のステップや意思決定プロセスを経て動作します。プロンプトに対するわずかな操作が、現実世界に重大な影響を及ぼす一連の行動の連鎖へと発展しかねず、こうした特性がリスクを高めます。攻撃対象領域は、単なる静的な入力にとどまらず、相互接続されたシステム間での動的かつ変化し続ける挙動にまで拡大します。これは、従来のセキュリティ対策では想定されておらず対応できないものになっています。
Q. なぜ今、AIセキュリティが国家安全保障と結びついているのでしょうか？
A. AIシステムは、諜報分析、サイバー防衛、インフラ運用といった重要な機能に組み込まれるようになっているため、単一の脆弱性が単一の組織の枠を超えた甚大な影響を及ぼす可能性があります。現在、AIレッドチーミングの専門家は、「Institute for Security and Technology(IST)」などの組織を通じて政策立案に関与しています。AIがインフラとして扱われるようになるにつれ、その脆弱性は地政学的な意味合いを帯びるようになり、政策立案者、規制当局、そして国家安全保障に関わる関係者を巻き込む問題となっています。
Q. 組織はどの程度の頻度でAIレッドチーミングを実施すべきでしょうか？
A. AIレッドチーミングは、単発の監査ではなく、継続的に実施する必要があります。AIシステムでは同じ入力でも異なる出力が生成される可能性があるため、組織は攻撃を想定した条件下でAIシステム全体を定期的にテストし、本番環境での動作を監視する必要があります。セキュリティ対策をAIの開発ライフサイクル全体に組み込み、継続的に実施することで、AIの機能や脅威の変化に伴って生じる弱点を早期に発見できるようになります。