※本ブログは米国時間2025年3月28日に公開されたA10本社ブログの日本語訳です。原文はこちらからご覧ください。

AIシステムは急速にビジネスの重要な要素になりつつあります。社内のドキュメントやガイドによってトレーニングされたAIエージェントを構築し、顧客体験を迅速に改善したり、ローン申請を処理したり、顧客にTier-1サポートを提供したりすることを想像してみてください。その可能性は非常に大きいですが、ソフトウェアコード、顧客データ、その他の機密情報などの独自の知的財産を使用してモデルをトレーニングした場合はどうなるでしょうか。

悪意のある人物は、推論環境を操作して機密情報を共有したり、偏った応答を提供したりしようとしています。これは、顧客ビジネスの喪失から規制上の罰金まで、組織に多大な影響を及ぼす可能性があります。ITチームとセキュリティチームにとっての課題は、手遅れになる前にAIに関連するリスクを認識し、対処することです。

ビジネスに不可欠なAIへの取り組みとそのリスク

AI革命が加速する中、多くの企業は特に次の2種類の取り組みに注力しています。

  • AI推論- AIと機械学習を使用して、既存のサービスを自動化および最適化します。一般的な使用例には、ローン処理、顧客サポート、不正検知などがあります。
  • GenAI- ユーザのプロンプトに基づいてコンテンツを作成できる大規模言語モデル (LLM)を利用したツールを従業員に提供します。例としては、プレゼンテーション用のグラフィックやビデオの作成、コードの作成とテスト、会議の要約の生成などがあります。

AI推論とGenAIはどちらも、組織にとって大きな価値を秘めています。メインストリームでの採用が進むにつれて、これらの機能は競争上の差別化要因だけでなく、基本的な要件となりつつあります。AIは今やビジネスに不可欠なものであり、そのセキュリティもそれを反映する必要があります。

Open Worldwide Application Security Project (OWASP)は、AI環境に対する重大な脅威を示しました。企業は現在、以下に関連するリスクの増大に直面しています。

  • プロンプトインジェクション攻撃によるモデルの応答操作や、データ、モデルポイズニング攻撃を通じた操作の侵害
  • ユーザが制御できない推論を実行し、LLMのパフォーマンスと可用性を低下させる無制限消費(Unbounded Consumption)攻撃
  • ユーザが個人を特定できる情報 (PII)、独自のアルゴリズム、または機密性の高いビジネスデータをLLMに入力し、それがトレーニングデータとして使用されてしまうことによる機密情報の漏洩
  • ユーザのリクエストを処理するエージェントと、エージェントが接続するLLM間の権限設定の不十分さによる、エージェントAIによる有害なアクションの実行

これらのリスクを軽減するために、既存の制御機能に頼ることはできません。ネットワークファイアウォールなどの従来のセキュリティ製品はネットワークトラフィックしか理解できず、次世代Webアプリケーションファイアウォール (WAF)はHTTP/HTTPSしか理解できません。AIセキュリティには、次のレベルの情報、つまりユーザプロンプトなどを確認できる機能が必要であり、これは HTTP/HTTPSより上位を理解できるかに依存します。従来のソリューションにはこの機能がないため、AIに対する多くの新しいタイプの攻撃が検出されないままになっています。

一方、脅威アクターはAIを利用して、さらに高度なマルウェアを作成しています。ハッキング能力のほとんどない悪質な行為者でも、自由に利用できるツールを使用して、非常に高度な脅威を作成できます。

AI環境におけるセキュリティの５つの基本

AI環境のセキュリティは、ツールだけにとどまりません。また、適切な管理体制のもと、適切な人が適切な方法でAIをトレーニングし、使用するために、実践方法も更新する必要があります。大まかに言うと、AIセキュリティ イニシアティブには次の5つの要素を含める必要があります。

1. ガバナンス

最も重要な最初のステップは、エンゲージメントルールを設定することです。AIシステム自体に対する脅威ではありませんが、ガバナンスの欠如はAIを導入する企業にとって大きなリスク要因となります。プロンプトに機密データや知的財産を入力するユーザは、データ漏洩やコンプライアンス違反を招く可能性があります。不適切なデータ処理やモデルのトレーニングにより、AI搭載システムにバイアスが埋め込まれる可能性があります。幻覚のような誤った出力は、法的問題や顧客関係への潜在的な損害を引き起こす可能性があります。企業は、AIシステムとそのデータの使用と管理に関する包括的なガバナンスポリシーを策定する必要があります。重要な原則として、許容される使用、データプライバシー、出力の検証、AIによる意思決定の透明性、規制遵守が含まれます。

2. コンプライアンス

関連する規制や基準を遵守することで、企業はこれらのガイドラインに組み込まれているセキュリティのベストプラクティスを活用しながら罰則を回避できます。包括的なコンプライアンスプログラムは、データ侵害や偏見への攻撃によるリスクを軽減するのに役立ちます。また、コンプライアンスは、厳格な法的、規制的、倫理的基準に対する説明責任を示すことで、組織がユーザ、利害関係者、パートナーとの信頼関係を築くことにも役立ちます。

While AI regulations are still emerging, key mandates and frameworks to follow include:
AI規制はまだ発展途上ですが、従うべき主要な義務とフレームワークには次のものがあります。

3. AI関連の脅威から身を守るツールの導入

AIを実装する際には、AI環境の攻撃対象領域を理解することが重要です。つまり、プロンプト インジェクション、データ ハルシネーション、ポイズニング攻撃など、LLMおよびGenAIアプリのOWASP Top 10で説明されている脅威について学ぶ必要があります。AI関連の脅威から保護するための最も重要な2つのソリューションは次のとおりです。

  • AI ゲートウェイ- モデルにアクセスするユーザまたはエージェントが正当なものであり、悪意のある人物やボットではないことを検証できる必要があります。AIゲートウェイは、推論モデルへのアクセスを要求するIDの認証・認可機能を実行します。
  • AI ファイアウォール- アクセスが許可されると、AIファイアウォールはプロンプトと応答を検査し、プロンプト インジェクション、モデルの盗難、データ漏洩などの攻撃を防止します。これにより、マルウェア、データ ポイズニング、プロンプト インジェクションなどのAIシステムに対する脅威を検出してブロックできます。レート制限は、無制限の消費などのボリューム攻撃の防止に役立ちます。

4. モニタリングと監査

ビジランス(警戒)は、他のあらゆるエンタープライズ テクノロジと同様に、AIシステムにとっても重要です。AIシステムの継続的なモニタリングにより、異常、疑わしいアクティビティ、潜在的な脆弱性を早期に検出し、潜在的な攻撃や侵害に迅速に対応できます。セキュリティ監査と定期的な侵入テストは、トレーニング環境と展開環境の脆弱性を発見し、プロアクティブに対処するのに役立ちます。脅威とベストプラクティスはどちらも絶えず進化しているため、監視と監査の基準も同様に進化する必要があります。

5. 継続的な教育

従業員は、AIを安全に使用する方法と危険の兆候を認識する方法を知っておく必要があります。シャドーAIは常にリスクをもたらします。公開GenAIサービスに取り込まれた機密データや独自のコードは、後で外部のユーザへの応答で表面化する可能性があります。AIテクノロジの急速な革新により、ユーザは現在のツールの機能と最適な用途を誤解し、不適切または無謀な使用につながる可能性があります。従業員は、責任を持ってこれらの決定を下す方法と、そうしない場合に何が問題となるかを理解する必要があります。

AIは、有望な実験段階から普及に至るまで、驚異的なスピードで進化してきました。今、セキュリティも同様のスピードで進化する必要があります。この新しいテクノロジが直面する脅威に対応するためにツールとプラクティスを更新することで、ビジネスにとっての価値を最大限に引き出し、リスクを軽減することができます。