2025.10.27
【責任編集】ラーニング・ツリー
AIシステムのセキュリティ確保（米国本社のブログより）
今回は、米国本社のブログより、AIシステムのセキュリティ確保に関する記事をご紹介します。
https://www.learningtree.com/blog/securing-ai-systems-guide-for-cybersecurity-professionals/
AIシステムのセキュリティ確保：サイバーセキュリティ専門家向けガイド
人工知能（AI）はデジタル環境を急速に変革しています。サイバーセキュリティ専門家にとって、もはやAIシステムに保護が必要かどうかは問題ではなく、
次々と出現する高度なリスクからAIシステムをどのように保護するかが問われています。この包括的なガイドでは、AIに対する主要な脅威、最新の業界フレームワーク、そして防御を強化するための実践的な手順を解説します。
・AIシステムのセキュリティ確保が重要な理由
サイバーセキュリティは、進化する脅威に常に先手を打つことが常に求められてきました。今やAIは、攻撃対象領域と防御ツールキットの両方を拡大しました。
AIシステムは、不正検知、セキュリティ運用の自動化、ビッグデータの分析など、様々な分野で活用されています。しかし、防御側がAIを活用する一方で、悪意のある攻撃者も新たな攻撃を開発しています。生成型AI（GenAI）は、フィッシング攻撃を加速させ、新たなマルウェアを生み出し、大規模な脆弱性を悪用することが可能です。
重要なインフラや企業の機密データを保護する場合でも、AI特有の脅威を理解し、管理することは、今や業務の不可欠な要素となっています。
このガイドでは、その複雑さに対処する方法について解説します。
・AIシステムがもたらすリスク
倫理的なジレンマを乗り越える：
AIの意思決定は、公平性、プライバシー、そして安全性に前例のない形で影響を及ぼす可能性があります。アルゴリズムにおける視点の認識、透明性の欠如、そして人間による監視の限界などは、セキュリティチームが監視しなければならない倫理的問題のほんの一部に過ぎません。
AIの重大な欠陥は、ユーザーの信頼を損ない、規制当局の監視を招く可能性があります。
技術的および運用上の脅威：
AI システムは、従来の脅威 (データ侵害など) だけでなく、次のような固有のリスクに対しても脆弱です。
プライバシー侵害: AI モデルは機密情報や個人を特定できる情報 (PII) を処理することが多く、プライバシー リスクが高まります。
複雑さと不透明性:ブラックボックス モデルでは、AI 主導の結果を説明したり予測したりすることが困難になります。
規制とコンプライアンスのリスク: EU AI 法や NIST フレームワークなどの規制は急速に進化しており、コンプライアンス違反は大きなコストをもたらす可能性があります。
生成AIの新たな攻撃対象領域：
生成AIは、防御と攻撃の両方を強化しました。攻撃者はGenAIを利用してディープフェイクを作成し、マルチモーダルフィッシングを実行し、検出不可能なマルウェアの亜種を作成します。
プロンプトはデータの窃取や有害なモデル動作の誘発につながる可能性があります。
また、生成AIはコンテンツモデレーション、著作権、再現性に関する懸念も引き起こします。
AI加速攻撃からの防御：
GenAI を利用した脅威に対抗するには:
・異常なアクセスや自動入力されたデータがないかシステムを監視する。
・パッシブ信号と多要素認証により、本人確認を強化します。
・生成AI 認証保護を組み込むために、ゼロ トラスト ポリシーを継続的に更新します。
・データ損失防止 (DLP) を使用して、機密情報をスキャン、編集、またはトークン化することで、モデル駆動型のデータ流出を防止します。
AIシステムのハッキング：脆弱性を理解する
AIのコアコンポーネントを分析する。
すべての AI システムには 3 つの柱があります。
・アルゴリズム:モデルに組み込まれた標準化された数学的および統計的原理。
・データセット: AI がトレーニングするための「燃料」であり、多くの場合、公開、独自、または合成ソースから取得されます。
・モデル:チャットボットから視覚分析まで、実際のアプリケーションで使用されるトレーニング済みのマルチステップ システム。特にトレーニング データが侵害されたり、不適切に選択された場合、各レベルで脆弱性が存在する可能性があります。
AIセキュリティに関するOWASPトップ10
OWASPは、次のような最も重要な AI リスクを追跡しています。
・プロンプトインジェクション:攻撃者はプロンプトを操作してモデルの動作を変更したり、機密データを抽出したりします。
・機密情報の漏洩:モデルによって個人情報 (PII)、企業秘密、または資格情報が漏洩する可能性があります。
・サプライチェーン攻撃:悪意のある攻撃者がトレーニング データを汚染したり、モデルインフラストラクチャを侵害したりする可能性があります。
・モデルポイズニング:モデルのトレーニング中にバックドアやバイアスを導入すること。
・不適切な出力処理: AI 出力をサニタイズできないため、下流で問題が発生する可能性があります。
・無制限の消費:制御されていないクエリを許可すると、サービス拒否やモデルの盗難につながる可能性があります。
プロンプトハッキングと分類子攻撃
プロンプトインジェクションは、LLM（大規模言語モデル）を欺く強力な手法として依然として有効です。
例えば、巧妙に作成されたユーザークエリはチャットボットを乗っ取り、システムプロンプトを漏洩させたり、制限を回避させたりすることができます。分類器攻撃は、機械学習モデルの意思決定部分を標的とし、誤分類を強制することを狙っています。
NISTと敵対的脅威マトリックスの役割
米国国立標準技術研究所（NIST）の敵対的機械学習分類とMicrosoftの敵対的機械学習脅威マトリックスは、データポイズニングからモデル抽出まで、現実世界のAI攻撃を分類します。
専門家が攻撃をシミュレーションするシナリオベースのレッドチーム演習は、組織が盲点を発見し、防御を強化するのに役立ちます。
脅威に対するAIシステムの強化
セキュリティワークフローにおける SecOps と AI
セキュリティ運用 (SecOps) の中核に AI が組み込まれ、次のことが可能になりました。
・資産の管理、検出、および対応を自動化します。
・ログとユーザーの行動を継続的に分析して異常がないか確認します。
・AI を活用したインジケーターによるリアルタイムの脅威識別を可能にします。
AIOpsはAIとIT運用をさらに統合し、インシデント対応を自動化し、ワークフローを最適化します。
AIドリブンネットワーキングは、ITの問題が深刻化する前に予測し、軽減します。
AIとクラウド/IoT防御
クラウド環境とIoTデバイスは、分散リソース全体にわたる信号処理能力を高めるAIの恩恵を受けます。
AIは脅威の検出、ポリシー適用、修復アクションをリアルタイムで自動化し、
広がるデジタルエコシステムのギャップを埋めます。
生成AIを活用したレッドチーム演習
レッドチーム演習では、GenAIを用いて脆弱性を発見します。
チームはクリエイティブ・プロンプト・エンジニアリングを用いてAI防御を調査し、敵対者の戦術をシミュレートし、既知および新たな攻撃ベクトルに対するモデルを強化します。
高度なAIセキュリティツール
AIを活用したSIEM（セキュリティ情報・イベント管理）およびSOAR（セキュリティオーケストレーション・自動化・対応）プラットフォームは、膨大なデータセットを集約・相関分析し、手動ツールでは見逃してしまう脅威を検出します。また、これらのプラットフォームは、自動化されたプレイブックを実行し、インシデントを迅速に修復します。
GoogleのセキュアAIフレームワークをはじめとする業界ソリューションは、自然言語インターフェースによる検索と分析を活用し、検知と対応を一元化しています。
サイバーセキュリティのコパイロットの台頭は、AIが脅威の発見と対応の両方をいかに加速させるかをさらに示しています。
責任ある回復力のあるAIの構築
規制とベストプラクティス
AI規制は進化を続けています。EU AI法はリスク主導の基準を定め、米国大統領令はNISTにベストプラクティスの策定を義務付け、GDPRのような包括的な法律はAIにおけるプライバシーを促進しています。
常に先手を打つためには、以下のことに適応していく必要があります。
・継続的なテストと評価: NIST のリスク管理フレームワークを使用して、組織は、虚偽の説明やデータプライバシーを含む技術的リスクと運用上のリスクの両方について、モデルを定期的に評価、検証、適応する必要があります。
・ガバナンス チェックリスト: OWASP のセキュリティとガバナンスのチェックリストには、LLM の透明性、リスク軽減、責任ある使用を確保するための手順が詳細に説明されています。
・セキュリティ トレーニング:開発者や脅威アナリストを含むすべての担当者は、定期的に AI セキュリティ トレーニングを受ける必要があります。
安全なAIフレームワークと設計
Google の Secure AI Framework（SAIF）は、制御を標準化し、防御を自動化し、プラットフォーム間のリスクを文脈化します。フェデレーテッドラーニングプロトコルは、エンドデバイス上で AI をトレーニングし、データのプライバシーを保護し、中央集権的な侵害リスクを軽減します。
ネットワークセキュリティに長年採用されてきたゼロトラスト戦略が、今やGenAIにも適用されています。
これらの戦略は、動的なアイデンティティワークフローを強化し、コンテンツポリシーの適用を統合することで、モデルの悪用を防止します。
実際の事例
ある金融機関は、AI駆動型不正検知エンジンを導入し、ロールベースのアクセス制御を導入し、地域をまたいで学習を連携させ、プロンプトベースの敵対的手法を用いてモデルをレッドチームで検証しています。定期的なログ記録、監視、パッチ適用サイクルにより、ドリフトやモデルの劣化を防止しています。
人、プロセス、テクノロジーを組み合わせたこの総合的なアプローチにより、
顧客データと機関の評判の両方が安全になります。
安全なAIの未来に向けた継続的な警戒
AIのセキュリティ確保は一度きりのイベントではなく、継続的な取り組みです。AIソリューションは、RAGやAIアダプターとい+G3った新しい機能や性能によって常に進化しています。ハッカーは、進化するAIシステムを攻撃するための新たな手法を次々と発見し続けるでしょう。脅威は、防御策の進化と同じ速さで複雑化しています。サイバーセキュリティのリーダーは、モデルとパイプラインを他の重要なインフラストラクチャと同様に扱う必要があります。
・AI システムを継続的に監視および監査します。
・新しい攻撃ベクトルを予測するために、レッドチームとブルーチームを編成します。
・最新の規制とフレームワークに合わせてポリシーとトレーニングを更新します。
・責任ある、透明性のある、倫理的な AI 使用の文化を会社全体で育みます。
今日の強固な防御への投資は、より安全で回復力の高いAI活用ビジネスの未来を切り開きます。
