Copilot for Securityは使える? 使えない?――導入企業が評価を明かす

by 藤本 京子

日本マイクロソフト株式会社は17日、「Microsoft Copilot for Security」の早期アクセスプログラムに参加した顧客の事例を紹介する説明会を開催した。

Copilot for Securityは生成AIをベースとしたセキュリティサービスで、2023年10月より早期アクセスプログラムを開始、330社以上の顧客やパートナーが同プログラムに参加した。4月1日には一般提供が開始されている。

Copilot for Securityの長所と短所

株式会社ラックとTrust Base株式会社は共同で、Copilot for Securityを活用したセキュリティ運用の効率化に向け、実証実験を行うと3月に発表した。両社は、ラックが提供する「Microsoft Sentinel活用支援サービス」の共同検証も2023年7月から進めており、今回のCopilot for Securityの実証実験でさらに高度なセキュリティ運用を実現しようとしている。

Trust Base DXプラットフォームセンター センター長の中川哲氏は、早期アクセスプログラムに参加した背景について、「自社のセキュリティ担当だけではリソースとスキルが不足していたほか、Azure、AWS、Google Cloudなど幅広いサービスを活用する中でセキュリティの守備範囲も広くなっていた。また、プロアクティブなセキュリティ運用にも取り組めておらず、セキュリティ運用のトランスフォーメーションに必要な要素としてCopilot for Securityに期待した」と述べている。ラックは、Trust Baseの取り組みをセキュリティベンダーとして支えている。

Trust Base DX プラットフォームセンター センター長 中川哲氏
Trust Baseが早期アクセスプログラムに参加した背景

Copilot for Securityの導入評価にあたっては、Microsoft 365 E5の環境にペネトレーションテストツールを使って疑似攻撃を仕掛け、Copilot for Securityでインシデントを分析した。トロイの木馬やC&C通信、ワーム、ランサムウェアなど、9つのシナリオで、Copilot for Securityの主要機能をテストしたという。

テストした機能は、インシデント情報などの詳細情報を要約する機能と、脅威情報を加味してインシデントやアラートを分析する機能、インシデントへの対処方法を推奨する機能、アラートやログデータを検索するためのKQLクエリーの自動生成機能、インシデントの報告用レポートを自動生成する機能の5つだ。

Copilot for Securityの評価方法

中川氏は、これら機能を使用したセキュリティ担当者の所感を紹介。Copilot for Securityのメリットとして、インシデント対応などのSentinel運用作業をCopilot for Securityがサポートすることで作業時間が短縮できることや、高度なスキルを持ったSOCアナリストでなくともインシデント分析ができること、セキュリティ担当のリソースをプロアクティブなセキュリティ運用に集中させることでセキュリティ運用全体のパフォーマンスが最適化できること、セキュリティ担当ではカバーしきれない知見を脅威インテリジェンスから取得し要約できるため、Sentinelによるインシデントの分析や対応に活用できることなどが挙げられたという。

一方、課題としては、複雑な問い合わせには回答に数分程度時間がかかること、回答に不正確な内容が含まれる場合があること、詳細情報をリスト化する際に情報が欠落する場合があること、より良い回答を得るにはプロンプトエンジニアリングを学習する必要があることなどが挙げられたという。

回答の質や正確性にはばらつきがあることから、「一般公開されたカスタムプロンプトブックを作成し、質の高い回答が得られるようにしたい」と中川氏。その一方で、「IPv4エンティティを引き出すプロンプトやMFAの認証情報取得といったプロンプトは、1月下旬~2月上旬は回答がエラーとなって取得できなかったが、2月下旬では取得できるようになった」として、マイクロソフトの対応の早さを評価。「今後もマイクロソフトによる改善を期待しつつ、正式版でどこまで現状の課題を解決できるか確認していきたい」と述べた。

インシデント対応工数の20%削減を目指して

シンプレクス株式会社も、Copilot for Securityを導入した企業の一社だ。シンプレクス クロス・フロンティアディビジョン アソシエイトプリンシパルの中野昇氏は、Copilot for Securityの導入により、「インシデント対応工数の削減と質の向上、新規参画メンバーのキャッチアップ工数の削減、Microsoft Entra IDの管理工数削減と不正アクセスリスクの低減、デバイス管理の工数削減とデバイスセキュリティの向上を実現したいと考えた」と述べている。

シンプレクス クロス・フロンティアディビジョン アソシエイトプリンシパル 中野昇氏

導入後は実際に効果が実感できたと中野氏は語る。その効果のひとつはインシデントの初期調査だ。「インシデント概要作成機能によって初期調査に必要な作業が減り、問題点の整理や緊急度の設定にも貢献している。特に新規インシデントを検知した場合の対応速度が上がり、Copilot for Securityに調査方法を問い合わせることで調査の質が向上できた」と中野氏は説明する。

また、インシデントの詳細調査でも、「マルウェアなどの疑いがある対象ファイルの調査が、Microsoft Defender XDRのインシデント画面そのままで追加確認できるため利便性が高い」と中野氏。インシデントのハンティングKQLを作成する際も、「KQLのサンプルが提示されたため、工数削減と質の向上ができた」という。

中野氏は、2023年度のインシデント検知件数のうち、72%がCopilot for Securityで概要の出力が可能だったとし、「今年度中にインシデントの対応工数を20%削減しようとしているが、実現できそうだと感じている」と述べた。

シンプレクスが実感したCopilot for Security導入による効果

米Microsoft セキュリティマーケティング担当バイスプレジデントのアンドリュー・コンウェイ(Andrew Conway)氏は、「セキュリティ専門家約200人を対象に、Microsoft DefenderでCopilotを使用してタスクをこなす場合と、Copilotを使わずにタスクをこなす場合とを比較してもらった。その結果、Copilotを使用した場合はタスクが22%迅速に完了し、正確度も7%高かった。何よりも、回答者の97%が同じタスクをこなす際にはまたCopilotを使用したいと答えている」と述べ、ユーザーからの評価が高いことをアピールした。

米Microsoft セキュリティマーケティング担当バイスプレジデント アンドリュー・コンウェイ(Andrew Conway)氏
97%がCopilot for Securityをまた使用したいと回答

© 株式会社インプレス