7/25 09:15 更新) CrowdStrike Falconを導入しているWindows ホストがブルースクリーン(BSOD)になる障害について

7/25 09:15 更新 (Preliminary Post Incident Review の Executive Summary PDF公開について追記）

※以前の更新履歴は最下部に移動しました。

--------------------------------------

7/19、CrowdStrike Falconを導入したWindows機器においてブルースクリーン(BSOD)となる障害が発生いたしました。本件については、CrowdStrike Falconセンサーのアップデートに起因する問題であったとCrowdStrike社より報告を受けおります。

すでに原因の特定及びクラウド側での修正は行われており、現時点で通常利用できている環境では問題がない状況ではございますが、BSOD後の再起動が正常に行われない環境においては手動による対処が必要になっております。

また、一部Webサイト等において対応方法の案内がでておりますが、必ず公式Webサイト等の情報をご確認いただければと存じます。

弊社Networld サポートポータルにおいても7/19 15:00以降情報の公開、更新を行っております。影響を受ける可能性があるホストを特定する方法の詳細手順等も公開しておりますので弊社サポートポータルもご参照いただければと存じます。

本件についてご不明点、ご質問、ご要望等ございましたら弊社サポート窓口までご連絡いただければと存じます。

ネットワールドサポートポータル（保守ユーザー様向け）：

• https://supportportal.networld.co.jp/hc/ja/articles/35269775779993

CrowdStrike社Web,ブログ：　

• 2024年7月19日発生した障害に関する技術情報 | CrowdStrike

• Technical Details: Falcon Update for Windows Hosts | CrowdStrike (上記と同一内容英語版)
• 7月19日発生の障害に関して（日本語）

• Falcon Content Update Remediation and Guidance Hub | CrowdStrike

  • こちらのWebサイトはCrowdStrikeが情報公開した日時も含めてご確認いただけます。
  • Preliminary Post Incident Review (PIR)の Executive Summary PDFもこちらで公開しています。

• 【Youtube】【英語版】CrowdStrike Host Self-Remediation for Remote Users - YouTube

• 【Youtube】【日本語版】ローカル管理者権限を有するリモートユーザー向けのCrowdStrike端末復旧手順動画

  • 事象の発生しているWindows PCを自身で修復する方法をガイドした動画です。

   

CrowdStrike Support Portal （CrowdStrike ユーザー様向け）：

• Tech Alert | Windows crashes related to Falcon Sensor | 2024-07-19

  • 本事象のKnowledgeです。

• Dashboards to identify Windows hosts impacted by the content update defect

  • 本事象の影響を受ける可能性のあるホストをダッシュボードで表示する方法のKnowledgeです。
• Granular status dashboards to identify Windows hosts impacted by content issue (v8.6)
  • 本事象の影響を受ける可能性のあるホストをダッシュボードで表示する方法のKnowledgeがこちらに変更されました。
• Building CrowdStrike Bootable Recovery ISOs
  • 独自のブート可能イメージ ファイルを作成し、本事象が発生しているWindowsホストを回復する手順のご紹介です。
  • 本ブログでも手順を公開しております。
    

    Falcon Windows Host Recovery Tool v1.1.0 の利用方法 - ネットワールド らぼ

• Repairing Falcon Windows Sensors 
  • CrowdStrikeフォルダのリネームや削除した際のセンサーの修復に関する記事です。

Microsoft 社作成記事：

• New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints - Microsoft Community Hub

  • Microsoft社作成の本事象の問題解決を行うための回復ツールのご案内

Cloud Remediationについて：

2024年7月19日（金）04:09 UTCに始まったシステムクラッシュの原因となったチャンネルファイルが特定され、運用システム上で非推奨となりました。非推奨になると、新しいファイルが配備されますが、古いファイルはセンサーのディレクトリに残ります。

Windowsシステムがさらに混乱するのを防ぐため、慎重を期し、影響を受けるバージョンのチャネルファイルがCrowdStrike CloudのFalconの既知の不良リストに追加されました。

CrowdStrike Cloudからは、センサーのアップデート、新しいチャネルファイル、コードはデプロイされませんでした。これは運用中のマシンにとっての衛生上の措置です。

強力なネットワーク接続（有線ネットワーク接続を想定）を持つ影響を受けたシステムについては、このアクションはブートループにあるシステムの自動回復につながる可能性もあります。これは、2024年7月23日にUS-1、US-2、EUで設定されました。

ネットワールド注記：

本アップデートにより、Falconセンサーがクラウドに接続しシステムクラッシュ（ブルースクリーン）となる前に今回問題となったチャネルファイルをFalconの隔離機能により隔離するようになりました。
再起動の度にFalconセンサーがクラウドへの接続/チャネルファイルの隔離を試みますのでこの処理がシステムクラッシュ前に実施されれば問題は解消されます。
システムクラッシュ前にFalconクラウドに接続できることが条件の１つになりますので、有線LAN等の高速なインターネット接続に接続した状態でOSを起動/再起動を行っていただくことを推奨いたします。
何度か再起動を試みることで成功する場合もありますが、復旧が成功しない場合はナレッジに記載のある修復・復旧方法にて対処いただけますようお願いいたします。

Preliminary Post Incident Review - PIR (インシデント後の予備レビュー): Content Configuration Update Impacting the Falcon Sensor and the Windows Operating System(BSOD)

• 2024-07-24 0335 UTC（2024-07-24-1235 JST）

Preliminary Post Incident Review – PIRがREMEDIATION AND GUIDANCE HUB

（Webページ）で公開されました。

Preliminary Post Incident Review (PIR)の Executive Summary PDF(英語版)が公開されております。

www.crowdstrike.com

Summary 

• FalconセンサーがインストールされているWindows端末でブルースクリーンが発生する事象が確認されております。 

• 本問題の技術的な詳細（ブログ） 

• CrowdStrikeのファルコンプラットフォームは正常に稼働しておりますので、お客様のシステムが正常に稼動している場合、ファルコンセンサーがインストールされていても、システムの保護に影響はございません。なお、ファルコン・コンプリートおよびオーバーウォッチのサービスは、本事象により中断されることはありません。 

 Technical Overview 

• CrowdStrikeでは、この問題のトリガーがWindowsセンサー関連のコンテンツ展開であることを特定し、これらの変更を元に戻しました。
  原因となったコンテンツは、%WINDIR%\System32\drivers\CrowdStrikeディレクトリにあるチャネルファイルです。 

• 原因となるチャネルファイル「C-00000291*.sys」のタイムスタンプが日本時間7/19 13:09から14:27の場合、影響を受ける可能性がございます。
  (日本時間 7/19 14:27 以降のチャネルファイルの場合は、修正が行われておりますので復旧対処の必要はございません)
  ※注意: CrowdStrike ディレクトリに複数の C-00000291*.sys ファイルが存在する場合がありますがこれは正常動作です。このような場合フォルダ内のいずれかの同ファイルのタイムスタンプが 日本時間7/19 14:27以降であれば、そのファイルがアクティブとしてみなされます。 

影響を受けない端末 

• 日本時間7/19 14:27以降にオンラインになったWindows端末 
• 日本時間7/19 14:27 以降にインストールおよびプロビジョニングされたWindows端末
• MacまたはLinuxの端末 

ステップ1: 影響を受ける端末の特定 

A. Advanced Event Searchによる端末特定方法 

検索クエリーはこちらのKB記事を参照ください。 

B. ダッシュボードによる端末特定方法 

ダッシュボードは、影響を受けたチャンネルとCID、および影響を受けたセンサーを表示します。

ダッシュボードの使用方法、影響を受ける端末の特定方法は、こちらのKB記事をご参照ください。

KB記事名: Granular status dashboards to identify Windows hosts impacted by content issue (v8.6)

ダッシュボード詳細動画はこちら (英語になります)

※注意: ご利用にはInsightのサブスクリプションが必要になります。 

ステップ2: 修復と復旧 

端末のクラッシュが継続し、チャンネルファイルの更新を受信するためにオンライン状態を維持できない場合は、以下による手順で復旧が可能です。

ブータブルメディアによる復旧方法:  

• 詳しい復旧方法については こちらのKB CrowdStrike Bootable Recovery ISOs (オプション) を参照ください。
• NOTE: CSPERecovery と CSafeBoot のブータブル Windows PE イメージは、こちらの KB: CrowdStrike Recovery ISO の作成 (手動)に記載されている手順で作成することもできます。

ブータブルメディアを使用しない手動復旧方法:

• BitLockerによる暗号化端末で回復キーがある場合（非暗号化端末でも使用可能です）
  • オプション 1 - ビデオ： 手動によるホストの修復
  • オプション 2 - Microsoft KB

Falcon Windows センサーの修復:

• Repairing Falcon Windows Sensors  – CrowdStrikeフォルダのリネームや削除した際のセンサーの修復に関する記事へのリンク

マイクロソフト環境でのBitLockerリカバリ: 

• Microsoft Azureでの BitLocker  

• SCCM を使用した Microsoft 環境での BitLocker リカバリ 

• Active Directory と GPO を使用した Microsoft 環境での BitLocker のリカバリ 

• Ivanti Endpoint Manager を使用した Microsoft 環境での BitLocker のリカバリ 

• ManageEngine Desktop Central を使用した Microsoft 環境での BitLocker のリカバリ 

• IBM BigFix を使用した Microsoft 環境での BitLockerのリカバリ 

Workspace ONE ポータルでのBitLockerリカバリ 

• User Access to Recovery Key in the Workspace ONEPortal 

TaniumでのBitLockerリカバリ 

• Reference: Windows encryption management 

CitrixでのBitLockerリカバリ 

• BitLocker recovery key 

※回復キーなしでのBitLocker リカバリーはこちらの記事をご参照ください 

AWS リカバリ 

• 本問題の影響を受けたAWSリソースを復旧するにはどうすればよいですか？ 

Azure リカバリ 

• Azure statusをご参照ください 

Google Cloud Platform (GCP) リカバリ 

• GCPにおけるWindowsインスタンスのブルースクリーンからの自動リカバリ 
• GCP CrowdStrike File Remediation Script - GCPに存在する影響を受けたホストを修復するためにお客様が使用できるPythonスクリプト

パブリック クラウドまたは仮想を含む同様の環境の復旧手順 

　オプション1： 

1. 影響を受ける仮想サーバーからオペレーティングシステムのディスクボリュームを切り離す
2. 先に進む前にディスクボリュームのスナップショットまたはバックアップを作成。（意図しない変更に対する予防策）
3. ボリュームを新しい仮想サーバーに接続/マウント
4. “%WINDIR%\\System32\drivers\CrowdStrike” ディレクトリに移動
5. “C-00000291"から始まるファイル名で、“.sys” で終わるファイル（“C-00000291*.sys”）を削除
6. 新しい仮想サーバーからボリュームを切り離す
7. 影響を受けた仮想サーバーに固定ボリュームを接続/マウント

　オプション2: 

　日本時間7/19 13:09より前のスナップショットにロールバック 

インテル® vPro テクノロジー修復ガイド 

• Windows 端末における本問題の修復ガイド 

Rubrik リカバリー 

• CrowdStrike& Rubrik Customer Content Update Recovery For Windows Hosts 

Cohesity サポート 

• Cohesity’s support for CrowdStrike’s Falcon Sensor updates 

サポート  

• 本問題の技術的な詳細（ブログ）

注意：英文と異なる場合には全て以下リンクの英文が優先されます

https://supportportal.crowdstrike.com/s/article/Tech-Alert-Windows-crashes-related-to-Falcon-Sensor-2024-07-19

---------------------------------------------

更新履歴

7/24 16:26 更新 (Preliminary Post Incident Review の公開について追記）

7/24 13:43 更新 (Preliminary Post Incident Review の公開について追記）

7/24 11:17 更新 (日本語版のYoutube動画を追加)

7/24 10:41 更新 (クラウドからの復旧支援について注記を追加)

7/24 08:48 更新 (センサーの復旧方法の追加、クラウドからの復旧支援を実施した旨を追記)

7/23 22:46 更新 (障害に関しての日本語記事を追加)

7/23 16:16 更新 (ブータブルメディアの復旧方法をCrowdStrike Support PortalのURLに変更)

7/23 08:50 更新 (復旧方法の変更と整理、GCP向け手順の追加)

7/23 01:55 更新 (Youtube動画URLを追加、CrowdStrike Support PortalのURLを追加)

7/22 21:01 更新 (Microsoft社作成の回復ツールのURLを追加)

7/22 20:28 更新 (影響を受けない端末、ダッシュボードによる端末特定方法のKB記事変更)

7/22 08:26 更新 (個々の端末に対する復旧策)

---------------------------------------------