V pátek 19. července 2024 kolem šesté ranní našeho času firma CrowdStrike poslala minoritní globální aktualizaci svého bezpečnostního nástroje Falcon pro Windows. CrowdStrike má přes 3500 zákazníků, kteří používají Falcon na desítkách milionů zařízení na Windows, Linuxu a macOS.
Aktualizace bohužel způsobila modrou obrazovku smrti na téměř devíti milionech zařízeních s Windows – od virtuálních počítačů v cloudu přes letištní terminály, pokladní kasy a informační tabule po leckdy klíčové firemní servery.
Aktualizace byla poměrně rychle stažena, ale byla online téměř hodinu a půl, až do půl osmé ráno. Dopady na Evropu a USA by byly pravděpodobně mnohem horší, kdyby aktualizace přišla později během dne.
Odstraňování následků
S ohledem na závažnost stavu, do kterého se zasažená zařízení dostala, bylo řešení pro firmy náročné a teprve teď, po více než týdnu, se zdá, že už je zpátky online 97 % z nich. Náročnost opravy je způsobena především tím, že pokud neexistuje vzdálený přístup k zařízení nezávislý na Windows (třeba hardwarové KVM nebo cloud konzole, podle typu zařízení), je nutné k němu fyzicky dojít. V nejlepším případě jej stačí mnohokrát za sebou restartovat, aby si stihlo před modrou obrazovkou smrti stáhnout aktualizaci bez chyby, a pak normálně naběhne, v nejhorším je nutné zadat obnovovací klíč k šifrování disku, nabootovat do recovery režimu a jako lokální admin smazat jeden soubor se špatnou aktualizací.
Vznikla na to i různá DIY řešení pro urychlení postupu, např. generátor QR kódů z šifrovacích klíčů, takže technik může jen připojit čtečku, která se chová jako klávesnice, načíst kód a nemusí ručně přepisovat 48 čísel. Což je obrovská pomoc hlavně v případě, kdy je zařízení těžko přístupné, třeba v informační tabuli v nějaké hale, několik metrů nad zemí.
Neméně zásadní pomocí se stalo nepřeberné množství memů, které se kolem situace vyrojilo, protože jak jinak si zlepšit víkend strávený neplánovaným obcházením počítačů a jejich restarty než humorem.
Reakce
Kolem výpadku se objevilo množství zavádějících informací, konspiračních teorií a obvinění, ale i relevantních informací, prohlášení a reálné pomoci. CrowdStrike samotný reagoval poměrně rychle, kromě stažení aktualizace poskytoval informace, prohlášení vedoucích pracovníků a vytvořil i celý informační hub. Samotná média informovala už o poznání hůře – časté bylo určení Microsoftu jako původce výpadku (což Microsoft sám dementoval velmi pomalu) a míchala dohromady nesouvisející výpadky (Microsoft měl hodiny předtím problémy s cloudovými službami, které byly ale v kontextu mnohem menšího rázu než CrowdStrike bug).
Vzniklo mnoho lepších i horších rozborů, co bylo špatně s aktualizací – některé byly úplně vedle, jiné se trefily do rozboru, co následně zveřejnil CrowdStrike. Ve zkratce, do produkce prošla aktualizace, která se chovala špatně už při testech, ale testovací platforma ji chybně označila za funkční. Aktualizace pak způsobila za určitých podmínek out-of-bound memory access (čtení paměti mimo danou oblast), což způsobilo pád systému. CrowdStrike slibuje, že zlepší celý postup testování a nasazování všech aktualizací, aby se co nejvíc minimalizovalo riziko něčeho podobného do budoucna, včetně auditů třetí stranou.
To byly všechno relevantní reakce k samotnému výpadku od zainteresovaných stran, ale to samozřejmě není všechno – jako každý takový výpadek i tento se poměrně rychle začal zneužívat k nekalým účelům. Typicky k vytvoření pocitu urgence a relevance ze strany podvodníka k oběti – všemožné variace na „potřebujeme zkontrolovat váš počítač na CrowdStrike chybu“ a využití při phishingu, falešných telefonních podporách a dalších, sofistikovanějších způsobech.
XDR nejsou všelék
V předchozích odstavcích jsem se věnovala prostému popisu událostí a dál se budu věnovat především tomu, co je CrowdStrike Falcon a co je podle mě špatně (ale i dobře) v aktuálním ekosystému cybersecurity nástrojů.
CrowdStrike Falcon patří do rodiny tzv. EDR/XDR (endpoint detection and response/extended detection and response), což jsou bezpečnostní nástroje s hlubokým přístupem do operačního systému, ve kterém fungují. Kdyby takový přístup neměly, nedošlo by ani k tomuto výpadku – operační systémy mají několik vrstev, ve kterých běží aplikace, a podstatně se liší možnosti přístupu a ovlivnění chodu systému v každé z vrstev.
Hluboký přístup do operačního systému tyto nástroje mají proto, že sledují prakticky všechno, co systém dělá, a mají i možnost do toho aktivně zasahovat. Je to vlastně evoluce klasického antiviru – od obyčejných testů základních virových signatur se přešlo ke komplexnímu automatickému sledování situací, které se neomezují v případě XDR nástrojů jen na zařízení, kde běží, ale mohou brát v potaz i další informace – třeba aktivitu uživatele zařízení pod jeho účtem v cloudu. Mezi schopnosti těchto nástrojů patří namátkou kompletní izolace zařízení (zablokování všech síťových komunikací kromě té, která patří XDR), vzdálený přístup do zařízení pro snímky běžící paměti nebo konkrétní soubory, instalace a spouštění skriptů a mnoho dalšího – včetně třeba skenování okolní sítě.
Zní to děsivě, že? O těchto nástrojích není většinou vůbec slyšet a moc lidí je nezná, protože se používají ve velkých organizacích na ochranu tisíců zařízení, nemáte je na svých osobních počítačích. Dodávají je velká i malá jména – Microsoft Defender XDR, Cisco SecureX, SentinelOne (ten má u nás docela velké vývojové centrum a používá jej třeba Seznam.cz) a desítky dalších. Prakticky všechny už dnes fungují přes cloud, takže jejich hlavní server ani nemají organizace u sebe pod svojí kontrolou.
To znamená, že organizace vkládají obrovskou důvěru v třetí stranu, která má potenciálně neomezený přístup ke všemu, co organizace má. V třetí stranu, která má takový přístup k obrovskému počtu organizací, což z ní dělá lákavý cíl pro útočníky. A takové útoky se reálně dějí – jen pár let zpátky se takový stal u SolarWinds, což je sice „jen“ řešení pro IT monitoring, ale také s privilegovaným přístupem k systému, na kterém běží – a skrz napadení SolarWinds se útočníci dostali k tisícům organizací.
Nicméně účel těch nástrojů je opravdu ochrana před cybersecurity incidenty a pomoc při řešení těch, co se už staly – ty potenciálně nebezpečné a zneužitelné vlastnosti mají jen proto, aby to mohly dělat, což z nich dělá dvojsečnou zbraň. Většina jejich dodavatelů si to interně uvědomuje a dělá opatření pro to, aby se incidenty jako SolarWinds (nebo aktuální CrowdStrike) nestávaly. Ale už si to často neuvědomují organizace, které dané nástroje pořizují, a používají je jako univerzální řešení pro bezpečnost. Nainstalují je všude, leckdy ani nepřizpůsobí jejich nastavení, a odškrtnou si (velmi drahou) položku pro bezpečnostní audit. Takový způsob realizace cybersecurity opatření je nerozumný, protože nebere v potaz ani rizika samotného nástroje, ani kontext, kde je nainstalovaný. A někdy ani přidružené prerekvizity, jako třeba lidi, kteří by daný nástroj měli spravovat a používat, nebo pravidelný audit jejich použití.
Pro ilustraci, co má takové nasazení bez kontextu za rizika a negativa:
- XDR nástroj spotřebovává systémové prostředky – někdy i hodně, zvlášť když systém obsahuje mnoho rezidentních programů a služeb, což je častý případ třeba u nadnárodních firem. Na stanicích zaměstnanců se to projevuje různými lagy při práci, případně i výrazným zpomalením systému. Většinou se to dá odladit, ale to musí někdo dlouhodobě dělat a udržovat. Ještě horší je to při nasazení na servery – CPU a paměť jako kompenzace navýšit často nejde, a pokud jde o nějaký high-performance server, může ho to doslova složit, pokud někdo nenastaví správné výjimky na sledování procesů a souborů. To všechno se ve finále negativně projevuje na efektivitě práce, bezpečnost samotná získává špatnou vizitku a v neposlední řadě se spotřebovává znatelně vyšší množství zdrojů (elektřina, náklady na cloud a další).
- Přínos XDR nástroje je v případě, kdy nemá organizace odpovídající schopnosti a množství lidí na jeho využití a správu, vlastně mizivý. Podobnou službu v tu chvíli odvede obyčejnější antivir za menší náklady.
- S ohledem na předchozí body je vlastně diskutabilní i nasazování takového nástroje na kritické prvky určitých typů, které samy o sobě podléhají přísným kritériím, co se týká přístupů a dalšího. Nestačí v tu chvíli jen posílání a monitorování systémových logů místo trvalé přítomnosti potenciální „díry“ do systému? Opravdu převyšují v tu chvíli benefity ochrany její rizika?
Vzato kolem a kolem, XDR nástroje jsou neocenitelnou pomůckou pro realizaci dobrých cybersecurity opatření, ale s ohledem na jejich rizika, a některá negativa, by se k nim mělo přistupovat s respektem a nepoužívat je jako všelék, jak je dnes bohužel celkem běžné. Několik málo firem v tuhle chvíli představuje v případě jejich rozsáhlejší kompromitace pohodlnou bránu do desítek milionů zařízení po celém světě.
Jsem vlastně v jistém smyslu ráda, že se incident s CrowdStrike stal, protože by mohl zafungovat jako budíček proti aktuálnímu trendu bezmyšlenkovitého nasazování bezpečnostních nástrojů na úkor promyšlenějších opatření a zároveň i jako incentiva pro hlavní hráče ekosystému XDR nástrojů k realizaci lepších prostředků oddělení nástrojů třetích stran a samotného operačního systému (to platí nejen pro Microsoft).
Teď spadlo „jenom“ osm a půl milionu zařízení s Windows, z nichž většina neprovozovala nic kritického – ale byly vidět, protože byly často používané při kontaktu s lidmi (informační tabule, kasy). Příště můžeme mít větší smůlu a buď dojde k většímu výpadku, nebo ke kompromitaci některého z velkých hráčů na XDR trhu.
Chci odebírat newsletter
ČLÁNKY DO MAILU