Jak obnovit síť po ransomware útoku

Již několik článků jsem věnoval ransomware útokům. Psal jsem, co hackeři ve vaší síti dokážou a jak útočí skrze IT dodavatele. Tentokrát vám povím, jak ransomware útok řešit a jak síť obnovit do použitelné podoby. 😊 Chci se s vámi podělit hlavně o své postřehy a zkušenosti z praxe, jak se s takovou situací vypořádat.

Představte si, že jste správce větší firmy (200+ zaměstnanců), která byla napadena ransomware. Nejedná se přitom o případ, kdy ransomware dorazil e-mailem a někdo ze zaměstnanců jej spustil. Tentokrát se podařilo hackerům ukrást uživatelské přihlašovací údaje, exploitovat z internetu dostupnou službu, nebo umístit backdoor do vaší sítě (Emotet + Trickbot + Ryuk). O víkendu se do sítě připojili, chvíli v ní šmejdili a nakonec na několika zařízeních spustili ransomware (jedná se o případy s velice velkým dopadem).

Jak zjistíte, že jste byli napadeni ransomware?

„Výhodou“ ransomware útoků je, že jsou lehce detekovatelné. Dokáže je detekovat v podstatě každý. 😉 V důsledku zašifrovaných dat vám totiž přestane něco fungovat. Dozvíte se to buď ze svého monitorovacího systému nebo od uživatelů, kteří vám začnou volat. 😊

Proč o tom píšu jako o výhodě? Protože hacknutí za účelem špionáže jsou obtížně detekovatelná. Bývají sofistikovaná, tichá a málo firem má adekvátní experty a vybavení pro jejich detekci. Podle reportů od M-Trends to za rok 2019 trvalo běžně 54 dní (výrazné zlepšení oproti 2018, kdy se uvádělo 177 dní).

Co dělat jako první, když detekuji ransomaware?

Většina správců se asi ihned připojí na server a ověří si, jestli služba jenom „nespadla“. Na serveru pak naleznou zašifrovaná data (soubory budou mít divnou koncovku) a ransomnote (zprávu o tom, koho mají kontaktovat, pokud chtějí data získat zpět). Nyní máte jistotu, že vaši síť napadl ransomware.

Máte pro tento případ připravený scénář?

Pokud ano, začnete se jím řídit a nemáte moc problém.

Pokud ne, zábava teprve přichází. Hlavou vám začnou létat otázky … Jak se to mohlo stát? … Udělaly se včera zálohy? … Nejsou zašifrované i zálohy? … Co všechno je napadané? … Co budu dělat?

Mezitím vám zvoní telefony od uživatelů, že jim nejde systém. Po chvíli se k nim přidává i vedení. Všichni se ptají, co se stalo a za jak dlouho to opravíte. Bude to taková dávka stresu, že se zpotíte nejen na čele.

Co v takovém případě udělat jako první? Běžte za vedením, povězte jim o vzniklé situaci a řekněte, že výpadek bude trvat minimálně celý den!

Proč je to tak důležité? Vy získáte více času a klidu na řešení situace. Vedení zase bude vědět, na čem je, a může se pokusit přizpůsobit se situaci (pošle lidi domů, začne věci řešit telefonem místo mailem, tužkou místo IS). Není nic horšího, než každou hodinu tvrdit, že za hodinu vše pojede (vy jste pod stresem, hůře se vám pracuje a vedení přijímá špatná opatření)!

Dodatek: Ano, ransomware se dá vyřešit i v řádu desítek minut/hodin, ale to platí pro firmy, co jsou na to připravené. Mají vypracované scénáře a pravidelně je trénují.

Systematizujte se

Jsme na tom lépe než na začátku. Získali jsme prostor na řešení problému, vedení už na nás nenaléhá s dotazy a místo toho se snaží organizovat firmu. Nyní je třeba sestavit si „záchranný“ tým. U malých firem (do pár desítek PC) si asi vystačíte sami. U větších firem bude třeba zapojit své kolegy z IT týmu. S více lidmi dokážete firmu dostat rychleji zpátky do hry.

Máme před sebou několik úkolů:

• Zjistit rozsah kompromitace – potřebujete vědět, co vše budete muset obnovit.
• Jak se ransomware/hackeři do sítě dostali – aby se ransomware/hackeři během pár minut do sítě opět nevrátili.
• Obnovit síť do provoz – důvod je asi jasný. 😊

Přičemž:

• Na úkolech se dá pracovat paralelně (i když mírné provázanosti tam jsou).
• Každý úkol by měl mít svého vedoucího (odpovědnou osobu).
• Další osoba by měla být vyčleněna pouze na řízení celé operace – synchronizaci týmů, tvorbu rozhodnutí a komunikaci s vedením a uživateli.
• Stejně tak zvažte, zdali povolat i externisty (např. lidi od vašich dodavatelů). Lidi, kteří takové „operace“ řeší pravidelně, dokážou zkrátit dobu obnovy sítě a pomohou vyvarovat se vážných chyb.
• Pokud jste hodně velká firma, může plná obnova zabrat i několik dní. V takových případech se většinou pracuje nonstop. Zvažte proto možnost hned na začátku se rozdělit na „směny“. Není totiž nic horšího, než když všichni jedou v kuse 24 hodin (mentální schopnosti jsou pak značně omezené) a není kdo, by je vystřídal.

Dodatek: Čtete-li můj blog pravidelně, víte, že IT bezpečnost a hacking jsou pro mě více než jen práce. 😊 Rád se přidám k operaci za záchranou vaší sítě, nebo aspoň poradím. Zastihnete mě buď na mailu (martin.haller@patron-it.cz), nebo skrze mého kolegu Martina Melicha (+420 602 346 185). V případě potřeby jsme schopní do hodiny vyjet kamkoliv v ČR.

Jak zjistit rozsah kompromitace?

Ještě než se začnete připojovat do všech serverů a systémů, zamyslete se nad pár věcmi:

• Nejsou hackeři stále ještě v síti? Nejednou jsem se setkal s tím, že firma obnovovala data a hackeři ji přitom šifrovali další servery. Z tohoto důvodu odpojte síť od internetu!
• Odpojte napadený server od sítě. Cílem je zamezit mu v šifrování dalších dat, ke kterým má na síti přístup.
• Jak se chystáte na servery/služby připojovat? Jestli se chystáte použít účet doménového administrátora (DA), riskujete, že vše můžete zhoršit. Za předpokladu, že se hackeři nedostali k DA, mohli na nějakém napadeném serveru nechat „past“. Jakmile se na ten server připojíte jako DA, ona past (malware) získá vaše oprávnění a může se ihned rozšířit do celé sítě. Jak z toho ven:
  • Ideální je mít pro každý server zvláštní admin účet, který je administrátorem pouze daného serveru. Nebo mít povolený „RDP Restricted Admin mode“ (má zase jiné nevýhody ☹). Obojí ale počítá s tím, že jste to tak měli zřízené už před napadením.
  • Server odpojit od sítě a přihlásit se na něj lokálně (přes VMware/Hyper-V konzoli/klávesnici a myš) s pomocí nacachovaných credentials (malware je nemůže zneužít, protože server není na síti).
  • Na důvěryhodném serveru si otevřete MMC se snapinem „Local users & groups“ a přidejte na cílovém serveru nového lokálního uživatele s právy admina (musíte to dělat skrze FQDN kvůli Kerberos ověření). Těmi se pak na daný server přihlaste.
• Jsou zálohy v pořádku? Mezi prvními kroky je třeba zkontrolovat, že jste během útoku nepřišli o zálohy (abyste věděli na čem jste). Obzvlášť při této operaci jednejte opatrně, ať přitom neohrozíte zálohy (viz výše). Zálohy kontrolujte z bezpečného zařízení a případně je odpojte i od zbytku sítě (např. pokud jsou na NASu).

Co vlastně na serverech hledat?

To je dobrá otázka. Pokud na serveru najdete zašifrovaná data a ransomnote mimo oblast sdílených disků, pak na něm útočníci byli. Ovšem jejich absence neznamená, že server napadený/kompromitovaný nebyl. Ideální je podle mě kombinovat následující:

• U serverů, které byly prokazatelně napadané hledejte, co na nich útočníci prováděli. Většinou po sobě moc neuklízí. Takže na nich naleznete jejich skripty a nástroje, které použili. Dále na serverech zůstává historie webových prohlížečů, Event logy (přihlášené už. účty), PreFetch informace, nedávné dokumenty a lokality, uložená hesla/účty v prohlížečích a systémů, cache a logy z použitých programů. Z toho získáte zhruba časový rámec útoku, seznam kompromitovaných účtů a další servery/stanice, kam mohli útočníci jít.
• Namátková kontrola všech serverů/stanic: procházet stejné věci jako výše v očekávaném časovém úseku (ransomware útoky, se kterými jsem se setkal, byly zatím prováděny jako „hit-and-run“ – tzn. útočníci se v síti dlouho nezdrží).

Kde dál hledat

S hledáním kompromitovaných systémů/zařízení vám výrazně pomůže i:

• Centrální správa antiviru: rychle vám ukáže, na jakých zařízeních byl detekován malware. I když AV nezachytí samotný „kryptor“ (SW zodpovědný za zašifrování dat), stále může detekovat ransomnote, šifrování dat (antiransomware moduly), síťové útoky (firewall) a různé „hacking“ tooly, které hackeři používají k šíření v síti.
• Síťové IPS/IDS: řeknou, ze kterých zařízení viděly útoky přicházet. Zařízení, ze kterých útoky přicházely, jsou kompromitovaná.
• Síťové analyzátory/kolektory: poskytují přehled o tom, jaká zařízení spolu kdy, jak dlouho a o čem komunikovala. Při vyšetřování bezpečnostních incidentů je to neuvěřitelná pomoc.

Zajištění stop

Nezapomeňte si vše, co najdete, strukturovaně zapisovat! Postupem času, jak roste množství informací, je jednoduché se v tom všem ztratit. To důležité si také foťte. V budoucnu se poznámky/informace hodí k sepsání reportu o incidentu.

Pokud budete potřebovat libovolný počítač/server přeinstalovat, nebo jinak upravovat, a přitom se jednalo o klíčové zařízení (z hlediska stop a důkazů), udělejte si jeho image (např. bezplatný FTK Imager). Stejně tak, než restartujete nějaký klíčový server, udělejte si dump jeho RAM pro pozdější analýzu (např. FTK Imager, nebo DumpIT).

Následnou analýzu obrazu disku můžete dělat skrze Autopsy a RAM skrze Volatility. Obojí jsou bezplatné programy a je fajn je trochu znát. 😊

Jak se ransomware dostal do sítě?

Nejčastěji (alespoň dle mých zkušeností) se ransomware dostane do sítě skrze nějakou zranitelnou službu publikovanou do internetu. Zde vám hodně pomůže, když mezi sebou budete mít člověka, který sleduje dění v IT bezpečnosti a udržuje si přehled o tom, jaké zranitelnosti a exploity jsou právě „in“. V minulém roce to byly RDP zranitelnosti (BlueKeep, DejaBlue), RDP bruteforce, zranitelnosti ve VPN implementacích (Pulse Secure Connect, FortiGate, Palo Alto GlobalProtect), Citrix ADC (CVE-2019-19781) a nějaké zranitelnosti zacílené na uživatele v Adobe Flash, MS Office a webových prohlížečích (viz „8 of the 10 Most Exploited Bugs Last Year Involved Microsoft Products“).

Pro správné určení způsobu průniku ransomware do sítě, vám pomohou informace, které jste nalezli během zjišťování rozsahu kompromitace. Pamatujte si, že vstupním bodem nemusí být první počítač/server, u kterého jste ransomware detekovali. Stejně tak se může stát, že hackeři získali přístup do vaší sítě o X měsíců dříve, když jste tam ještě měli neopatchovanou zranitelnost. Tehdy do ní jen umístili backdoor či si odnesli nějaké přihlašovací údaje. Samotný útok/nasazení ransomware pak provedli až s několika měsíčním zpožděním (jak jsem psal již v jiném článku, v poslední době bylo více zranitelných sítí, než hackeři zvládali hackovat).

Jakmile budete znát vektor útoku, začněte připravovat opatření. Ty implementujte co nejdříve. Určitě dříve, než síť opět napojíte na internet.😉

Obnovení sítě do provozu

Pokud máte štěstí, bude nakažen jenom jeden server. Ten je velmi lehké obnovit ze záloh (za předpokladu, že máte zálohu celého serveru).

Bohužel, dle mých zkušeností je většinou kompromitována celá síť (Active Directory). Hackeři (v současné době i samotný ransomware) jsou totiž velmi dobří v „lateral movement“ / „privilege escalation“ – tzn. pohybu v síti a získání přístupu k všemu (viz „Co dokážou hackeři s ransomware ve vaší firemní síti“).

Pokud se útočníci dostali až na DC, byla kompromitována celá síť a vy tak stojíte před rozhodnutím, jak to vyřešit. Obnovit servery ze záloh a stanice nechat? Obnovit servery ze záloh a stanice přeinstalovat? Vše nainstalovat od začátku? Pojďme si tyto varianty porovnat.

Nainstalovat celou síť od nuly

Řešení, které odborníci doporučují. Touto volbou nic nezkazíte a nikdo nemůže namítnout, že jste něco zanedbali.

Vedlejší výhodou je, že čistou instalací se zbavíte všech možných starých nastavení/programů/účtů (třeba i backdoorů), které jste v prostředí měli a o kterých nikdo nevěděl k čemu jsou. 😊 Budete lépe znát své prostředí a to bude bezpečnější než před útokem.

Nevýhodou je obrovská časová a finanční náročnost. Je třeba dohledat spoustu instalaček. Shánět lidi, co jsou již nejspíše v důchodu, a ptát se jich co, jak a proč bylo nastaveno. Dále hrozí riziko, že s přenášením starých nastavení/dat, se do čistého systému přenese nějaký backdoor. Teoreticky, pokud by útočníci byli špička a moc o vaši síť stáli, backdoor může zůstávat např. ve firmware počítače, tiskárně, IP kameře, IP telefonu, routeru.

Když už se pustíte do čisté instalace, přiberte si k sobě ideálně někoho z IT security, aby vám pomohl již od začátku budovat odolnou síť. Je to jednodušší, než věci dodatečně zabezpečovat.

Obnovit napadené systémy ze záloh a zbytek nechat

Jedná se o riskantnější a „kontroverznější“ variantu. Někteří kolegové pokládají tuto variantu za tabu (no-go). Já věřím, že je to validní možnost. Avšak vždy při výběru metody nápravy je nutné zvážit kontext celé situace. Např. jaká skupina útočila, jak dlouho v síti byla, kam všude se dostala, jak kritická je daná síť, jak dlouhý může být výpadek, kolik je peněz na obnovu atd.

Kontroverznost této metody spočívá v tom, že nikdy nevíte, zdali hackeři ve vaší síti někde neukryli backdoor (jeden či více). Pokud tedy vše nenainstalujete znovu (abyste obnovili důvěryhodnost), nemáte jistotu, že se k vám nevrátí.

Pokud se rozhodnete pro tuto variantu (že obnovíte/přeinstalujete jen část sítě), přidávám seznam kroků, které provést (pokud máte nějaké další nápady, budu rád, když se podělíte):

• Změnit hesla všech počítačů připojených do AD (ochrana před Kerberos Silver Ticket a AD Sync).
• Změnit hesla všech uživatelů v AD i servisních účtů.
• Změnit 2x heslo pro Krbtgt účet (ochrana před Kerberos Golden Ticket).
• Změnit hesla všech lokálních účtů na počítačích.
• Změnit hesla ke všem dalším systémům nenavázaným na AD, pokud byla jejich databáze kompromitována (minimálně alespoň privilegované účty a kritické systémy).
• Změnit všechna hesla, která byla uložena v kompromitovaných systémech.
• Změnit hesla ke kritické infrastruktuře (routery, zálohy, virtualizace, atd.).
• Udělejte si revizi všech privilegovaných skupin v AD a GPO.
• Překontrolujte si AD s pomocí BloodHound, umí odhalit různé metody eskalace privilegií (GPO, ACL, computer sessions).
• Na všech zařízeních nechte proběhnou antivirovou kontrolu.
• Zkontrolujte zařízení skrze Autoruns (umí najít vše co se automaticky spouští se systémem).
• Udělejte revizi FW pravidel na perimetru a publikovaných služeb do internetu.

Jakmile se věci začnou uklidňovat (firmu rozjedete), je čas se začít dívat i na dalších místech v AD. Mohu doporučit například přednášku Michaela Grafnettera – Exploiting Windows Hello for Business nebo web https://adsecurity.org/, kde najdete hodně kvalitních informací pro dlouhé večery.

Od věci také není zavést/posílit monitorovací/dohledové systémy. Cílem je včas detekovat případný následný útok nebo backdoor, který by se snažil „zavolat“ domů. Něco málo jsem tomu věnoval v článku „Životní cyklus IT bezpečnosti“.

Co dál?

Máte vyšetřeno (víte, jak se ransomware do sítě dostal, co vše bylo kompromitováno) a systémy jsou obnovené? Nyní zbývá implementovat (navržená) obraná opatření, aby se útok stejnou cestou neopakoval a připojit síť zpátky k internetu.

Dalším krokem by mělo být zanalyzovat logy z routerů/síťových analyzátorů a pokusit se zjistit, zdali nedošlo i k úniku dat při ransomware útoku. Část skupin stojících za ransomware totiž začala „vynášet“ data z napadených firem. Následně firmy vydírá, že pokud nezaplatí, data zveřejní. Měli byste zjistit, zda to je i váš případ. Lze to odtušit i podle varianty použitého ransomware. Vaše vedení se na tuto variantu musí připravit (volbou strategie, jak na to reagovat), aby mohlo včas informovat subjekty, kterých se to týká (dodavatel, odběratele, zákazníky, úřady).

Ze získaných informací o útoku budete muset vypracovat zprávu, kterou budete prezentovat vedení. Vedení se bude ptát, proč se to stalo a zda jste tomu mohli předejít.

Posledním krokem je zapracovat na zvýšení zabezpečení sítě, aby se podobný incident v budoucnu neopakoval. V tuto chvíli budete mít hodně nápadů, jak zvýšit zabezpečení firemní sítě. Vedení vám bude ochotné více naslouchat a uvolní i peníze na investice. Pokud to bude možné, přizvěte si k sobě na provádění změn i nějakého odborníka na bezpečnost – jeho rady a znalosti vám pomohou něco nepřehlédnout a opatření implementovat rychleji. 😊

Závěr

Snad jste se v článku dozvěděli něco zajímavého a zároveň doufám, že pro vás zůstane pouze informativním a nikdy jej potřebovat nebudete. 😊 Doporučení a postupy berte prosím jako orientační – vždy záleží na konkrétní situaci.

Něco jsem vynechal? Máte na věc jiný názor? Chcete se podělit o své zkušenosti? Budu rád za doplnění v komentářích pod článkem.

Prima den a pevné zdraví přeje

Martin