Kácelo se v našem lese

☠ Tak už se kácelo i v našem lese! Minulý týden se podařilo hackerům prolomit a zašifrovat jeden server u našeho zákazníka. Často to píši a věřím, že sdílení zkušeností je cesta, jak se společně posouvat vpřed. Teď a tady proto předkládám naši zkušenost.

1️⃣ Jak se útočníci dostali na server

Jak se útočníci dostali na server, bylo to první, co nás zajímalo. Nebyli jsme si vědomi, že bychom něco zanedbali. Při vyšetřování incidentu se „naštěstí“ ukázalo, že se jednalo o „supply chain“ útok.

Útočníci na server „zaútočili“ skrze dodavatele IS a jeho přístupové údaje. Slovo zaútočili, dávám do uvozovek schválně, protože když máte k něčemu administrátorský přístup, není to zrovna hackování.😊

Obdobný vektor útoku není nic nového (viz můj článek „Jak hackeři napadají firmy skrze jejich IT dodavatele„). Jen z naší zkušenosti mají dodavatelé častěji štěstí a útočníci si nevšimnou, že se z nich dá „vytěžit“ mnohem víc (jejich zákazníci). Bohužel tento dodavatel toto štěstí neměl a krom jeho samotného zašifrovali útočníci minimálně jednoho jeho zákazníka.

Proč píši minimálně? Jde o to, že dodavatelova prvotní reakce byla ve smyslu „o ničem nevíme, u nás se nic nestalo“. 🤥 Nicméně logy a stopy z napadeného serveru ukázaly jeho směrem. Útočníci nejenže použili jeho přihlašovací údaje, ale zároveň podnikli útok přímo z jeho sítě (počítačů). Stejně tak přestali být dostupné webové stránky dodavatele.

Dodavatel se nakonec k napadení své sítě přiznal. Avšak rozsah napadení (ve své síti i u svých zákazníků), prvotní vektor průniku a provedená opatření si nechává pro sebe. Nabízeli jsme jim pomoc a ptali jsme se po více informacích, ale prý mají vše pod kontrolou. Osobně mě jejich přístup moc neuklidňuje.🙄

Ostatně „máme to pod kontrolou“ slýcháme snad po každém útoku. Jen mi vrtá hlavou, proč když to mají pod kontrolou (myšleno rozumí bezpečnosti), k tomu útoku vůbec došlo. 🤷🏼‍♂️

2️⃣ Jak vyřadili ESET antivirus

Na serveru jsme měli nasazený antivirus ESET Server Security (aktuální verzi) s konfigurací (tudíž i odinstalací) chráněnou heslem. Nicméně útočníkům se podařilo antivirus zničit.

Jasně, vím, když má někdo administrátorská oprávnění, je to jen otázka času a úsilí. Nicméně:

• Není to zase tak jednoduché, že by stačilo otevřít správce úloh a antivirus jednoduše ukončit. ESET (ale i ostatní antiviry) mají v sobě sebeobranné mechanismy, které se snaží antivirus před útočníky ubránit. Například ESET využívá i funkcionalitu Windows „protected service„.
• Když to srovnám s jinými útoky, co jsme řešili, tak zde útočníci předvedli rozhodně mnohem více úsilí a schopností. Celý útok, včetně vyřazení AV a nasazení ransomware, jim zabral pouze jednu hodinu.
• Doufali jsme, že správně nakonfigurovaný antivirus zaměstná útočníky na delší dobu než cca 20 minut. Zároveň jeho zničení provedli tak čistě, že antivirus do centrální konzole nezahlásil ani jednu událost, která by značila problém. Klobouk dolů.🎩

Přesný způsob, jak se útočníkům podařilo antiviru zbavit, nám stále není známý. Doufáme, že nám s analýzou pomohou z ESETu. Můj tip je, že si útočníci na server přinesli vlastní ovladač (běžící v kernel mode), který následně instruovali ke zničení ESETu. Avšak i tak, potřebujete ovladač/tool, který AV před svým zničením nedetekuje.

Na toto téma jsem měl v šuplíku jedno PoC. Vzniklo po diskuzi s kolegou, který věřil, že se antivirus nedá ze systému vymazat (bez nouzového režimu). Jen nebyl čas to PoC dotáhnout. Nicméně, tento útok změnil priority a zde máte dané PoC:

3️⃣ Co zafungovalo

Jelikož se na takové věci připravujeme a často po útocích pomáháme jiným firmám, reakce se nám podařila a během hodiny byl server opět online.

Hackerům se na prostředí zákazníka nepodařilo udělat lateral movement (dostat na další servery). Na tomhle si dáváme záležet – na serverech se nevyskytují žádné další přístupové údaje ani uživatelské účty, které by jim umožnili postoupit dále v síti (viz článek „Zabezpečení sítě: Tierování a PAW„). Útok tak zůstal izolován pouze na jednom serveru.

Poslední dva roky jsme investovali hodně úsilí do zálohovací infrastruktury u nás i našich zákazníků. V podstatě většina primárních zálohovacích úložišť je SSD only a propojena skrze 10 Gbps linky. Běžné zálohy (s využitím CBT) nám trvají řádově minuty a celá zákaznická prostředí obnovíme zpravidla do 2 hodin. Což je velký pokrok od doby, kdy jsme skrze celou noc obnovovali Exchange server po havárii a hypnotizovali hodiny – s tím jestli se to dokončí dřív, než lidi přijdou do práce.

Aby se nám dobře spalo, tak jsme si v datacentru zavedli vlastní „Veeam Hardened Repository„, kam zálohujeme všechny zákazníky. Tyto repositáře slouží jako naše „Noemova archa“, kde zálohy přežijí i kompletní ransomware útok na zákazníka. Zúročili jsme tak má zjištění z přednášky „Zálohy, které nepřežijí ransomware„, ve které jsem demonstroval možnosti a taktiky hackerů.

Obnovit server ze zálohy tak zabralo 3 minuty a 44 vteřin. Přičemž zákazník přišel o data (RPO) za poslední 3 hodiny. Nejspíše bychom zvládli ztrátu dat srazit i na 1 hodinu (k zálohám máme i snapshoty na produkčním storage). Nicméně po rychlé poradě padla volba na starší bod obnovy (rychlá kalkulace mezi náklady na nedostupnost systému, důležitost obětovaných dat a pravděpodobnost, že daný recovery point je kompromitovaný).

4️⃣ Co jsme si z útoku odnesli

Samozřejmě, že po útoku jsme strávili několik hodin diskuzí ve smyslu „co by kdyby“. Rádi bychom měli ideální prostředí, ale realita je prostě komplexní záležitost. Rádi bychom u zákazníků měli dodavatele, kterým můžeme důvěřovat. Z naší strany jsme ochotni jim i se spoustou věcí pomoci, ale musí o tom být zájem i na jejich straně.

Trh s tematickými IS bohužel není často příliš konkurenční, aby při výběru mohlo hrát roli, jak se staví dodavatel k bezpečnosti. Zákazníci bývají vůbec rádi, že pro ně má vůbec někdo funkční řešení, které bude fungovat pro jejich „use case“ (situaci / případ užití). Zajistit bezpečnost je tak primárně na nás.

Po tomto incidentu přemýšlíme, že bychom od všech dodavatelů našich zákazníků začali vyžadovat 2FA s využitím mobilních telefonů (TOTP/push notifikace). Aktuální situace je, že už 2FA mají, nebo je jejich přístup omezen pouze na konkrétní IP adresu.

Omezení přístupu na IP je určitým způsobem také druhý faktor (něco mít). Jen jsme nečekali, že útočníci využijí k útoku na zákazníky přímo počítače napadeného dodavatele (tudíž měli jeho IP).🤦🏼‍♂️

Dalším možným opatřením je omezit dodavatelské přístupy pouze na pracovní dobu. Reálně to nemá tak velký přínos, ale na druhou stranu je to snáze aplikovatelné.

Ono se totiž řekne, že nasadit 2FA není těžké. Jakmile se však začnou věci promýšlet do detailu, začne se to komplikovat. Například od jednoho dodavatele se nám už vrátila odpověď, že kvůli výdrži baterky nepoužívají smartphony…

Také bychom byli rádi, kdyby nám ESET pomohl s analýzou toho, jak útočníci antivirus vypnul. A implementoval opatření do svého antiviru. Přeci jen víc času na detekci a včasné zastavení útoku se vždycky hodí.😊

Závěr

Tak to byla naše zkušenost a naše myšlenkové pochody. Co si o tom myslíte? Dělali byste něco jinak? Už máte také osobní zkušenost se „suplly chain“ útokem? Budu rád když mi napíšete do komentářů níže, nebo na mail.

Ať jsou vaše sítě bezpečné,

Martin