Útok na IT firmy: Kaseya VSA

Páteční večer 2. července 2021 mě polil studený pot! Akorát jsem si užíval poslední dny své „hybridní“ (politicky korektní název pro „work and maybe fun“) dovolené. Když jsem se dostal k článku o stovkách firem napadených skrze monitorovací (RMM) systém od společnosti Kaseya. Útočníci opět zneužili naše nástroje proti nám, správcům!

Jde o to, že abychom dokázali efektivně pomoci druhým firmám (se správou, zabezpečením či automatizací), potřebujeme k tomu vhodné nástroje. Nástroje, které nám umožní všechna prostředí centrálně sledovat a spravovat. Takové nástroje dokážou udržet pořádek a šetřit čas. Konfigurační změnu uděláte na jednom místě a ta se skrze tyto nástroje rozšíří na desítky tisíc počítačů.

Tento největší přínos centrálních systémů však může být i tou největší slabinou. Když se k systému dostane někdo se zlými úmysly, dokáže během pár minut poškodit data na všech počítačích, které ten systém spravuje. Právě toto se stalo v pátek 2. července.

Útok proti Kaseya VSA

Společnost Kaseya právě jeden z takovýchto centrálních nástrojů pro správu a monitorovaní (RMM – Remote Management and Monitoring) vyvíjí pod názvem Kaseya VSA. Tento nástroj existuje jak ve verzi cloudové služby, tak i „on-prem“ instalace (tzn. instalace přímo u MSP/MSSP).

V tomto nástroji byly nalezeny kritické chyby. Ty byly nálezcem (Dutch Institute for Vulnerability Disclosure) oznámeny výrobci (Kaseya), který začal pracovat na záplatách. Bohužel chyb si všimli i kyberzločinci (REvil / Sodinokibi) a zneužili je dříve (2.7.2021), než vznikly záplaty (11.7.).

Výsledkem je 60 napadených IT firem, skrze které útočníci zašifrovali přes 1.500 jejich zákazníků (Kaseya ransomware attack: What we know now). Tolik k „nudnému“ popisu a teď se pojďme podívat na zajímavosti tohoto útoku.

Noční můra IT firem

Tento typ „průšvihu“, musí být noční můrou každé IT firmy. V pátek odpoledne skončíte v práci s vidinou prodlouženého víkendu a o pár hodin později jsou všichni vaši zákazníci zašifrování.

Přitom to není vaše chyba – software jste měli aktualizovaný, používáte silná hesla i více faktorové ověřování a přesto jsou všichni zákazníci zašifrování.

Všichni zákazníci! To je na tom asi to nejhorší. Jednoho či dva zákazníky byste dokázali během týdne postavit znovu na nohy, ale všechny zákazníky? To bude na měsíce. Je to neuvěřitelná asymetrie mezi tím, kolik energie je třeba ke způsobení škody a kolik k nápravě.

Z pohledu zákazníka to také nevypadá dobře. On za situaci už vůbec nemůže. A jedinou jeho možností je být pro vás větší osinou v zadnici než ostatní a dostat tak vyšší prioritu při obnově. Či požádat o pomoc konkurenci a zaplatit 💰.

Každá IT firma má „svůj“ Kaseya VSA

My naštěstí produkty od Kaseya nepoužíváme. Avšak máme jiné obdobně kritické systémy:

• N-able RMM – obdobný SW jako Kaseya VSA poskytovaný formou služby v cloud. Dříve se jmenoval SolarWinds MSP RMM, ale po incidentu, který měl SolarWinds minulý rok s jiným SW (viz „Hacknutí SolarWinds, FireEye a amerického ministerstva financí“), došlo ke „spinoffu“ (vyčlenění do nově vzniklé firmy) (viz „Video dohledového systému: jak dohlížíme na 2000+ síťových zařízení“).
• ESET Protect – centrální konzole pro správu produktů (zejména antiviru) od firmy ESET. I ona dokáže ovládat všechna připojená zařízení (počítače, servery, mobily).
• TeamViewer – software umožňující vzdálenou podporu uživatelů (viz „TeamViewer: zkušenosti po 4 letech používání (část 2/2)“). S jeho pomocí se dá připojit a ovládat všechna spravovaná zařízení.
• Devolutions Server – software pro správu všech hesel a přístupů k našim zákazníkům (viz „Správa hesel 2: nasadili jsme nový systém pro správu hesel“).
• Azure Active Directory – zatím nejsme úplně „zintegrování“ (z bezpečnostních důvodů), ale do budoucna nás to čeká. Přístup k primárním e-mailovým schránkám může být kritický zejména díky možnosti resetu hesla, obejití více faktorového ověřování či ovládnutí spravovaných PC skrze Intune.

Je třeba postavit se k tomu čelem

Přemýšlel jsem, zdali vůbec psát o tom, že i my máme podobné kritické systémy, abych zbytečně neplašil naše zákazníky. Nicméně, pravda je taková, že každá firma má své kritické systémy. Tak to prostě je. Bez těchto systémů by nešlo pořádně dělat svou práci.

Cílem musí být postavit se čelem těmto výzvám. Uvědomit si, které systémy jsou kritické, co se může stát, když budou zneužity a začít ta rizika řídit. Měli bychom:

• Omezit množství kritických systémů – co nutně nepotřebuji, nepoužívat.
• Minimalizovat kritičnost daných systémů – spravovat tím daným systémem jen to, co potřebuji (např. jen stanice) a nepoužívané moduly vypnout.
• Rozdělit systémy podle kritičnosti a aplikovat vhodná bezpečnostní opatření – přístupová opatření (žádná, nebo nejnižší možná oprávnění pro přístup), síťovou dostupnost (firewall, VPN, geofiltering), 2FA, EDR, AV+sanbdox (viz „Zabezpečení sítě: Tierování a PAW“).
• Pečlivě si vybírat své partnery/dodavatele – mají větší vliv na naši bezpečnost, než si často připouštíme.

V čem se útok zločincům povedl

Tento útok nebyl po odborné stránce tak propracovaný, jako ten na SolarWinds („Hacknutí SolarWinds, FireEye a amerického ministerstva financí“). Je však třeba vzít v potaz, že hack vůči SolarWinds byl proveden státem podporovanou elitní hackerskou skupinou. Tento útok naopak provedla „běžná“ kyberkriminální skupina.

Oproti jiným útokům podobných skupin je toto velice propracovaný útok. Útočníci zde použili veřejně neznámou zranitelnost (možná šlo o vlastní výzkum?) a vlastní exploit. Běžně totiž zneužívají chyby, které nalezli jiní (např. bezpečnostní výzkumníci) a často si ani nejsou schopni napsat vlastní exploit (čekají, než jej napíše někdo jiný, a pak jej začnou zneužívat).

Technické provedení payloadu (malware)

Musím říct, že s payloadem (způsobem nasazení ransomware) si dali útočníci záležet. Když útočí na nějakou firmu ručně, mohou si její prostředí prohlédnout a vyřadit její antivirovou ochranu (vypnout, odinstalovat, nastavit výjimky).

Nicméně, když útočí automatizovaně, musí veškeré instrukce (logiku/chování) zabudovat přímo do nasazovaného malware. Jenomže jak to udělat, když každá oběť bude mít jiný antivirus a jeho nastavení?

Prvotní fáze payloadu (malware), který útočníci použili byla nasazena skrze agenta monitorovacího systému. Ten je však často zařazen mezi výjimky antivirového systému (proto, aby monitorovací systém nerozbíjel). V této fázi se do systému stáhla stará verze Windows Defenderu a kód umožňující šifrování dat.

Asi si teď říkáte, proč by útočníci do systému stahovali antivirus, vždyť to nedává logiku. 😁 Vtip je v tom, že stará verze Defenderu, kterou do systému stáhli a „nainstalovali“ obsahovala bezpečnostní chybu (provedli tzv. „Bring Your Own Vulnerability“).

Následně tento starý Defender nastartovali. Ten díky bezpečnostní chybě načetl dodaný kód pro šifrování dat (DLL) a začal šifrovat veškerá data.

Cílem bylo opět obejit antivirovou ochranu daného PC/serveru. Antiviry totiž mají zpravidla výjimku na Defender, aby nedocházelo k nestabilitě systémů v důsledku více antivirů. Z informací od některých známých mám potvrzeno, že ransomware nebyl jejich AV zastaven.

Možné také je (odhaduji), že Defender má přístup i do „protected folders“ a mohl zašifrovat i tato chráněná data.

Načasování útoku

Za zmínku také určitě stojí načasování útoku. Útočníci zahájili útok v pátek večer (2.7.2021). Zároveň se nejednalo o běžný pátek, avšak pátek před prodlouženým víkendem. V řade amerických států byl v pondělí 5.7. (odložený) státní svátek – „Den Nezávislosti“. I u nás v ČR bylo pondělí a úterý státním svátkem. Tudíž je řada lidí na cestě na dovolenou, na chalupu, za rodinou atd. O to náročnější je zorganizovat „incident response“ a útočníci tak mají více času na útok.

Co mohli útočníci udělat lépe

I když útok způsobil velké škody (přes 1.500 firem bylo napadeno), mohlo to být ještě horší. Těch napadených 1.500 firem pocházelo z cca 60 hacknutých Kaseya VSA on-prem serverů (centrální servery pro správu zákazníků). Přičemž v době útoku bylo na internetu zhruba 2.200 Kaseya VSA serverů. Útok mohl být teoreticky 25x větší.

Otázkou zůstává, proč se nepodařilo napadnout všechny servery. 🤔 Myslím, že časově by to útočníci stihli dříve, než se podařilo odpojit většinu Kaseya VSA serverů z internetu. Útočnici měli útok zautomatizován (odhaduji) – tzn. mohlo to být „hotovo“ v řádu minut. V článku popisujícím exploitaci „How the Kaseya VSA Zero Day Exploit Worked“ spekuluje autor, že to mohlo být dáno „omezením“ bezpečnostní chyby/exploitu

Zálohy útok zpravidla přežily

Obětem tohoto útoku zpravidla přežily zálohy, ze kterých mohli svá data obnovit. Tzn. oběti neměly takovou potřebu zaplatit výkupné.

Automatizované útoky (jako byl tento) totiž nejsou tak kreativní v ničení záloh, jako lidští operátoři (útočníci). Je to dané tím, že každá firma má jinak udělané zálohy (software, umístění, časování, ochranu) a naprogramovat skript (či umělou inteligenci), která by obsáhla většinu scénářů je pracné. 😊

Nekradli data z napadených firem

U běžných ransomware útoků je pravidlem, že útočníci si od obětí stáhnou kopie některých dat. Následně oběti vydírají, že pokud nezaplatí, data zveřejní. Zde to však neudělali, a tak ztratili část „páky“ na oběti.

Samozřejmě, při takto velkém útoku, kdy hráli o čas, by si to vyžádalo větší infrastrukturu a přípravu. Nicméně určitě by to nebylo nereálné.

V napadených firmách si nenechávali backdoor

Z analýzy použitého malware/ransomware to (zatím) vypadá (viz „Independence Day: REvil uses supply chain exploit to attack hundreds of businesses“), že si útočníci v napadených sítích nenechávali backdoor, ani „nedumpovali“ (nekradli) hesla. Obětem tak „stačilo“ data obnovit ze záloh a použitý malware z počítačů odstranit.

U běžné obnovy po lidsky provedeném („human operated“) ransomware útoku totiž hrozí (pokud nedojde k čisté instalaci celé sítě), že se nějaký „backdoor“ útočníků přehlédne. Oni se následně do sítě vrátí a znovu vše zašifrují.

Jak reagovala Kaseya (výrobce)

Výrobci ani jeho zaměstnancům tuto situaci nezávidím a doufám, že se v ní nikdy neocitnu. Během takovéhoto incidentu je všude stres, vyčerpání a výčitky.

Rychlost komunikace incidentu k zákazníkům

Moc se mi líbí, že se Kaseya podařilo velice rychle komunikovat tento problém ke svým zákazníkům. Z grafu výše je vidět, že dne 3.7. (cca 24 hodin po detekování útoků) byla vypnuta většina (cca 90 %) on-prem Kaseya VSA serverů. Tím se snížilo množství dostupných cílů pro útočníky a omezil dopad.

Sdílnost informací

Také se mi líbí, kolik informací ohledně útoku Kaseya sdílela. Na svém webu několikrát denně aktualizovala informace k případu (viz https://helpdesk.kaseya.com/hc/en-gb/articles/4403440684689-Important-Notice-July-14th-2021).

Vyjádření CEO

Je dobře, že se k situaci vyjádřil i CEO společnosti. Nicméně obsah sdělení už se mi tolik nelíbil. Nepřijde mi vhodné ohánět se tím, že bylo zasaženo pouze „0,01 %“ zákaznické báze. Podle mě to bylo jen štěstí, nikoliv jejich zásluha, že útok nebyl výrazně horší. Zároveň 0,01 % znamená 60 MSP partnerů a 1.500 firem, kteří Kaseya věřili. Ta přitom měla ve svém SW školácké bezpečnostní chyby a svou liknavostí (viz dále) způsobila svým partnerům vážné potíže.

Jak dlouho trvá vydat aktualizace

Kaseya byla o nalezených zranitelnostech informována již začátkem dubna (2.4.2021 tp byly přiřazeny CVE). Nicméně ani po třech měsících nevydala (k útokům došlo 2.7.2021) na vše záplaty (část chyb byla během této doby záplatována), i když se jednalo o kritické chyby.

Zajímavé je, že během útoků prý byli napadeni jen zákazníci využívající on-prem servery. Nevím, zdali byly cloudové servery (SaaS) více chráněné, či na ně jen útočníci necílili.

Od doby detekování útoku (2.7.) do vydání aktualizací (11.7.) byly nicméně cloudové servery, tak i on-prem severy vypnuté. Tzn. sítě všech zákazníků (cca 37.000 MSP a 800.000 – 1.000.000 koncových firem) byly po tuto dobu bez dohledu. 😕

Záplaty i cloudové služby měly být dle slibů výrobce dostupné dříve, ale postupně docházelo k odkládáním a různým technickým potížím. Naštěstí aktuálně (15.7.) to vypadá, že záplaty zafungovaly a vše je již funkční.

Obecný přístup k bezpečnosti ve společnosti Kaseya

I přesto, že společnost Kaseya tvrdí, že bezpečnost a ochrana dat je pro ni na prvním místě (ostatně kdo toto neříká, že? 😅), internetem kolují články a „svědectví“, že bezpečnost ve společnosti Kaseya nebyla zrovna hitparáda. Například Marcus Murray říká: „We found many different categories of exploitable vulnerabilities in the Kaseya VSA product that indicates a lack of understanding when it comes to basic security principles in software development“ (viz „Kaseya Failed to Address Security Before Hack, Ex-Employees Say“).

Brian Krebs pak na svém blogu píše („Kaseya Left Customer Portal Vulnerable to 2015 Flaw in its Own Software“), že Kaseya měla ve svém zákaznickém portále (prý se jednalo o starý, avšak stále funkční portál) kritickou chybu z roku 2015. Situace je tristnější o to, že se jedná o jejich vlastní software. 🤦🏼‍♂️

Opět se ukazuje, že veliká společnost neznamená automaticky bezpečná společnost. 🙄

Možný soumrak pro ransomware?

Poslední dobou se útočníkům dařily „husarské“ kousky. Ransomware útok na americkou společnost Colonial Pipeline, který způsobil výpadek pohonných hmot na východním pobřeží USA. Útok na irské zdravotní služby, který zapříčinil výpadek zdravotních služeb po celém Irsku. A nyní útok na Kaseya VSA, který má globální rozsah.

Tyto útoky se výrazně dotkly běžných lidí a ústí v politickou vůli začít problém řešit. Americký prezident Biden měl prý hovor s ruským prezidentem Putinem na téma kyberkriminality. Měl jej „požádat“ aby Rusko začalo řešit kyberkriminalitu na svém území. Několik dní na to (13.7.) pak přestaly kyberzločinecké „organizaci“ REvil, která je zodpovědná i za útok na Kaseya VSA, fungovat webové stránky (v TOR síti / darkwebu) („REvil: Ransomware gang websites disappear from internet“).

Zdá se mi, že ransomware skupiny si těmito velkými útoky pod sebou začaly řezat větev. Díky mezinárodnímu politickému tlaku bude méně zemí, kde budou před spravedlností v bezpečí. Uvidíme, jak se k tomu postaví.

Část kyberzločineckých skupin si toto nejspíše uvědomuje a začala od svých „franšízantů“ vyžadovat informaci o tom, kterou firmu se chystají napadnout a před útokem jim ji musí schválit („DarkSide ransomware will now vet targets after pipeline cyberattack“)

Závěr

Uff, to bylo zase informací. 🤯 Doufám, že se článek líbil a byl v něčem přínosný. Pokud vás k tématu napadají nějaké informace, budu rád, když mi dáte vědět do komentářů či e-mailu.

Přeji vám klidné léto a prázdniny. A ať jsou vaše sítě v bezpečí.

Martin

(25.7.) PS: Společnost Kaseya získala univerzální dekryptor, který umožňuje dešifrovat veškerá data zašifrovaná v rámci tohoto útoku. Útočníci za tento dekryptor chtěli původně 70M dolarů. Zatím můžeme jen spekulovat, zdali došlo k zaplacení nějaké sumy, či byl dekryptor získán politickým tlakem (zdroj: https://www.bleepingcomputer.com/news/security/kaseya-obtains-universal-decryptor-for-revil-ransomware-victims/ ) . Dle útočníků se jim podařilo zašifrovat přes milion zařízení, což je pořádná počet 🤯.

Líbí se vám témata, o kterých píši?

Abyste nemuseli kontrolovat, jestli už vyšel nový článek, rád vám ho ihned po zveřejnění pošlu do e-mailu. Každý kontakt, který mi poskytnete, si nechám vždy jen pro sebe.

Leave this field empty if you're human: