Útok na IT firmy: Kaseya VSA

Páteční večer 2. července 2021 mě polil studený pot! Akorát jsem si užíval poslední dny své „hybridní“ (politicky korektní název pro „work and maybe fun“) dovolené. Když jsem se dostal k článku o stovkách firem napadených skrze monitorovací (RMM) systém od společnosti Kaseya. Útočníci opět zneužili naše nástroje proti nám, správcům!

Jde o to, že abychom dokázali efektivně pomoci druhým firmám (se správou, zabezpečením či automatizací), potřebujeme k tomu vhodné nástroje. Nástroje, které nám umožní všechna prostředí centrálně sledovat a spravovat. Takové nástroje dokážou udržet pořádek a šetřit čas. Konfigurační změnu uděláte na jednom místě a ta se skrze tyto nástroje rozšíří na desítky tisíc počítačů.

Tento největší přínos centrálních systémů však může být i tou největší slabinou. Když se k systému dostane někdo se zlými úmysly, dokáže během pár minut poškodit data na všech počítačích, které ten systém spravuje. Právě toto se stalo v pátek 2. července.

Útok proti Kaseya VSA

Společnost Kaseya právě jeden z takovýchto centrálních nástrojů pro správu a monitorovaní (RMM – Remote Management and Monitoring) vyvíjí pod názvem Kaseya VSA. Tento nástroj existuje jak ve verzi cloudové služby, tak i „on-prem“ instalace (tzn. instalace přímo u MSP/MSSP).

V tomto nástroji byly nalezeny kritické chyby. Ty byly nálezcem (Dutch Institute for Vulnerability Disclosure) oznámeny výrobci (Kaseya), který začal pracovat na záplatách. Bohužel chyb si všimli i kyberzločinci (REvil / Sodinokibi) a zneužili je dříve (2.7.2021), než vznikly záplaty (11.7.).

Výsledkem je 60 napadených IT firem, skrze které útočníci zašifrovali přes 1.500 jejich zákazníků (Kaseya ransomware attack: What we know now). Tolik k „nudnému“ popisu a teď se pojďme podívat na zajímavosti tohoto útoku.

Noční můra IT firem

Tento typ „průšvihu“, musí být noční můrou každé IT firmy. V pátek odpoledne skončíte v práci s vidinou prodlouženého víkendu a o pár hodin později jsou všichni vaši zákazníci zašifrování.

Přitom to není vaše chyba – software jste měli aktualizovaný, používáte silná hesla i více faktorové ověřování a přesto jsou všichni zákazníci zašifrování.

Všichni zákazníci! To je na tom asi to nejhorší. Jednoho či dva zákazníky byste dokázali během týdne postavit znovu na nohy, ale všechny zákazníky? To bude na měsíce. Je to neuvěřitelná asymetrie mezi tím, kolik energie je třeba ke způsobení škody a kolik k nápravě.

Z pohledu zákazníka to také nevypadá dobře. On za situaci už vůbec nemůže. A jedinou jeho možností je být pro vás větší osinou v zadnici než ostatní a dostat tak vyšší prioritu při obnově. Či požádat o pomoc konkurenci a zaplatit 💰.

Každá IT firma má „svůj“ Kaseya VSA

My naštěstí produkty od Kaseya nepoužíváme. Avšak máme jiné obdobně kritické systémy:

Je třeba postavit se k tomu čelem

Přemýšlel jsem, zdali vůbec psát o tom, že i my máme podobné kritické systémy, abych zbytečně neplašil naše zákazníky. Nicméně, pravda je taková, že každá firma má své kritické systémy. Tak to prostě je. Bez těchto systémů by nešlo pořádně dělat svou práci.

Cílem musí být postavit se čelem těmto výzvám. Uvědomit si, které systémy jsou kritické, co se může stát, když budou zneužity a začít ta rizika řídit. Měli bychom:

  • Omezit množství kritických systémů – co nutně nepotřebuji, nepoužívat.
  • Minimalizovat kritičnost daných systémů – spravovat tím daným systémem jen to, co potřebuji (např. jen stanice) a nepoužívané moduly vypnout.
  • Rozdělit systémy podle kritičnosti a aplikovat vhodná bezpečnostní opatření – přístupová opatření (žádná, nebo nejnižší možná oprávnění pro přístup), síťovou dostupnost (firewall, VPN, geofiltering), 2FA, EDR, AV+sanbdox (viz „Zabezpečení sítě: Tierování a PAW“).
  • Pečlivě si vybírat své partnery/dodavatele – mají větší vliv na naši bezpečnost, než si často připouštíme.

V čem se útok zločincům povedl

Tento útok nebyl po odborné stránce tak propracovaný, jako ten na SolarWinds („Hacknutí SolarWinds, FireEye a amerického ministerstva financí“). Je však třeba vzít v potaz, že hack vůči SolarWinds byl proveden státem podporovanou elitní hackerskou skupinou. Tento útok naopak provedla „běžná“ kyberkriminální skupina.

Oproti jiným útokům podobných skupin je toto velice propracovaný útok. Útočníci zde použili veřejně neznámou zranitelnost (možná šlo o vlastní výzkum?) a vlastní exploit. Běžně totiž zneužívají chyby, které nalezli jiní (např. bezpečnostní výzkumníci) a často si ani nejsou schopni napsat vlastní exploit (čekají, než jej napíše někdo jiný, a pak jej začnou zneužívat).

Technické provedení payloadu (malware)

Musím říct, že s payloadem (způsobem nasazení ransomware) si dali útočníci záležet. Když útočí na nějakou firmu ručně, mohou si její prostředí prohlédnout a vyřadit její antivirovou ochranu (vypnout, odinstalovat, nastavit výjimky).

Nicméně, když útočí automatizovaně, musí veškeré instrukce (logiku/chování) zabudovat přímo do nasazovaného malware. Jenomže jak to udělat, když každá oběť bude mít jiný antivirus a jeho nastavení?

Prvotní fáze payloadu (malware), který útočníci použili byla nasazena skrze agenta monitorovacího systému. Ten je však často zařazen mezi výjimky antivirového systému (proto, aby monitorovací systém nerozbíjel). V této fázi se do systému stáhla stará verze Windows Defenderu a kód umožňující šifrování dat.

Asi si teď říkáte, proč by útočníci do systému stahovali antivirus, vždyť to nedává logiku. 😁 Vtip je v tom, že stará verze Defenderu, kterou do systému stáhli a „nainstalovali“ obsahovala bezpečnostní chybu (provedli tzv. „Bring Your Own Vulnerability“).

Následně tento starý Defender nastartovali. Ten díky bezpečnostní chybě načetl dodaný kód pro šifrování dat (DLL) a začal šifrovat veškerá data.

Cílem bylo opět obejit antivirovou ochranu daného PC/serveru. Antiviry totiž mají zpravidla výjimku na Defender, aby nedocházelo k nestabilitě systémů v důsledku více antivirů. Z informací od některých známých mám potvrzeno, že ransomware nebyl jejich AV zastaven.

Možné také je (odhaduji), že Defender má přístup i do „protected folders“ a mohl zašifrovat i tato chráněná data.

Fáze útoku
Obrázek 1 Fáze útoku (zdroj: https://blog.truesec.com/2021/07/06/kaseya-vsa-zero-day-exploit/)

Načasování útoku

Za zmínku také určitě stojí načasování útoku. Útočníci zahájili útok v pátek večer (2.7.2021). Zároveň se nejednalo o běžný pátek, avšak pátek před prodlouženým víkendem. V řade amerických států byl v pondělí 5.7. (odložený) státní svátek – „Den Nezávislosti“. I u nás v ČR bylo pondělí a úterý státním svátkem. Tudíž je řada lidí na cestě na dovolenou, na chalupu, za rodinou atd. O to náročnější je zorganizovat „incident response“ a útočníci tak mají více času na útok.

Co mohli útočníci udělat lépe

I když útok způsobil velké škody (přes 1.500 firem bylo napadeno), mohlo to být ještě horší. Těch napadených 1.500 firem pocházelo z cca 60 hacknutých Kaseya VSA on-prem serverů (centrální servery pro správu zákazníků). Přičemž v době útoku bylo na internetu zhruba 2.200 Kaseya VSA serverů. Útok mohl být teoreticky 25x větší.

Otázkou zůstává, proč se nepodařilo napadnout všechny servery. 🤔 Myslím, že časově by to útočníci stihli dříve, než se podařilo odpojit většinu Kaseya VSA serverů z internetu. Útočnici měli útok zautomatizován (odhaduji) – tzn. mohlo to být „hotovo“ v řádu minut. V článku popisujícím exploitaci „How the Kaseya VSA Zero Day Exploit Worked“ spekuluje autor, že to mohlo být dáno „omezením“ bezpečnostní chyby/exploitu

Suspected Kaseya VSA instances found
Obrázek 2 Zdroj: https://csirt.divd.nl/2021/07/04/Kaseya-Case-Update-2/

Zálohy útok zpravidla přežily

Obětem tohoto útoku zpravidla přežily zálohy, ze kterých mohli svá data obnovit. Tzn. oběti neměly takovou potřebu zaplatit výkupné.

Automatizované útoky (jako byl tento) totiž nejsou tak kreativní v ničení záloh, jako lidští operátoři (útočníci). Je to dané tím, že každá firma má jinak udělané zálohy (software, umístění, časování, ochranu) a naprogramovat skript (či umělou inteligenci), která by obsáhla většinu scénářů je pracné. 😊

Nekradli data z napadených firem

U běžných ransomware útoků je pravidlem, že útočníci si od obětí stáhnou kopie některých dat. Následně oběti vydírají, že pokud nezaplatí, data zveřejní. Zde to však neudělali, a tak ztratili část „páky“ na oběti.

Samozřejmě, při takto velkém útoku, kdy hráli o čas, by si to vyžádalo větší infrastrukturu a přípravu. Nicméně určitě by to nebylo nereálné.

V napadených firmách si nenechávali backdoor

Z analýzy použitého malware/ransomware to (zatím) vypadá (viz „Independence Day: REvil uses supply chain exploit to attack hundreds of businesses“), že si útočníci v napadených sítích nenechávali backdoor, ani „nedumpovali“ (nekradli) hesla. Obětem tak „stačilo“ data obnovit ze záloh a použitý malware z počítačů odstranit.

U běžné obnovy po lidsky provedeném („human operated“) ransomware útoku totiž hrozí (pokud nedojde k čisté instalaci celé sítě), že se nějaký „backdoor“ útočníků přehlédne. Oni se následně do sítě vrátí a znovu vše zašifrují.

Jak reagovala Kaseya (výrobce)

Výrobci ani jeho zaměstnancům tuto situaci nezávidím a doufám, že se v ní nikdy neocitnu. Během takovéhoto incidentu je všude stres, vyčerpání a výčitky.

Rychlost komunikace incidentu k zákazníkům

Moc se mi líbí, že se Kaseya podařilo velice rychle komunikovat tento problém ke svým zákazníkům. Z grafu výše je vidět, že dne 3.7. (cca 24 hodin po detekování útoků) byla vypnuta většina (cca 90 %) on-prem Kaseya VSA serverů. Tím se snížilo množství dostupných cílů pro útočníky a omezil dopad.

Sdílnost informací

Také se mi líbí, kolik informací ohledně útoku Kaseya sdílela. Na svém webu několikrát denně aktualizovala informace k případu (viz https://helpdesk.kaseya.com/hc/en-gb/articles/4403440684689-Important-Notice-July-14th-2021).

Vyjádření CEO

Je dobře, že se k situaci vyjádřil i CEO společnosti. Nicméně obsah sdělení už se mi tolik nelíbil. Nepřijde mi vhodné ohánět se tím, že bylo zasaženo pouze „0,01 %“ zákaznické báze. Podle mě to bylo jen štěstí, nikoliv jejich zásluha, že útok nebyl výrazně horší. Zároveň 0,01 % znamená 60 MSP partnerů a 1.500 firem, kteří Kaseya věřili. Ta přitom měla ve svém SW školácké bezpečnostní chyby a svou liknavostí (viz dále) způsobila svým partnerům vážné potíže.

Jak dlouho trvá vydat aktualizace

Kaseya byla o nalezených zranitelnostech informována již začátkem dubna (2.4.2021 tp byly přiřazeny CVE). Nicméně ani po třech měsících nevydala (k útokům došlo 2.7.2021) na vše záplaty (část chyb byla během této doby záplatována), i když se jednalo o kritické chyby.

Zajímavé je, že během útoků prý byli napadeni jen zákazníci využívající on-prem servery. Nevím, zdali byly cloudové servery (SaaS) více chráněné, či na ně jen útočníci necílili.

Od doby detekování útoku (2.7.) do vydání aktualizací (11.7.) byly nicméně cloudové servery, tak i on-prem severy vypnuté. Tzn. sítě všech zákazníků (cca 37.000 MSP a 800.000 – 1.000.000 koncových firem) byly po tuto dobu bez dohledu. 😕

Záplaty i cloudové služby měly být dle slibů výrobce dostupné dříve, ale postupně docházelo k odkládáním a různým technickým potížím. Naštěstí aktuálně (15.7.) to vypadá, že záplaty zafungovaly a vše je již funkční.

Obecný přístup k bezpečnosti ve společnosti Kaseya

I přesto, že společnost Kaseya tvrdí, že bezpečnost a ochrana dat je pro ni na prvním místě (ostatně kdo toto neříká, že? 😅), internetem kolují články a „svědectví“, že bezpečnost ve společnosti Kaseya nebyla zrovna hitparáda. Například Marcus Murray říká: „We found many different categories of exploitable vulnerabilities in the Kaseya VSA product that indicates a lack of understanding when it comes to basic security principles in software development“ (viz „Kaseya Failed to Address Security Before Hack, Ex-Employees Say“).

Brian Krebs pak na svém blogu píše („Kaseya Left Customer Portal Vulnerable to 2015 Flaw in its Own Software“), že Kaseya měla ve svém zákaznickém portále (prý se jednalo o starý, avšak stále funkční portál) kritickou chybu z roku 2015. Situace je tristnější o to, že se jedná o jejich vlastní software. 🤦🏼‍♂️

Opět se ukazuje, že veliká společnost neznamená automaticky bezpečná společnost. 🙄

Možný soumrak pro ransomware?

Poslední dobou se útočníkům dařily „husarské“ kousky. Ransomware útok na americkou společnost Colonial Pipeline, který způsobil výpadek pohonných hmot na východním pobřeží USA. Útok na irské zdravotní služby, který zapříčinil výpadek zdravotních služeb po celém Irsku. A nyní útok na Kaseya VSA, který má globální rozsah.

Tyto útoky se výrazně dotkly běžných lidí a ústí v politickou vůli začít problém řešit. Americký prezident Biden měl prý hovor s ruským prezidentem Putinem na téma kyberkriminality. Měl jej „požádat“ aby Rusko začalo řešit kyberkriminalitu na svém území. Několik dní na to (13.7.) pak přestaly kyberzločinecké „organizaci“ REvil, která je zodpovědná i za útok na Kaseya VSA, fungovat webové stránky (v TOR síti / darkwebu) („REvil: Ransomware gang websites disappear from internet“).

Zdá se mi, že ransomware skupiny si těmito velkými útoky pod sebou začaly řezat větev. Díky mezinárodnímu politickému tlaku bude méně zemí, kde budou před spravedlností v bezpečí. Uvidíme, jak se k tomu postaví.

Část kyberzločineckých skupin si toto nejspíše uvědomuje a začala od svých „franšízantů“ vyžadovat informaci o tom, kterou firmu se chystají napadnout a před útokem jim ji musí schválit („DarkSide ransomware will now vet targets after pipeline cyberattack“)

Závěr

Uff, to bylo zase informací. 🤯 Doufám, že se článek líbil a byl v něčem přínosný. Pokud vás k tématu napadají nějaké informace, budu rád, když mi dáte vědět do komentářů či e-mailu.

Přeji vám klidné léto a prázdniny. A ať jsou vaše sítě v bezpečí.

Martin

(25.7.) PS: Společnost Kaseya získala univerzální dekryptor, který umožňuje dešifrovat veškerá data zašifrovaná v rámci tohoto útoku. Útočníci za tento dekryptor chtěli původně 70M dolarů. Zatím můžeme jen spekulovat, zdali došlo k zaplacení nějaké sumy, či byl dekryptor získán politickým tlakem (zdroj: https://www.bleepingcomputer.com/news/security/kaseya-obtains-universal-decryptor-for-revil-ransomware-victims/ ) . Dle útočníků se jim podařilo zašifrovat přes milion zařízení, což je pořádná počet 🤯.

Líbí se vám témata, o kterých píši?

Abyste nemuseli kontrolovat, jestli už vyšel nový článek, rád vám ho ihned po zveřejnění pošlu do e-mailu. Každý kontakt, který mi poskytnete, si nechám vždy jen pro sebe.

Diskuze k článku

kyssling

21. 07. 2021 v 14:03

Skvelý článek, děkuji !

Odpovědět

Odpovědět

Martin Haller

21. 07. 2021 v 18:23

Děkuji

Odpovědět

Odpovědět

Pavel Vokoun

22. 07. 2021 v 08:26

Děkuji za článek, který shrnul vše podstatné! A to co velmi pozitivně vetuji je, odkazy na zdroje přímo v textu članku! Můžu rovnou otevřít na pozadí pro další pokračování rozboru k tématu – pokud chci.

Odpovědět

Odpovědět

Martin Haller

22. 07. 2021 v 09:55

Děkuji za pochvalu ☺

Odpovědět

Odpovědět

Milan Vosatka

06. 09. 2021 v 02:46

Diky za dalsi clanek a pohled zevnitr, umim si predstavit, ze bys zvladnul cas travit lepe, nez psanim blogu 🙂 K tematu dotaz laika, ale vrta mi to hlavou – je opravdu nutne, aby tyhle kriticke systemy byly pristupne ze strany vyrobce a nebo z internetu vubec? Trochu mi pak unika vyhoda on prem vs in cloud. Me osobne jako klientovi by se libilo mit dohledovy server jen v lokalni siti za firewallem a remote users vcetne supervizoru(IT) by se museli pripojit pres VPN. Od Kaseya (a podob) bych chtel jen instalacni soubor pro server a klienty, licencni hardware token a jednou za par mesicu ke stazeni .tar s updaty (pokud bude treba). Kaseya by vedela jen ze jsem si koupil token pro 100 useru. Jestli jsem si to nainstaloval nebo mi to lezi v supliku uz bych vedel jen ja a ne ze mi bude Kaseya vypinat on prem server, kdyz mi kvuli jejich bugu nekdo zasifruje data.

Odpovědět

Odpovědět

Martin Haller

06. 09. 2021 v 15:32

Ahoj Milane, uvažuješ nad tím správně. Ideální je, když ten systém není dostupný z internetu vůbec (nebo alespoň není dostupné jeho management rozhraní).

U tohoto nástroje šlo o to, že jej využívají MSP (tzn. firmy jako je ta naše). Skrze něj spravují své zákazníky a častokrát i samotným zákazníkům umožňují přístup do tohoto nástroje (aby se mohli spolupodílet na správě). V takovém případě je těžší limitovat dostupnost tohoto nástroje (samozřejmě, není to o tom, že by to nešlo, jenom je to s rostoucím počtem zákazníků těžší).

Co se týče ručních/automatických aktualizací nástroje od dodavatele – opět záleží na možnostech a potřebách zákazníka.
* Automatická aktualizace: zpravidla rychlejší oprava chyb a bezpracnost.
* Manuální aktualizace: řídíš si to sice sám, ale stojí to čas a nějaká aktualizace se může přehlédnout (nenainstalovat včas).

V obou případech však hrozí, že se s aktualizací do SW dostane backdoor (pokud výrobce hacknou tak jako třeba SolarWinds).

Odpovědět

Odpovědět

Milan Vosatka

06. 09. 2021 v 16:52

A co je pro tebe jako MSP tim limitem, kdybys mel admin konzoli v nejakem sandboxu a k ni pripojoval klientske servery pres vpn? Je to mozna naivni predstava, ale kdyz nejaka sluzba bezi jen na privatni siti bez pristupu zvenku, tak mam pocit vetsiho bezpeci, ze by mi nevadilo instalovat rucni updates s urcitym zpozdenim (a stim, ze si vyberu jen ty co potrebuju). Asi ne dost na to, aby probublaly vsechny back doors (u solarwinds to bylo nekolik mesicu?) i kdyz… ja bych mel asi ten sweet spot jak dlouho cekat s updatem pro sluzbu v privatni siti posunutej hodne dozadu 😀 Neva, dik za odpovedi a preju, at vas tyhle velky spatny nikdy nepotkaji 😉

Odpovědět

Odpovědět

Martin Haller

07. 09. 2021 v 09:28

Tím limitem bude použitelnost. Tzn. dokud Ti nebude vadit přidávat ty klientské VPN :). Každý ten limit bude mít někde jinde.

Představ si, že máš těch tunelů 10, pak 100, po nějaké době 1000 a nakonec ještě víc.

Ze začátku je to pohoda. Pak začneš narážet na to, že někteří zákazníci k nikomu tunel vytáčet nechtějí, někteří nebudou mít vhodné vybavení (router, starý OS) pro vytáčení tunelu, pak nějaký overhead s rekonfiguracemi/resety hesel. Na tvé straně to bude také o nějakém HW a konfiguraci.

Jj, to co není přímo dostupné z internetu je zpravidla bezpečnější.

U SolarWinds to bylo něco přes 9 měsíců a to to byl nástroj, který používali největší firmy světa (tzn. byla velká pravděpodobnost, že si toho backdooru někdo všimne). Jde o to, že zákazníci zpravidla v SW dodavatelů tyto věci nehledají (viz OpenSSL a Heartbleed).

Odpovědět

Odpovědět

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.

Hack The Box OSCP MCSE CHFI ECSA CCNP CCNA