V pondělí 14.12. ráno, cestou do práce, jsem v e-mailové schránce objevil varování od americké agentury pro kybernetickou bezpečnost. Psali o aktivním zneužívání software od společnosti SolarWinds („Active Exploitation of SolarWinds Software“).
Zamrazilo mě, protože i my používáme software od SolarWinds. Konkrétně produkt SolarWinds MSP RMM (psal jsem například „Video dohledového systému: jak dohlížíme na 2000+ síťových zařízení“). Je to náš kritický SW, využíváme jej u všech zákazníků.
Když jsem zjistil, že problematický má být pouze produkt SolarWinds Orion, částečně se mi ulevilo. Nepřestávám však sledovat dění, protože veškerá vyšetřování jsou teprve v začátku! Níže sdílím, co jsem zjistil.
Co se stalo?
Jak plynul tok informací ohledně útoků…
Hacknutí FireEye
Minulý týden přišla firma FireEye s tím, že byla její síť kompromitována neznámými útočníky („FireEye Shares Details of Recent Cyber Attack, Actions to Protect Community“). Samotná tato událost je dost významná, protože FireEye je světová firma zabývající se kybernetickou bezpečností (služby poskytuje jiným firmám). Sama o sobě na webových stránkách píše: „FireEye knows more about cyber security than anyone“.
Útočníci měli při útoku ukrást nástroje pro „hackování“, které si firma FireEye vyvíjela pro vlastní použití při penetračních testech (red teamingu). Z obavy, že nástroje budou zneužity (nejspíše byly pro antiviry neznámou hrozbou) firma zveřejnila „detekční pravidla“, s jejichž pomocí se dá použití těchto nástrojů zjistit. Očekává se, že tyto pravidla implementují AV, IDS/IPS a jiné systémy.
Firma i nadále sdílí veškeré nové informace na svých blozích (https://www.fireeye.com/blog.html) a jde tak příkladem.
Americké ministerstvo financí kompromitováno
V neděli 13.12. publikovala agentura Reuters článek, že cizí útočníci, podporovaní cizím státem, sledovali e-mailovou komunikaci amerického ministerstva financí („EXCLUSIVE-Hackers spied on U.S. Treasury emails for a foreign government – sources“). O den později pak „The Washington Post“ přišel s článkem, že se má jednat o hackery ruského státu („Russian government hackers are behind a broad espionage campaign that has compromised U.S. agencies, including Treasury and Commerce“), ten to však oficiálně popírá.
Článek již zmiňuje problém v produktu SolarWinds Orion, který měl být příčinou prolomení amerických agentur.
Prolomení SolarWinds Orion
Nyní se dostáváme opět k SolarWinds. Kdo má čas, doporučuji zhlédnout webcast „SANS Emergency Webcast: What you need to know about the SolarWinds Supply-Chain Attack“. Kdo čas nemá, ať čte dále. 😊
Hackerům se mělo podařit kompromitovat cloudové prostředí Office 365 a získat tak přístup k e-mailům a jiným datům. Bohužel zatím není zveřejněno, jak k tomu došlo a v jakém časovém horizontu.
Zároveň se jim podařilo napadnout „buildovací systém“ (systém, který překládá zdrojové kódy do spustitelné formy) pro produkt SolarWinds Orion. Díky tomu dokázali útočníci do produktu vložit „backdoor“, aniž by si toho někdo všiml, a zároveň byl backdoor digitálně validně podepsán. Takto „backdoorovaný“ software pak byl k dispozici skrze aktualizace v období březen – červen 2020.
SolarWinds má mít přes 300.000 zákazníků, z nichž 33.000 jich používá produkt Orion a téměř 18.000 si nainstalovalo „kompromitovanou“ verzi produktu.😕 (zdroj: „Zpráva SolarWinds pro americkou komisi pro kontrolu cenných papírů“). A tady pěkný článek rozboru hrozby od FireEye „Highly Evasive Attacker Leverages SolarWinds Supply Chain to Compromise Multiple Global Victims With SUNBURST Backdoor“.
Co je na útoku zajímavého a šokujícího
Útok na dodavatelský řetězec
Jedná se o další útok na „dodavatelský řetězec“ („supply chain attack“). Hacknutím jedné firmy získávají útočníci přístup k řádově většímu množství firem (v tomto případě 18.000).
- Obdobný útok byl například „wiper“ NotPetya, který zatím (nejspíše) představuje nejničivější kybernetický útok v historii („The Untold Story of NotPetya, the Most Devastating Cyberattack in History“) – odhadované celkové škody 10 miliard amerických dolarů. Tento virus se šířil, krom jiného, i skrze aktualizace účetního systému „M.E.Doc“ („The MeDoc Connection“).
- Nebo software Ccleaner, do kterého někdo vložil malware („Inside the Unnerving Supply Chain Attack That Corrupted CCleaner“) – 2,27 milionu stažení infikované verze.
SolarWinds Orion je kritický software
SolarWinds Orion funguje jako monitorovací systém. Aby fungoval správně, mívá přístup do veškerých částí sítě s vyššími oprávněními. Napadením takovéhoto systému útočníci zpravidla ovládnou celou síť bez další práce. Představuje tak atraktivní cíl.
SolarWinds Orion používají korporace i vládní organizace
SolarWinds se na svých stránkách chlubí seznamem zákazníků (aktuálně je stažen), kteří jeho produkty používají. Jsou mezi nimi velice důležité organizace jako americká armáda, Pentagon, NASA, NSA, Ministerstvo spravedlnosti USA, AT&T, MasterCard, Cisco, Lockheed Martin, Microsoft. Představa, že z těchto institucí unikla data – a to k cizímu státu, není moc milá.🙁 Samozřejmě je třeba dodat, že nevíme, které produkty přesně tito zákazníci používají, SolarWinds jich má více.
Source: solarwinds.com, krebsonsecurity.com
Sofistikovanost útoku
Útok byl technicky proveden špičkově (viz „Highly Evasive Attacker Leverages SolarWinds Supply Chain to Compromise Multiple Global Victims With SUNBURST Backdoor“ a „Customer Guidance on Recent Nation-State Cyber Attacks“). Tohle je úplně jiná liga, než „běžné“ ransomware útoky. Myslím si, že pro běžnou firmu je prakticky nereálné se takovému to útoku ubránit. 🙁 Nejsou na to lidi, ani peníze.
Následně použitý malware obsahoval prvky funkce pro (bližší popis):
- obejití sandboxů (odložený start, PC musí být připojené do domény, DNS překlady),
- vyhnutí se prozrazení v testovacím prostředí (backdoor se začal hlásit až po cca 2 týdnech od instalace),
- ztížení odhalení síťovými analyzátory (maskoval za legitimní provoz Orion Improvement Program protokolu),
Znamená to, že všech 18.000 firem bylo prolomeno?
Ano a ne. Tyto firmy měly u sebe nasazený software, který v sobě měl backdoor. Jde o to, zdali jej někdo využil. Můj soukromý názor je, že byl využit jen v minimu případů. Pokud se totiž jednalo o státem podporované hackery (což se nejspíše jednalo, viz vše zmíněného předtím), tak šli pouze po konkrétních cílech.
Cílem těchto hackerů je zůstat v utajení. Odhalení útoku totiž znamená „vykopnutí“ ze sítě, znehodnocení použitých nástrojů, diplomatický konflikt a nutnost začít s prolamováním obětí znovu. Proto v roli těchto hackerů děláte vše proto, abyste zůstali co nejdéle neodhaleni. Například omezíte své akce na minimum -– to znamená i neútočit na cíle, které vás nezajímají.
FireEye také píše, že následné útoky (využití backdooru) byly prováděny ručně a s velkou odborností. Z toho důvodu si myslím, že většina obětí bude „ušetřena“ dalšímu útoku. To však samozřejmě neznamená, že mohou sedět se zalomenýma rukama. 😊
Jak situaci řešit?
SolarWinds ve svém „bezpečnostním doporučení“ doporučuje aktualizovat nástroj SolarWinds Orion. Tím dojde k odstranění daného backdooru. Avšak je nutné vědět, že útočníci v systému mohli nasadit další backdoor či ukrást nějaké údaje, které jim umožní se do sítě kdykoliv vrátit. Bude tedy nutné celou infrastruktury překontrolovat.🙁
Dle doporučení amerického ministerstva vnitřní bezpečnosti:
- Treat all hosts monitored by the SolarWinds Orion monitoring software as compromised by threat actors and assume that further persistence mechanisms have been deployed.
- Rebuild hosts monitored by the SolarWinds Orion monitoring software using trusted sources.
- Reset all credentials used by or stored in SolarWinds software. Such credentials should be considered compromised.
- Take actions to remediate kerberoasting, including, as necessary or appropriate, engaging with a 3rd party with experience eradicating APTs from enterprise networks. For Windows environments, refer to the following:
Jelikož monitorovací systém máte proto, aby hlídal celou síť, čekají vás, vzhledem k bodům A a B, pracovní vánoční svátky a možná i celý příští rok.🙁
Jak backdoor ze SW zmizel?
Otázka, která zatím zůstává nezodpovězena je, kdo ten backdoor ze software odebral. 🤔 SolarWinds totiž píše, že problém byl v době březen až červen 2020. Kompromitace SolarWinds se však řeší až teď – v prosinci. Odebral ten backdoor z následných aktualizací (nových verzí):
- SolarWinds? To by ale znamenalo, že se o tom dozvěděli a vše „zatloukli“ (to by nebylo pro SolarWinds dobré 🙁).
- Útočníci? Třeba již skrze něj hacknuli toho, koho chtěli a další přítomnost backdooru v nových verzích by zvyšovala pravděpodobnost, že bude backdoor odhalen.
Jsem vážně zvědavý na řešení této otázky.
Jsou za tím útočníci z Ruska?
Ve velkém počtu článků se zmiňuje skupina hackerů APT29 (viz „APT skupiny“), známá také pod označením „Cozy bear“, která se připisuje Rusku. A měla by být napojena na „službu vnější rozvědky (SVR)“.
Samotná společnost FireEye však zatím útok žádné konkrétní skupině nepřisoudila a zatím útočníky (útok) eviduje pod označením UNC2452 („Uncategorized Cyber Threat Groups“).
Problém s přiřazením (atribucí) útoku nějaké konkrétní skupině či státu je ten, že se jedná o závažné obvinění a je třeba mít pro něj pádné (ideálně neprůstřelné) důvody. 🙂 Uvidíme tedy, jak se bude vyšetřování ubírat dál.
Další drobné postřehy
- Uživatel Vinoth Kumar na Twitteru uvedl, že v roce 2019 nalezl na Githubu přístupové údaje k FTP účtu, skrze který se dali měnit data na adrese https://downloads.solarwinds.com . Heslo mělo být i dost jednoduché. Doufejme, že to byl jen ojedinělý incident. (dodatečně jsem dostal link na trochu „bulvárnější“ článek „SolarWinds exposed FTP credentials in Public Github Repo: US Government Breach“).
- Ministerstvo vnitřní bezpečnosti k tomuto incidentu dokonce vydalo nouzové nařízení, aby severy obsahující zranitelné verze SolarWinds Orion byly okamžitě odpojeny („Emergency directive 21-01“).
- Upozornění vydal i český NÚKIB („Upozornění na rizika softwaru firmy SolarWinds“).
- Objevily se i spekulace, že vedení o problému vědělo a prodalo velkou část svých akcií. Takovéto prodeje se musí hlásit americké komisi pro cenné papíry a informace jsou veřejně dostupné („SWI Insider Activity“). Myslím, že tahle spekulace se však nepotvrdí.
- Jelikož se jedná o úplnou novinku, každý den se vyskytují nové a nové zprávy, které nás v příběhu posunou dál. Doporučuji sledovat hashtagy #SolarWindsOrion a #UNC2452.
Závěr
Jsem zvědavý, jak tohle bude pokračovat. Situaci budu sledovat a updaty sdílet buď sem do článku, nebo na LinkedIn.
SolarWinds mám upřímně rád a jako na partnera na něj spoléháme. V dnešním světě je podle mne „zero trust“ zatím spíše koncept než reálná cesta. Vždy se na někoho spoléháte, ať už je to výrobce vašeho HW, operačního systému, poskytovatel cloudu, kolegové/zaměstnanci. Jde jen o to umět si vybrat/mít štěstí na ty správné partnery.
Přeji vám všem klidné prožití vánočních svátků! ⛄🎄
Martin
Update 17.12.
Postupně se objevují nové informace, zde sdílím jejich souhrn:
- „SunBurst: the next level of stealth„: Podle zpětné analýzy zdrojového kódu (z dekompilovaných binárek) to vypadá, že útočníci byli schopni ovlivňovat zdrojový kód/buildovací systém již v říjnu 2019. To znamená o 6 měsíců dříve než zatím uvádí SolarWinds (březen – červen 2020).
- Dále z časových razítek a podpisů to vypadá, že útočníci manipulovali přímo se zdrojovým kódem produktu. Tzn. buď se stal kód přímo součástí produktu, nebo byl dynamicky vkládán při kompilaci na buildovacím serveru.
- Z časových razítek buildovacího serveru – časová zóna GMT+1 a adres kanceláří SolarWinds to vypadá, že se server (a asi i vývojové oddělení) nacházel v Brně, nebo Krakově (Polsko). Samozřejmě za předpokladu že jej mají on-prem.
- SolarWinds vydal „FAQ: Security Advisory„. Zde je zajímavý odstavec (viz níže). Ještě nevím, jak jej chápat. Jestli tím SolarWinds říká, že se sám stal oběti supply chain útoku?
- With these processes in place how was your code compromised?
- We are not aware that the SolarWinds code base was compromised. Our initial investigations point to an issue in the supply chain resulting in a compromise of our product that inserted a vulnerability within its Orion monitoring products which, if present and activated, could potentially allow an attacker to compromise the server on which the Orion products run.
- SolarWinds se také rozhodl revokovat certifikát (code signing), kterým podepisoval produkty řady MSP. Dále však tvrdí, že tyto produkty nebyly zasaženy a jedná se pouze o preventivní opatření („Digital Certificate Update for MSP Products„)
Update 18.12.
- Mezi potvrzené oběti patří: ministerstva obchodu, financí, zahraničí, zdravotnictví a vnitřní bezpečnosti USA. („DHS, State and NIH join list of federal agencies — now five — hacked in major Russian cyberespionage campaign„).
- Další obětí mělo být i ministerstvo energetiky USA a jeho agentura „Národní Nukleární Bezpečnosti“. Její náplní je starat se o americký nukleární arzenál. Útok se měl však „jen“ týkat běžné sítě („SolarWinds hackers breach US nuclear weapons agency„).
- Microsoft také provozoval „backdoorovanou“ verzi produktů SolarWinds Orion. Avšak dle jejich vyšetřování zatím nenašli stopy toho, že by byl backdoor využit. Zde je třeba znovu zopakovat, že samotná instalace/provozování „backdoorované“ verze ještě neznamená, že útočníci v síti prováděli nějakou aktivitu. Nejspíše v zájmu toho nebýt odhaleni útočili jenom na strategické cíle. Samozřejmě Microsoft by mohl být strategický cíl, jelikož je součástí „dodavatelského řetězce“ snad celé planety. Na druhou stranu při útoku na Microsoft by útočníkům hrozila velká pravděpodobnost odhalení (vzhledem k bezpečnostním opatřením v MS o kterých nepochybuji) („Microsoft confirms breach in SolarWinds hack, denies infecting others„).
- FireEye, Microsoft a GoDaddy získali kontrolu nad doménou využívanou v útoku (avsvmcloud[.]com) a upravili její nastavení tak (DNS záznamy), aby instruovala všechny „backdoorované“ servery aby se deaktovovali (tzv. killswitch) („FireEye, Microsoft create kill switch for SolarWinds backdoor„).
- Týmu RedDrip (viz níže) se podařilo napsat dekóder k sebíraným DNS dotazům na doménu kam se backdoor hlásil. Zjistili tak doménová jména („Active Directory“) napadených společností. Jsou mezi nimi domény které budou nejspíše patřit firmám Cisco i Intel.
- Zajímavý přehled udělal i CloudFlare, který nasdílel statistická data ze svých recursive DNS serverů (1.1.1.1). Je na nich vidět, že počet dotazů byl už během listopadu malý. To může znamenat snížení počtu „backdoorovaných“ firem (díky instlaci aktualizací SW), nebo změnu technologie pro C2C server. Počet dotazů je třeba vztáhnout k míře pokrytí (počtu klientů) jaké mají CloudFlare DNS servery. („Trend data on the SolarWinds Orion compromise„)
![We first noticed a spike in DNS traffic through Cloudflare’s 1.1.1.1 resolver to avsvmcloud[.]com starting in April 2020](https://blog.cloudflare.com/content/images/2020/12/image2-38.png)
Update 22.12.
- Na internetu se začíná psát o tom, že platforma Orion mohla být napadena dvěma skupinami hackerů. V SW se totiž měl objevit další backdoor („SUPERNOVA“). Tato DLL však není podepsaná a nikde jsem nenašel informaci jak měla být distribuována a kterých SW se měla týkat. („New SUPERNOVA backdoor found in SolarWinds cyberattack analysis„, „SUPERNOVA: A Novel .NET Webshell„). Uvidíme, jak se bude situace dále vyvíjet.
- SolarWinds vydal další zprávu pro americkou komisi cenných papírů. Zmiňuje v ní, že o možné kompromitaci se dozvěděl od FireEye 12.12. Dále, že dělá vše proto aby případ vyřešil. V neposlední řadě se vyjádřili i k prodeji akcií vlastníky těsně před provalením problému. Ta neměla souviset s incidentem a mělo jít o předem plánovaný prodej („https://www.sec.gov/ix?doc=/Archives/edgar/data/1739942/000162828020017620/swi-20201217.htm“)
- VMware také používal zranitelný SW SolarWinds Orion. Prohlásil však, že nezaznamenal žádný pokus o zneužití nasazeného backdoor („VMware latest to confirm breach in SolarWinds hacking campaign„).
Update 28.12.
- Minule jsem psal o možném druhém backdooru v rámci SolarWinds Orion (nazývaný SUPERNOVA). Vypadá to, že tento backdoor nebyl součástí zdrojového kódu (jako SUNBURST), ale byl to „implantát“ (webshell), který do nainstalovaných aplikací dostávala skrze dříve neznámou RCE zranitelnost (CVE-2020-10148) dosud neidentifikovaná skupina. SolarWinds již aktualizoval i své „security advisory“ („A New SolarWinds Flaw Likely Had Let Hackers Install SUPERNOVA Malware„).
- FireEye vydal další článek s detailnějším popisem backdooru SUNBURST („SUNBURST Additional Technical Details„).
Update 12.1.
- Dle článku od Crowdstrike to vypadá, že backdoor byl do produktů SolarWinds Orion vložen opravdu až v rámci buildovacího serveru. Útočníkům se podařilo „upravit“ buildovací SW aby při buildování produktu vložil extra zdrojový kód. Velice pěkně provedené („SUNSPOT: An Implant in the Build Process„)!