V předchozím díle „Jak jsme se trápili s podporou Microsoft Office 365 (část 1/2): noční můra začíná“ jsem rozvyprávěl náš příběh s Microsoft Office 365 EOP. Jako celé Office 365 je to skvělý produkt, dokud funguje. Objeví-li se však chyba, čekají vás „bezplatné“ lekce angličtiny s lidmi z celého světa (snažím se na tom najít něco pozitivního 😊).
Zkoušíme to oklikou
Uběhl již týden, my jsme stále měli problémy s EOP a se supportem to nikam nevedlo. Obrátili jsme se tedy na našeho partnera „Tech Data“, přes kterého CSP nakupujeme (jako indirect CSP partner máme mezi sebou a MS mezičlánek). V podstatě je i v jejich zájmu, aby vše fungovalo. Ti přislíbili, že zkusí věc eskalovat přes „známého“ přímo u Microsoftu. Předali jsme všechny podrobnosti a čekali na pomoc.
Jak už to tak bývá, přišla odpověď, že nám nemohou pomoci. Že to nejspíše blokuje náš ISP. Pozitivní je, že si alespoň nemyslí, že je to naše chyba. Zatímco oficiální support, ignorujíc důkazy, stále obviňuje zákazníkův router i Exchange.
Volali jsme na ISP, který řekl, že nic neblokuje. Už to vypadalo, že se touto cestou taky nikam nedostaneme. Napadlo nás však, že zákazník má ještě záložní připojení přes jiného ISP a možná bychom mohli zkusit EOP přes něj. Zeptali jsme se Tech Data, zda budou schopni něco udělat, když to zkusíme přes jiného ISP a výsledek bude stejný. Potvrdili, že pak už to nebude problém.
Vše jsme tedy připravili a nastavili EOP přes záložní konektivitu. Jelikož jsme měli problém už při validaci konektoru, bylo jasné, že problém bude přetrvávat. Vybrali jsme opět náhodně zpožděné e-maily, sesbírali jsme logy (zajímavé, jak jsme s každým opakováním rychlejší a rychlejší). Udělali jsme ještě tracert z obou připojení, aby bylo průkazné, že spolu nesdílí cestu (viz obrázek – trasa se setkává až na rozhraní MS Office 365 sítě).
S nově nabitou municí jsme se opět obrátili na Tech Data. Bohužel pár dní bylo ticho, aby nám následně řekli, že pro nás nemohou nic udělat ☹.
Zpět na hlavní frontě
Postranní cestou přes Tech Data se nám nikam nepodařilo pohnout. Pokračujeme tak naši nerovnou hru s Microsoft Office 365 supportem a dodáváme jim informace o testu skrze jiného ISP.
- Naše argumenty:
- Chyba není na naší straně: máme packet capture z routeru ISP, který ukazuje, že v době, kdy selhala předání e-mailů z O365 na Exchange, nedošlo k žádným pokusům o spojení ze strany O365.
- Chyba není na straně ISP: zkusili jsme EOP přenastavit přes jiného ISP, který nesdílí s tím prvním žádné body na trase k síti Microsoftu.
Čekal bych, že s takovými argumenty nelze prohrát. Microsoft nás požádal, abychom vypnuli na serveru TLS (šifrování komunikace) a poslali jim kompletní packet capture (včetně payloadu). Pokud se tam nic nenajde, otevřou prý „internal request“ (nevím, co to je, ale zní to jako řešení našich potíží 😊). S vidinou posunu v komunikaci jsme si vyhrnuli rukávy, vše opatřili a zaslali na MS.
Vyšlo to! Dva týdny od začátku řešení problému jsme donutili Microsoft začít hledat chybu u sebe.
Nikdy se neraduj předčasně
Dny začaly plynout a my jsme každý den dostávali pouze zprávy o tom, že nejsou žádné nové informace k ticketu. Trvalo šest dní od otevření „internal request“ než přišel posun.
Nyní se však podržte … oni nám napsali (po šesti dnech!), jestli bychom si nemohli aktualizovat pravidla na firewallu, přidat tam nějaké nové IP adresy a zkusit to znovu. Evidentně mají asi nějaký problém s předáváním informací, protože packet capture od ISP vyloučil jakýkoliv problém na firewallu (když se to spojení na náš routeru ani nedostane, je vcelku jedno, co tam mám nastavené). V té době jsme již stejně u zákazníka EOP nepoužívali – nemohli jsme dále čekat na opravu. Takže jsme měli SMTP povolené bez omezení. Vše jsme opět zkusili a předali jim veškeré informace.
Jestli si myslíte, že větší „vtip“ už od Microsoft internal teamu (představoval bych si, že tam už sedí pořádné kapacity) nemůže přijít, tak jste na omylu. Uplynulo dalších 6 dní a přišla odpověď. Volně vám tu přepíšu naši komunikaci, protože si myslím, že vás skutečně pobaví 😊.
- Microsoft: „Product Engineering Team has finished the investigation. In the backend SMTP logs we can see that connections from the Finland Datacenter can be established, while connections from the Austrian datacenter are refused.“. V podstatě oni po 2 týdnech přišli na to, že máme problémy s EOP (jelikož jsme to zkusili přes dva ISP a každý má jinou trasu do MS, tak u nás ta chyba nejspíše nebude).
- Já: „Nice to know that. However, what we are supposed to do with this information? As I have written:
- we don’t have any IP filter in place
- we tried it over two different ISP with the same result (tracert was included before)
- probably the problem is somewhere in Microsoft network (msn.net)“.
- Microsoft: „This is the response from our internal escalation team, basically there is nothing that we can do from our side. “
- Já: „This doesn’t sound like solution for me. The problem is still present, and we need to fix it. They found only what is wrong, but as I have told you, the problem cannot be on our side and on side of our ISP.“
- Microsoft: „The internal team has detected that the connection to your servers cannot be established. We cannot do troubleshooting on your local environment. “
- Já: „Previously I have provided you with a capture of SMTP traffic from our ISP. It proves that the failed connection attempts didn’t reach our router at all. We have also tried it over different ISP, which doesn’t share any network path with the first ISP, but problem was still the same. Because of this I think the problem is not on our side. “
- Microsoft: „Once again, the answer of the internal team is final. As Andrei already specified, we don’t have direct contact with them and this is the answer that we get. According to the logs they retrieved the connection is sent from the cloud, but your server is rejecting the connection. Again, the answer is final and there is nothing that I or Andrei can do further on this. “
A jak píše, byl to opravdu konec. Problém uzavřen. Možná jsem k celé věci ještě poslal stížnost jejich nadřízeným (to už si nepamatuji a v e-mailech jsem to nedohledal).
Zásah vyšší moci
Mohli byste si myslet, že příběh dopadl špatně. Po dvou dnech nám ale napsali ze supportu, jestli to ještě chceme řešit, ať to zkusíme ještě jednou. Po pravdě už ani nevím, proč jsme to opět zkusili, ale udělali jsme tak… a ono to najednou šlo. Jsou to na tom supportu ale kouzelníci. Oni nic neudělali, my nic neudělali a najednou to funguje … asi nějaký zázrak.
Nakonec jsme od supportu dostali ještě jeden e-mail: „Since we’ve managed to find a proper resolution for the issue faced, I’ll go ahead and archive this case.“ – a já myslel že oni nic neměnili. „At Microsoft Online Services we continually strive to deliver the highest levels of support and your feedback is extremely valuable in helping us identify where we can improve further.“ – kluci fakt dík. Nejlepší uživatelská zkušenost!
Bohužel, stejně jako u příběhu s Vodafone, nevíme, kde nakonec chyba byla. Myslím si, že spojení odmítal nějaký jejich router, přes který data tekla, nebo byly přetížené jejich forwarding servery. My jsme však byli rádi, že je problém hlavně pryč a můžeme se soustředit na jiné projekty.
Závěr
Jak jsem již psal v jiném článku, tyhle problémy nemám vůbec rád. K support linkám jsem dost skeptický a pokaždé si představím to martyrium, kde je presumpce chyby na vaší straně. Nepříjemné je také to, že veškerý ztracený čas nikdo nezaplatí. Přeci nemůžeme chtít peníze po zákazníkovi za opravu technologie, kterou jsme mu sami doporučili a ona ani nezačala fungovat. A chtít peníze po Microsoftu… bylo by to fajn, ale to se nám asi nepodaří. Vše jsme tedy museli zaplatit ze svého. Normálně by se tyto náklady pokryly z provize za prodej (ta je však u CSP programu tak malá, že se to z ní bude splácet jak hypotéka – pár desítek let).
Jaké máte se supportem Microsoftu zkušenosti vy? Poradíte mi nějaké „triky“, jak problém eskalovat nebo dospět k rychlejšímu řešení?