Slýcháme, že máme mnohem víc výpadků a že to souvisí s tím, že UPC sítě spravovalo lépe a Vodafone to neumí. Není to tak, statisticky máme výpadků pořád stejné množství, říká viceprezident českého Vodafonu pro technologie Milan Zíka.
Za velké výpadky z posledních měsíců se nicméně zákazníkům v rozhovoru pro Lupu omlouvá a detailně vysvětluje, jak k nim došlo. Popisuje také, jak chce Vodafone síť exUPC rozvíjet. Operátor už dokončil upgrade sítě na standard DOCSIS 3.1, který umožní v kabelové síti nabízet rychlosti připojení nad 1 Gb/s.
Pro 1,35 milionu českých domácností bude gigabitové připojení dostupné už na podzim. Zájemcům o vyšší rychlost bude operátor muset vyměnit modem za nový, který DOCSIS 3.1 podporuje. Vodafone kromě toho plánuje výměnu všech set-top boxů za nová zařízení – změna souvisí s plánovaným přechodem zákazníků exUPC na platformu Vodafone TV.
Jak zatím po technické stránce probíhá slučování UPC a Vodafonu?
Je to výzva jak po technické, tak po lidské stránce. Něco podobného neděláme každý rok. Neintegrujeme jen služby a platformy na úrovni Česka, ale promítá se do toho i úroveň mezinárodních služeb: UPC bylo zaintegrováno ve službách Liberty Global, ze kterých se vydělilo, aby následně bylo integrováno pod Vodafone. Naštěstí jsme po lidské stránce s kolegy z UPC rychle navázali kontakt a snažíme se problémy integrace pragmaticky a věcně řešit a zároveň se víceméně úspěšně potýkáme s tím, co přichází z té mezinárodní úrovně.
Můžete být konkrétnější, co se na té mezinárodní úrovni děje?
Liberty Global měla centralizovaný veškerý provisioning a zákaznická data. Každá služba se vždy spouštěla centrálně. A to je pro nás docela zásadní věc, protože i když je český Vodafone součástí globální skupiny, vždycky jsme služby provozovali lokálně a chceme to tak dělat i do budoucna. Po dobu, než migraci úplně dokončíme, nám Liberty Global na služby poskytuje tzv. technical service agreement a služby nám zajišťuje.
Jak dlouho to ještě potrvá? Kdy má migrace skončit?
Většinu smluv máme standardně podepsaných na dva až tři roky. Je tam i nějaká opce a možnost prodloužení na čtyři roky, ale tomu bychom se sami rádi vyhnuli. Snažíme se projekty co nejvíce urychlit a tím pádem i minimalizovat dopad na zákazníky, protože jakékoli migrace, změny nebo rekonfigurace vždycky nějaký dopad mají.
Jak konkrétně ta odluka od Liberty Global vypadá? Stěhujete fyzicky servery nebo jiná zařízení?
Úplně ne, nechceme technologie převážet. Spíš to znamená, že se určitá část technologií, které jsou spojeny se službami poskytování televize, nahrávání a tak dále, bude v průběhu času vypínat. Jde tedy o čistý decommissioning těchto platforem a migraci zákaznických služeb kolem televize na naši platformu Vodafone TV. Druhou rovinou jsou zákaznická data, která se budou migrovat ze systémů Liberty Global na naše systémy. A třetí rovinou je modernizace toho, co v České republice fyzicky máme a co chceme do budoucna dostat na potřebnou úroveň, a to je hybridní kabelová síť, včetně přípojek uživatelů. Chceme modernizovat celý souhrn zařízení, který tady UPC provozovalo, ať už to byla zařízení, která jsou z relativně nedávné historie, poměrně moderní set-top boxy, nebo všechna možná historická zařízení, která se za historií UPC u zákazníků nacházejí. Chceme je sjednotit na jednotnou řadu podporující všechny služby, které chceme do budoucna provozovat a které chystáme.
Znamená to, že část zákazníků čeká výměna zařízení? A bude se to týkat jen set-top boxů?
Ano, čeká. Bez toho, že bychom se dotkli koncových zařízení, ať už jsou to širokopásmové modemy, nebo set-top boxy, nebudeme schopní migraci dokončit. Změna proběhne nejen na straně sítě, ale budeme zákazníky také kontaktovat a budeme jim dodávat nová zařízení, která by jim měla zafungovat při upgradu rychlosti připojení nebo služeb Vodafone TV.
Jakého procenta zákazníků se ta výměna bude týkat?
U set-top boxů se to dotkne 100 % zákazníků. A u modemů se to dotkne všech zákazníků, kteří budou stát o upgrade profilu širokopásmového připojení a jeho rychlosti. Je to z prostého důvodu: dokončili jsme upgrade hybridních sítí na systém DOCSIS 3.1, takže budeme schopní nabídnout rychlosti přes 1 Gb/s. Během roku příprav jsme se dostali na počet 1,2 milionu domácností, které budou mít možnost připojení přes 1 Gb/s, a teď ještě doděláváme několik desítek tisíc dalších, takže se v konečném souhrnu dostaneme na 1,35 milionu domácností, pro které bude tato rychlost dostupná. S těmito rychlostmi přichází i nová specifikace a nové požadavky na koncové zařízení u zákazníka.
Kdy začnete gigabitové připojení nabízet?
Gigabitový produkt by měl být hotový někdy na podzim. Zároveň s tím bychom chtěli představit i nové služby, které budeme poskytovat v televizi.
Víte už, jaký model modemu budete používat?
Půjde o standardní kabelový modem, který podporuje DOCSIS 3.1. Už testujeme v živé síti a dosahujeme rychlostí kolem 1,3–1,4 Gb/s. Většina standardních měřáků tyhle rychlosti zatím ani neumí zachytit. S ohledem na počet domácností, kterým tyto rychlosti budeme schopní nabídnout, to myslím bude bezprecedentně nejlepší produkt na trhu.
A jaké budou ceny?
Ceny sám nevím, ty má v rámci firmy na starosti jiný tým.
Gigabitová rychlost bude dostupná na downloadu, ale zajímá mě, jestli budete navyšovat i rychlosti uploadu.
Na upstreamu máme v kabelových sítích zatím pořád DOSIS 3.0, ale i tady přemýšlíme o upgradu. Pak bychom se dostávali na teoretické rychlosti někde přes 100 Mb/s, což by myslím mělo být dostačující i pro nečekané situace, jako je třeba epidemie koronaviru.
Standard DOCSIS 3.1 se týká kabelové sítě. Jaké máte plány se stavbou optiky?
U plánů nové výstavby velmi zásadně řešíme, jestli budeme pokračovat v dalším nasazování kabelů, nebo jestli už půjdeme optikou. Pokud máme v dané lokalitě výstavbu z větší části kabelovou, nemá smysl, abychom do ní velmi složitě přidávali GPON, takže tam budeme nadále zahušťovat kabelovou technologií HFC (Hybrid Fiber Coax, signál vedený optickým kabelem je v poslední fázi k zákazníkům veden koaxiálním kabelem – pozn. redakce). V nových lokalitách už půjdeme technologií GPON (Gigabit Passive Optical Network – gigabitová pasivní optická síť, pozn. redakce).
Kolik nových přípojek chcete ročně stavět?
Máme v tomto ohledu dvě roviny. Jednou je zvyšování počtů přípojek ve stávajících lokalitách. Je pořád dost míst, kde bychom ještě chtěli zobchodovat další připojení, a myslíme si, že právě s gigabitovým internetem by to mohlo být i ku prospěchu našich zákazníků. Zároveň chceme jít do greenfield projektů, kde bychom chtěli vystavět a zobchodovat přibližně 20–25 tisíc přípojek ročně.
Kromě připojování koncových uživatelů je síť bývalého UPC pro Vodafone důležitá i z hlediska mobilního byznysu Vodafonu. Využijete ji třeba při posilování kapacity základnových stanic?
Už jsme odstartovali projekt, abychom zhruba o 25 % více našich BTS dokázali díky síti UPC dostat na optiku, což je pro nás zásadní věc. Musím přiznat, že jsme v tom za konkurencí trochu pokulhávali a díky spojení s UPC se posuneme velmi výrazně dopředu. Druhý aspekt je, že sítě budeme muset konsolidovat, protože teď máme některé přenosové relace de facto zdvojené a nedává smysl, abychom tento překryv dlouhodobě udržovali. Chceme se podívat na fyzické i platformní synergie a ty sítě spojit tak, aby vznikla jedna robustní fungující páteřní síť, kterou budeme používat pro fixní i pro mobilní část. Chtěli bychom je „sesypat“ ideálně bez dopadu na zákazníky.
Ale když se dotýkáme fungujících systémů, čas od času se něco stane a někdy jsou to nepředvídatelné věci. Snažíme se pracovat v nočních hodinách, všechno plánovat, verifikovat a testovat, ale bohužel se nám občas stane, že máme nějaké výpadky. Nechci před tím utíkat, ale zároveň nechci říkat, že sítě budou totálně bez výpadků, zvlášť když se na nich teď toho tolik děje: upgradujeme na DOCSIS 3.1, řešíme migrace zákaznických dat, upgrady CPE (customer-premises equipment – koncová zařízení u zákazníka, pozn. redakce), je toho strašně moc.
Vrátím se k těm BTS nově připojeným optikou. Kolik jich tedy celkem máte?
Dlouhodobě jsme se pohybovali na 13 % z celkového počtu asi 5 tisíc našich BTS. Po rozšíření jsme skočili na 17 %.
Znamená to, že budete posilovat kapacity BTS? Při epidemii to vypadalo, že na některých místech už se základnové stanice dostávají na hranice svých možností.
Posilovat mobilní síť samozřejmě budeme. Na začátku karantény nám vytížení obecně na úrovni sítě skokově vyrostlo o nějakých 20 %. A musím přiznat, že v některých místech jsme měli lokální vytížení, které hraničilo s přetížením. Obsloužit třeba pražské Jižní město, které je najednou zavřené doma a připojuje se ke stávající macrosite, nelze zvládnout bez výrazného hardwarového navýšení konfigurace BTS. Na konci karantény se nám traffic výrazně posunul zpět do normálu, na úroveň plus minus jednotky procent z doby před karanténou. Na vyšších úrovních paradoxně zůstává uplink ve fixních sítích, což ukazuje na to, že poměrně dost z exUPC zákazníků pořád pracuje z domova a síť využívají diametrálně odlišným způsobem než v době před epidemií.
Na konci dubna jste měli v síti bývalého UPC velký výpadek napříč Evropou. Co se konkrétně stalo?
Došlo k souhře dvou věcí. Jednou byla špatná konfigurace jednoho routeru mimo Českou republiku. Ten způsoboval, že se v IP síti s nějakou periodicitou generovala „lavina“, kterou následně začala ořezávat platforma na eliminování DDoS útoků. Jenže s tím ořezávala i užitečný traffic. Tyhle dvě věci se potkaly a vzhledem k tomu, že probíhaly poměrně dlouho, nebylo pro nás jednoduché tuhle anomálii odchytit, zanalyzovat a správně pojmenovat. Kolegové na nadnárodní úrovni zjišťovali, co se děje, ale jejich analýzy končily ve slepých uličkách.
A co nedávné výpadky, které se týkaly České republiky?
Měli jsme dva výpadky, které nás velmi mrzí. Jako šéf techniky Vodafonu se za ně chci veřejnosti omluvit. Přišly ve stejný okamžik. Jeden výpadek souvisel se shořením jističe v oblasti datového centra Závišova, kde provozujeme služby exUPC. Zároveň s tím bohužel shořela část infrastruktury, která má na starosti televizní služby. Oprava tohoto fatálního výpadku nám chvíli trvala, protože ta zařízení byla opravdu fyzicky zničená. V takovém případě musíte najít náhradní díl nebo celé náhradní zařízení a provést rekonfiguraci. Nicméně výpadek postihl i nahrávací službu, kde bohužel došlo ke ztrátě dat, která byla zadána zákazníky. Jejich obnova je bohužel prakticky nemožná.
Nemá headend sítě exUPC redundanci?
To je pravda, ale dotyčný hlavní jistič byl konfigurovaný tak, že de facto spravoval obě části. Právě to jsme nakonec identifikovali jako jednu z prapříčin problému. Momentálně probíhá přepojování, aby se něco podobného v budoucnu nestalo.
PODÍVEJTE SE: Srdce UPC v Praze. Takhle vypadá headend a dohledové centrum:
A ten druhý výpadek, v mobilní síti?
Druhý výpadek byl zásadní. Musím zaklepat, že jsme si celkový výpadek všech našich služeb dlouho nezažili, ale všichni víme, že ze statistiky a z komplexity služeb vyplývá, že se čas od času taková situace stane. Tento výpadek souvisel s hardwarovou chybou jedné karty. Máme redundantní systémy, takže by za normálních okolností její funkci převzala jiná karta. Ta packetová gateway byla stíněná, takže její provoz měla převzít druhá packetová gateway. Ale z nějakého důvodu došlo k eskalaci a začala havarovat jedna karta za druhou. A tento lavinový efekt vygeneroval obrovskou lavinu signalizace, která ve finále způsobila to, že se celá síť zahltila. Na té jedné spadlé packetové gatewayi v dané chvíli probíhalo zhruba milion datových hovorů a ten milion se během jediné vteřiny snažil přelít na druhou packetovou gateway. Karty navíc do toho hlásily další a další chyby, tím generovaly další požadavky. Celkové přetížení sítě pak způsobilo to, že veškeré platformy nebyly dostupné.
Interně jsem to přirovnával k fatálnímu protržení přehrady, kterou se valí veškerý traffic, do toho se uživatelé logicky snaží opakovaně připojit a generují další pokusy a vy v této situaci máte přehradu opravit. To se prostě nedá. Museli jsme veškerý traffic odstřihnout – vypustit veškerou vodu – a teprve potom postupně zvedat službu po službě. Proto jsme ve výsledku byli tři hodiny bez všech služeb sítě Vodafone. Omlouvám se za to, ale snad děláme dostatek kroků, abychom se poučili a abychom měli na konfigurační a provozní úrovni trošku rychlejší možnosti reakce a abychom byli schopní v podobných případech služby zvedat jednotlivě trochu rychleji – třeba dříve obnovit telefonické služby.
Tohle byl celoplošný výpadek, ale nemá síť bývalého UPC v poslední době výpadků obecně více?
My jsme se na to dívali a výpadky souvisí s řadou aspektů. Jeden je ten, že se snažíme síť modernizovat a opravdu se v ní, lidově řečeno, hrabeme víc, než je zdrávo. Druhá věc je, že obě telekomunikační skupiny mají trochu jiné standardy. My ve Vodafonu je máme poměrně dost vysoké a chceme na ně dostat i část exUPC.
A třetí věc je, jakým způsobem kabelová síť reaguje na lokální výpadky proudu. To pro mě bylo novum, protože jsme zvyklí, že naše mobilní síť je jištěná bateriemi a BTS jedou po nějakou dobu i při výpadku napájení. Baterie máme i v mobilech, takže i když nám doma nesvítí světlo, telefonovat obvykle můžeme. Ve fixní síti to takto nefunguje. Když koncové zařízení nemá napájení, služba je nedostupná a vy si ani nepustíte televizi. Proto naše distribuovaná kabelová síť historicky bateriemi jištěná není, protože to UPC nedávalo smysl – při výpadku jste si stejně doma nepustil set-top box ani televizi.
V poslední době se setkáváme s tím, že někdo říká, že máme mnohem víc výpadků a že to souvisí s tím, že staré dobré UPC to dělalo líp a Vodafone tomu asi nerozumí a podobně. Není to tak, statisticky máme výpadků pořád stejné množství. Mluvíme ale ve firmě o tom, jak změnit přístup k menším regionálním výpadkům, které třeba ani nejsou způsobeny na naší straně, ale tím, že někde vypadne napájení. Řešíme, jak mluvit se zákazníky, jak jim lépe dávat vědět, co se děje. Zvlášť pokud budeme mít konvergentní služby a budeme mít se zákazníkem smlouvu i na mobilní služby, měli bychom to řešit jako komplexní otázku.
Co to má v praxi znamenat?
V těchto situacích se primárně řeší komunikace. Můžeme tedy zákazníkovi poslat zprávu. Pokud zrovna zákazník nebude mít připojení přes FMS (Fixed Mobile Substitution, pozn. redakce) nebo WTTx (fixní internet přes mobilní síť – pozn. redakce), tedy nebude mít doma fyzické zařízení, nebudeme mu asi schopní říct, co má dělat. Ale jsme schopní říct, že je u něj třeba lokální výpadek napájení nebo za jak dlouho se vyřeší, což často víme díky úzké spolupráci s distributory energií. Ale nechci to svalovat jen na výpadky energie – chceme dávat zákazníkům vědět, i když k něčemu dojde u nás. Máme k tomu mnohem lepší prostředky než UPC, které provozovalo jen fixní připojení, které ale při výpadku nefunguje. Myslím, že zákazníci upřímnou komunikaci ocení.
ČLÁNKY DO MAILU