Začne to příští týden. Do stěhování Seznamu z malešického datacentra TTC se postupně zapojí na sedmdesát zaměstnanců firmy. Odpojí, převezou, překonfigurují a znovu zapojí stovky serverů, diskových polí a dalšího hardwaru. Vše bez výpadku služeb – uživatelé nemají nic poznat.
Novým domovem serverů bude ve středu oficiálně otevřené datacentrum Kokura, které si Seznam postavil v Horních Počernicích. Za deset let do něj chce investovat celkem 200 milionů Kč – cenu pozemku a hardwaru nepočítaje.
V provozu je zatím jeden ze dvou datasálů – do 96 racků každého z nich se přitom vejdou necelé čtyři tisíce serverů. Zprovoznění druhého sálu Seznam očekává už v roce 2017. Část ze svých současných asi tří tisíc (fyzických) serverů zároveň ponechává v datacentru Nagano.
TIP: Jak to v novém datacentru vypadá? Podívejte se na naši fotoreportáž:
Seznam má na stěhování připraveno několik scénářů, které se liší podle nároků jednotlivých služeb. V drtivé většině případů chce postupovat stylem, který administrátoři označují za „velký třesk“.
Jeden den vypnou virtuální servery – kdyby se něco pokazilo, můžou je takto ještě druhý den rychle nahodit. Druhý den vypnou fyzické stroje, převezou je do Kokury, kde je zapnou a nainstalují. Pak přečíslují IP adresy, protože v novém datacentru jsou jiné domény a jiné rozsahy.
Po spuštění ještě musí spárovat aplikace s odpovídajícími stroji v Naganu, kde má Seznam druhou polovinu serverů. Firma u svých služeb drží dualitu – to znamená, že každá běží v každý okamžik ze dvou míst nezávisle na sobě. Některé služby ale Seznam před stahováním „odstaví“ jen do Nagana – budou tedy dočasně provozovány jen odtud.
Služby, které nesnesou dlouhou odstávku, se budou stěhovat tak, že administrátoři v Kokuře nainstalují buffer, složený z dvaceti až třiceti serverů. V noci pak do nového přestěhují virtuální servery a druhý den je vypnou v TTC, převezou je a z nich utvoří buffer pro stěhování dalších strojů.
Na rychlosti záleží
Služby, které jsou citlivější na množství zapisovaných dat – například e-mail – čeká při stěhování ještě mírně odlišný postup. Při jejich přesunu jde totiž o rychlost. Administrátoři tak vypnou jejich datové servery v TTC, co nejrychleji je převezou do Kokury, kde je zapnou, nastaví nové IP adresy a nechají je dosynchronizovat data.
Je potřeba to zvládnout co nejrychleji, protože s časem rychle stoupá množství dat, která se pak musí dosynchronizovávat. Ale kdyby se něco stalo, třeba kdyby se cestou poškodily disky, nic zásadního se neděje – data máme několikrát jištěna,
říká Marek Leš, Data Center Manager Seznamu.
Racky v Kokuře zatím zahřívají jen testovací servery
Na přestěhování asi 1300 serverů z Malešic do Horních Počernic má Seznam přichystána jen dvě auta. Pojedeme po menších várkách, na auta totiž máme pojistku, která nás jistí do určité výše, takže nepovezeme víc než třeba 40 strojů najednou,
vysvětluje Leš.
Stěhovací vozidla si v Seznamu na akci připravili sami. Nejde o žádné specializované vozy, jsou jen vybaveny paletami a různým obalovým materiálem, který má tlumit vibrace a nárazy. Uvažovali jsme i o tom, že bychom pod palety dávali takové ty podložky, které se dávají pod pračky, abychom co nejvíc odstínili vibrace, ale nakonec to zřejmě dělat nebudeme,
popisuje Leš.
Se stěhováním podle něj budou pomáhat i administrátoři a někteří vývojáři. Každá ruka se hodí – některé servery totiž váží až 80 kg. „Akce Kulový blesk“ by měla podle plánu trvat asi měsíc. Chceme stěhovat jen v pracovní dny a přes den, v pracovních hodinách, aby si administrátoři mohli normálně odpočinout. Máme vytvořených celkem sedm administrátorských týmů a každý se stará o svou množinu serverů,
říká Leš.
Povolené ztráty
Cestování se servery může znamenat, že ne všechny dojedou do cíle v pořádku. Seznam předem počítá se ztrátami kolem 5 %. Rizik je celá řada a nedá se jim beze zbytku zabránit: některé stroje nemusí z různých důvodů po přemístění naběhnout, cestou se mohou poškodit disky atd.
Provoz služeb Seznamu ale nemají ani případné ztráty hardwaru ovlivnit. Každá služba běží v každý okamžik ze dvou míst nezávisle na sobě. Takže i kdyby nastal ten nejhorší možný scénář a žádný stěhovaný stroj nepřežil, služby poběží dál z Nagana,
ujišťuje manažer provozního oddělení Martin Doleček. Jen by v takovém případě Seznam stál před problémem, kde rychle sehnat stovky nových strojů.
Oficiální otevření Kokury – zleva technický ředitel Vlastimil Pečínka, generální ředitel Pavel Zima, data center manager Marek Leš a Business Development Director Michal Feix
Aby toho nebylo málo, chystají síťaři v rámci stěhování u některých strojů zároveň obměnit konfiguraci. Nebudou tedy měnit jen IP adresy, ale i strukturu sítě, pravidla firewallů a podobně.
Na stěhování do Kukury se Seznam připravuje od začátku letošního roku. Loni v menším měřítku trénoval v Naganu, kde přesouval stroje z jedné místnosti do druhé. Zkušenosti čerpal také při navážení současných asi tří stovek testovacích serverů do Kokury.
Administrátoři průběžně už teď testují třeba i chování některých starších diskových polí, která běží už několik let bez přerušení. Na zkoušku je několik hodin vypínají, aby si ověřili, jak se budou chovat po znovuzapnutí.
Žádné zkoušky vás ale obvykle nedokážou úplně připravit na skutečnost. Snad se datacentru Kokura při stěhování prvních nájemníků vyhne smůla. Pojmenované je přece po nejšťastnějším městě na světě.
ČLÁNKY DO MAILU