Během summitu G20 v červenci loňského roku měla do budovy vědecké instituce Deutsches Klimarechenzentrum (DKRZ) v poklidné části Hamburku dorazit delegace lídrů jednotlivých zemí. Vědci z DKRZ měli vlivným osobnostem ukázat, čím se zde už řadu let zabývají, a prezentovat podle nich ne zela uklidňující data. Vzhledem k početným pouličním demonstracím se ale návštěva nakonec nekonala.
DKRZ je projekt, který pro vědce a komunitu kolem klimatologie provozuje superpočítač (HPC). Na něm se počítají klimatické modely, díky kterým mohou vědci získat přehled o současné, a především budoucí podobě meteorologických účinků na Zemi. Výpočty využívají mimo jiné v nekonečných debatách o globálním oteplování.
Počítání takových modelů je komplexní proces, který by byl bez superpočítače nemyslitelný. Vědci se pomocí modelů snaží emulovat kompletní klimatický systém. Oceány, země, atmosféra nebo ledovce reagují na různé vlivy, takže se vyvinul hierarchický systém sub-modelů a vrstev.
Jen provoz DKRZ ročně vyjde na více než devět milionů eur, v čemž nejsou zahrnuty náklady na neustálé obnovy superpočítače. Prostřednictvím rozpočtu Hamburku provoz DKRZ finančně podporuje německá vláda. Další velkou částkou přispívá největší německá vědecká organizace Helmholtz Association a také instituce Max Planck Society.
Nástup Číny
DKRZ vede profesor Thomas Ludwig, který se už brzy opět vydá na cesty po světě a bude zkoumat, od jakého dodavatele by významná instituce v dalším obnovovacím cyklu nový superpočítač koupila. Ludwig se chce například vedle Japonska zastavit také v Číně u tamní společnosti Sugon.
Superpočítač Bull/Atos v DKRZ v Hamburku. Podívejte se:
Ta se totiž začíná projevovat jako schopný dodavatel takových výkonných počítačů. Sugon už má v žebříčku 500 nejrychlejších superpočítačů světa celkem 51 strojů. Prozatím jsou všechny umístěny doma v Číně, podnik nicméně v loňském roce vybavil superpočítačové centrum ve Slovinsku (model Arctur-2) a chce se vydat i na západní trhy.
Další čínští výrobci, kteří se zabývají HPC, už mimo Čínu prorazili. Huawei má v žebříčku TOP 500 celkem 19 superpočítačů, přičemž tři jsou instalovány v Německu a po jednom pak v Polsku a Kanadě.
Lenovo získalo silnou pozici po odkupu x86 serverového byznysu od IBM a v pětistovce nejvýkonnějších strojů světa má 81 modelů. Vedle Číny jsou ve Spojených státech, Norsku, Velké Británii, Německu, Španělsku nebo Itálii. Další stroje pak Lenovo nadále provozuje ve spolupráci s IBM.
V prestižním žebříčku má svých 56 výrobků také čínský Inspur, kterému se ovšem prozatím mimo domovskou zemi přerůst nepodařilo. Čína jako taková má každopádně v TOP 500 celkem 202 superpočítačů a je tak jedničkou (druhé USA mají 144 modelů).
Číňané také vedou z pohledu celkového výkonu a obsazují první dvě příčky. Superpočítač Sunway TaihuLight od čínského národního výzkumného centra dosáhl v testech LINPACK na 93 petaflops. Tianhe-2, spadající pod univerzitní výzkum čínské armády, je téměř na 34 petaflops.
Nejsou čísla jako čísla
„V následujících letech zcela určitě v tendrech uvidíme rostoucí počet nabídek od čínských výrobců,“ popisuje Thomas Ludwig ve své kanceláři v Hamburku. „Pro nás konkrétně to nicméně zřejmě nyní ještě nebude aktuální. Nekupujeme totiž pouze superpočítač jako takový, ale také expertízu a podporu klimatologického vědního oboru, kterým se zabýváme. To čínské společnosti ještě neumí.“ Onou podporou míní například portování a škálování specifických aplikací a podobně.
„Machrování“ s čísly v rámci žebříčku TOP 500 také nemusí zcela vypovídat o skutečném praktickém výkonu počítače. Důležité je, jak konkrétně se dané HPC využívá. V případě některých čínských strojů nemusí jít o neustálé vytížení a jde spíše o plnění politického zadání „být číslem jedna“.
„Je poměrně jednoduché zprovoznit stroj, jaký mají v Číně. Složitější je ho následně skutečně vědecky využít. Superpočítače jsou škálovatelné. Když do nich investujete peníze, můžete je rozšiřovat,“ navazuje Ludwig.
Vědecký ústav DKRZ, kterému Ludwig šéfuje, má rozpočet na pořízení nového HPC ve výši 45 milionů eur. Výměnný cyklus je nastaven na pět let a stávající model bude nahrazen v roce 2020. V podstatě jde o nikdy nekončící proces. DKRZ začal využívat počítače v roce 1988 (Control Data Cyber-205 s jedním procesorem a 0,2 gigaflops) a v současné době má v provozu už jedenáctý model.
Superpočítačový poker
Výměna každého takového superpočítače probíhá ve dvou fázích a proces celkově může trvat i jeden rok. Nejde pouze o instalaci samotného hardwaru, musí se taky přizpůsobit aplikace, které pak na HPC běží. DKRZ vyžaduje jako základ procesory od Intelu (kvůli zachování architektury pro chod aplikací), výrobce ale v tendrech mění. Ústav měl modely od firem Cray, NEC, IBM nebo Sun Microsystems.
„Plány na nákup se musí dělat s odhadem toho, jaký výkon bude v budoucnu zhruba možné za peníze získat. Je možné počítat s nějakými roadmapami Intelu a podobně, v podstatě ale operujete s odhadem. Ten pak pošleme výrobcům, a ti zasílají nabídky. Pro ně je to takový poker. Něco slíbí a pak to vzhledem k výše zmíněnému musí dodat,“ přibližuje Ludwig.
Vědecký a technický tým DKRZ si v posledním tendru vybral superpočítač od francouzské společnosti Bull. Ta byla založena už v roce 1931. Tehdejší francouzský prezident Charles de Gaulle chtěl vybudovat národní podnik, který by Francii zbavil závislosti na Spojených státech a Rusku. Bull nakonec v průběhu jeho historie vlastnilo několik majitelů – General Electric, Honeywell, NEC nebo Motorola. Peníze do podniku v průběhu vložila i francouzská vláda a tehdejší France Telecom (dnes Orange).
V roce 2014 našel Bull nového majitele. Francouzská národní pýcha byla zachována, novým vlastníkem se totiž za 620 milionů eur stala rovněž francouzská společnost Atos. Ta má přes 100 tisíc zaměstnanců, tržní hodnotu 12,4 miliardy eur a společně s německým SAPem jde o největší evropské IT podniky.
Atos postupně dál posiluje, za 760 milionů eur například koupil Siemens IT Services. Po odkupu Bullu se Atos také stal jediným evropským výrobcem superpočítačů. Mimo jiné se má zapojit do nové iniciativy Evropské komise, která chce i díky zapojení České republiky vybudovat evropskou sestavu superpočítačů za miliardu eur.
Nové německé prvenství
Bull/Atos má dnes v žebříčku 500 největších superpočítačů světa 17 strojů. Dva jsou v Německu, jeden v Nizozemsku a všechny ostatní běží doma ve Francii. Nejvýkonnější HPC od Atosu je na 23. místě, v LINPACK dosahuje na necelých pět petaflops a využívá ho francouzská komise pro atomovou a alternativní energii (CEA).
Do žebříčku se brzy promítne také jedna čerstvá instalace. Superpočítačové centrum v německém Jülichu si od Atosu koupilo model BullSequana X1000 (deset buněk), který má teoreticky zvládnout až 12 petaflops. V Německu půjde o vůbec nejvýkonnější superpočítač a sloužit bude i k simulaci aktivit v lidském mozku.
Superpočítač od Atosu, který momentálně využívají v DKRZ, se aktuálně řadí na 42. místo. V testech LINPACK dosahuje na 3 petaflops a teoretické maximum je 3,9 petaflops. Pro srovnání, superpočítač Salomon, který běží v ostravském centru IT4Innovations, je na 87. místě a dosahuje na 1,5 petaflops. Dodavatelem je Hewlett Packard Enteprise (SGI ICE X), který pohltil tradičního výrobce SGI.
Česká stopa
U superpočítače v Hamburku narazíte i na českou stopu. V době naší návštěvy zde dva čeští zaměstnanci Atosu měli dost napilno. Superpočítač byl zrovna odstavený a probíhala na něm údržba. Josef Dvořáček v DKRZ funguje jako on-site systémový specialista, který je zaměstnán německým Bullem. Michal Charvát je pak součástí pražského HPC týmu v Atosu a do Hamburku létá dle potřeby.
Menší šestičlenný superpočítačový tým se do Atosu v Česku dostal společně s odkupem Bullu. Atos a SGI, respektive Hewlett Packard Enterprise, mají jako jediné firmy v Česku kompletní týmy na HPC, které dokáží udělat návrh, dodávku, implementaci a podporu. Atos/Bull stojí například za superpočítačem Anselm v Ostravě, o který se Charvát také stará.
Velkých HPC instalací ale v Česku není moc k vidění. O novější ostravský superpočítač se stará HPE/SGI, které je možné vedle IBM vidět i ve Škodovce. Japonský NEC nedávno po delší době vyhrál tendr za zhruba 50 až 60 milionů korun na Českém hydrometeorologickém ústavu, menší projekty pak běží třeba ve fyzikálním a astronomickém ústavu.
Větší HPC projekty na našem trhu zvládnou Atos/Bull, SGI/HPE a NEC. Snaží se i Huawei, který měl ambice dostat se do Škody. Menší projekty zvládá asi deset firem, tam jde ale v podstatě o přeprodej hardwaru s malou marží. Superpočítačový byznys v Česku se i s dodávkami systémů na ukládání dat ročně pohybuje na částce kolem 200 milionů korun. Tuzemský Atos/Bull se zaměřuje i na Slovensko, HPC nyní dodává tamnímu Centru vedecko-technických informácií (CVTI).
Hodně pásek
DKRZ s instalací HPC, kterému říká Mistral, začalo v roce 2015. Jeho základem je stroj Bullx DLC 720 s operačním systémem Bullx Linux. V současné době operuje s 3300 výpočetními nody. Každý takový nod má dva procesory. Konkrétně 1550 nodů (každý) běží na dvou procesorech Intel Xeon E5–2680v3 12C při taktu 2,5 GHz (Haswell) a dalších 1750 nodů pak na procesorech Intel Xeon E5–2695V4 18C při taktu 2,1 GHz (Broadwell). Počet jader je na 100 tisících. Hlavní paměť je 266 TB a konektivitu zajišťuje InfiniBand FDR (switche od firmy Mellanox).
Mistral má přes 10 tisíc pevných disků a souborový systém s 54 PB. Vedle mechanických disků, kterých se ročně porouchá 0,5 až 1,5 procenta, se také používá několik stovek SSD. Konkrétně na operace spojené se zpracováním logů, cache nebo vyhledávání postavené na Elasticsearch.
Disky jsou chlazené tradičně vzduchem, procesory a paměti ovšem vodou. „Heat pipes“ vedou do každého nodu a jsou napojeny na výměníky v racku. „V průměru máme PUE pod 1,2,“ popisuje Ulf Garternicht, který se o technickou část Mistralu stará.
Vedle těchto nodů je zde ještě dalších 21 jednotek operujících s „grafikami“ od firmy Nvidia. Ve 12 nodech je Tesla K80 (dvě na každý nod), v pěti nodech vždy po dvou modelech Tesla M40 a čtyři nody pak mají M6000. DKRZ tuto sestavu využívá pro vzdálené 3D renderování pomocí TurboVNC a VirtualGL.
Na archivaci dat se používají pásky. Nasazený je modulární systém Oracle StorageTek SL8500, takže je možné neustála přidávat nové kapacity. DKRZ má nyní osm takovýchto systémů a v každém z nich operuje osm robotických ramen. Kapacita pásek je přes 190 PB dat s tím, že desítky dalších ročně přibudou. Jde o živý archiv, k asi čtvrtině dat uložených na páskách se zpětně přistupuje. Jedna kazeta se používá pět až šest let, pak se její obsah překopíruje na novou. Přenos dat mezi superpočítačem a archivačním systémem dosáhne až na 18 GB/s. Systém má 65 zařízení na čtení páskových kazet. Disková cache má 5 PB.
Cestu autora do Hamburku organizovala společnost Atos.
ČLÁNKY DO MAILU