Začátkem srpna by měl být finálně uveden do chodu nejvýkonnější superpočítač (HPC) v České republice nazvaný Karolina. Jméno je, stejně jako u předchůdců, odvozeno od ostravského dolu. Hostitelem Karoliny je totiž národní superpočítačové centrum IT4Innovations při Vysoké škole báňské – Technické univerzitě v Ostravě. Karolina je nejenom nejvýkonnějším strojem v Česku, ale aktuálně také drží 19. místo v Evropě a 70. na světě.
IT4Innovations kupuje nové superpočítače v pravidelných zhruba pětiletých cyklech. Během té doby se zásadně zvýší výpočetní výkon. Karolina disponuje celkovým teoretickým výkonem 15,2 petaFLOPS. Stroj Salomon, který postupně odchází do důchodu, přitom má dva petaFLOPS a v roce 2015 byl 40. nejrychlejším HPC na planetě.
V Ostravě na Karolinu vypsali veřejnou soutěž za 400 milionů korun. K této částce se ještě připočte 14 milionů eur v podobě provozních nákladů do roku 2025. Do tendru se nakonec přihlásily pouhé dvě společnosti, a sice americký Hewlett Packard Enterprise (HPE) a francouzský Atos. Jde v podstatě o jediné dvě firmy, které v Česku mají reálné kapacity na stavění takto rozsáhlých HPC projektů. Na IT4Innovations například vedli předběžné tržní konzultace s čínským Lenovem, to se ale nakonec do soutěže vůbec nepřihlásilo.
Problémy s dodávkou
Jak už jsme na Lupě psali, zakázku nakonec vyhrálo HPE. To nicméně mělo s dodávkou problémy. Dodaná instalace neměla výkon, který v Ostravě požadovali. Akcelerovaná část s grafickými kartami měla podle plánů dosahovat na výkon 6,6 petaFLOPS. V testech byl ale naměřený výkon pouze šest petaFLOPS. To se bohužel promítlo i do aktuálního vydání žebříčku TOP500. Karolina by jinak dosáhla na ještě lepší umístění.
Dnes je výkon akcelerované části Karoliny odpovídající požadavkům. HPE situaci vyřešilo tak, že přidalo dva výpočetní uzly a vyměnilo všechny procesory. Místo předchozích 32jádrových procesorů AMD Epyc 7452 byly nasazeny lepší modely AMD Epyc 7763 s 64 jádry. Akcelerovaná část má jinak 72 uzlů, přičemž v každém je osm grafik Nvidia A100 se 40 GB paměti (celkově 552 karet) a 1 TB RAM. Využívá se rovněž Infiniband HDR 200.
Jak vypadá superpočítač Karolina:
Karolina má vedle toho ještě 720 uzlů neakcelerované části s 64jádrovými procesory AMD Epyc 7H12 (dva procesory na uzel) a Infiniband HDR 100. Tato část v testech dosáhla na výkon 2,8 petaFLOPS. Výkon neakcelerované a akcelerované části ukazuje, proč se superpočítače čím dál více osazují grafickými kartami. „Energetická úspora na GPU uzlech je velká. Pokud v budoucnu budeme chtít dosáhnout na výkon exaFLOPS a více, bez akcelerovaných systémů to nepůjde,“ uvádí pro Lupu ředitel IT4Innovations Vít Vondrák.
Nový ostravský superstroj má ještě dvě menší části. Obsahuje cloudovou část a jednotku pro výpočty a analýzu dat v paměti. Tam je k dispozici 24 TB RAM. Storage systém má propustnost přes 1 TB/s. Celá sestava se vešla do 25 serverových racků s tím, že mezi nimi jsou další racky s chladicími jednotkami.
Karolina nakonec před pár dny prošla akceptačními cesty (na instalaci se můžete podívat zde). Během testování v rámci benchmarku LINPACK se výkon dostal na 1,1 megawattu. Testy vzbuzovaly určitou nervozitu, protože venkovní teploty v té době dosahovaly na 34 stupňů. Když se objekt IT4Innovations projektoval, s výraznými nárůsty běžných teplot se tolik nepočítalo. Nakonec ale vše proběhlo bez problémů.
V Ostravě nyní poběží dva superpočítače. Karolina bude hlavní a vedle ní už funguje slabší Barbora s výkonem 826 teraFLOPS, kterou dodal Atos. V současné době ještě dobíhá Salomon, dřívější jednička. Jeho akcelerovaná část využívající již ukončenou větev Xeon Phi od Intelu byla vypnutá, stejný osud časem potká i neakcelerovanou část. No a dřívější dvojka Anselm se letos odebral do křemíkového nebe a je v muzeu v Dolních Vítkovicích.
Vzhůru do Evropy
Nové ostravské HPC je první zdejší superpočítač, který se připojí k budované evropské síti těchto strojů zvané jako EuroHPC. IT4Innovations díky tomu získalo prostředky z Evropské unie, která se na financování Karoliny podílí ze 35 procent. Zbytek poskytuje stát skrze ministerstvo školství. Evropské financování mimo jiné znamená, že Karolina poskytne 35 procent kapacity dalším zemím v rámci EuroHPC.
Instalace superpočítače Karolina:
Pro IT4Innovations a zdejší vědu a průmysl ale EuroHPC znamená rovněž to, že budeme mít přístup k vysoce výkonné mašině, která se zrovna staví ve Finsku. Konsorcium LUMI, kam spadá několik evropských zemí, zde bude mít stejnojmenný superpočítač s výkonem 552 petaFLOPS. V současné době by šlo o nejvýkonnější HPC na světě.
Česko je menším členem LUMI, přispívá částkou pět milionů z celkových 200 milionů eur. Zařízení by mělo být kompletně zprovozněno začátkem příštího roku. Dva tuzemští vědci už jsou pověření otestováním již instalované části LUMI. V Brně a Ostravě se také pracuje na systému datového úložiště pro evropské superpočítače.
Součástí EuroHPC, které chce v budoucnu rozjet i takzvané exascale superpočítače, tedy stroje s výkonem jeden exaFLOPS a více, jsou i snahy o vývoj evropského procesoru a akcelerátoru. Na procesor již byla zakoupena licence od ARMu (na ARMu funguje aktuálně nejvýkonnější světový HPC Fugaku od Fujitsu), akcelerátor poběží na otevřeném standardu RISC-V. Procesorová jádra RISC-V dělá brněnský Codasip, který chtěl evropský akcelerátor vyvinout. To se ale nakonec nestane.
Do souboje o vývoj tohoto akcelerátoru šla dvě uskupení. Jedno vedené superpočítačovým centrem v Barceloně a druhé, do něhož se zapojil Codasip společně s IT4Innovations a Hewlett Packard Enterprise (HPE má v Kutné Hoře továrnu na montování serverů a spol.). Výběrová komise nakonec dala přednost řešení z Barcelony.
„Ještě figurujeme v projektu na vytvoření prototypu exascale superpočítače postaveného na evropských technologiích,“ dodává k českým snahám Vondrák.
IT4Innovations se vedle toho v dohledné době stane součástí modernizované sítě CESNET. Toto sdružení provádí rozsáhlou modernizaci za 325 milionů korun a Ostrava je jedno z míst, na které se dostane. CESNET je zapojený do evropské sítě GÉANT, která se zřejmě stane sítí spojující jednotlivé superpočítače v rámci EuroHPC. To do budoucna operuje s myšlenkou na terabitovou síť.
Superpočítačový výkon, jenž nyní v Ostravě bude k dispozici, podle Vondráka nebude problém využít. „Naše vytíženost je na hraně. Zájem převyšuje naše možnosti,“ konstatuje ředitel. Karolina nyní ještě projde interními testy, jako je MLPerf pro strojové učení, a může se rozjet.
ČLÁNKY DO MAILU