Iniciativu za vytvoření globálního gridu (nejen pro LHC, Large Hadron Collider, viz první díl našeho seriálu Grid computing ve firemním prostředí) si na starost vzal výzkumný projekt, sponzorovaný Evropskou unií, EGEE (Enabling Grids for E-sciencE – původně se poslední E zkratky týkalo Evropy, tato omezující podmínka byla z projektu vypuštěna). Letos úspěšně uzavřený dvouletý projekt (představující první fázi probíhající v letech 2004–2006) byl součástí 6. rámcového programu (FP6) EU. S rozpočtem přes 35 milionů eur měl za cíl propojit evropské národní, regionální i tematicky orientované gridy do jednotné evropské gridové infrastruktury. EGEE grid je nyní k dispozici akademickým zájemcům o výpočetní nebo datové kapacity.
Na řešení první fáze projektu se podílelo 70 institucí ze všech zemí Evropy, z Ruska i USA a spolupracovaly na něm i asijské země, např. Japonsko nebo Jižní Korea. Jedinou institucí z České republiky, která se projektu účastnila, je sdružení CESNET: na projektu se podílí gridově orientovaní odborníci a týmy Masarykovy univerzity v Brně, Fyzikálního ústavu AV ČR, Západočeské univerzity v Plzni a Univerzity Karlovy v Praze.
Od března letošního roku projekt plynule pokračuje druhou fází pod označením EGEE II (pro stručnost vystačíme dále s označením EGEE). Celkem se komplexního projektu účastní 91 partnerů (z oblasti výzkumu i průmyslu) z celkem 32 zemí, kteří jsou sdružení do 13 federací s regionálními centry (ROC, Regional Operational Center). Každá federace má jednoho zástupce v řídicí radě projektu (PMB, Project Management Board) a zástupcem Středoevropské federace se v lednu 2005 stal zástupce CESNETu Luděk Matyska (MU Brno).
CESNET se jako jediný účastník ze zemí střední, ale i jihovýchodní a jihozápadní (jinými slovy krom Itálie, která je v projektu rovněž značně aktivní) Evropy podílí na všech aktivitách projektu včetně vývoje middleware a z hlediska výzkumných záměrů je zodpovědný za službu Logging and Bookkeeping Service (LB), sledující průchod úloh gridovým prostředím a rekonstruující stav úlohy na základě událostí zasílaných jednotlivými komponentami. Další oblastí plně v kompetenci sdružení CESNET je Job Provenance, dlouhodobé úložiště dat o úlohách zpracovávaných na EGEE Gridu.
Komplexnosti projektu EGEE II odpovídá také jeho rozpočet ve výši téměř 37 milionů eur z evropských fondů a v obdobné výši dohromady od partnerů. Přes polovinu prostředků projektu padne na gridové služby, sedmina na práci s middleware a zbytek je plně věnován podpoře uživatelů, informačnímu servisu a mezinárodním aktivitám. Příští týden se v Ženevě uskuteční velká konference EGEE’06 – pokud budou výstupy zajímavé a účastníci ochotni o nich hovořit, k projektu se vrátíme v rámci tohoto seriálu.
Mamutí možnosti EGEE gridu
Již nyní se díky EGEE využívá propojení výpočetních center na všech kontinentech (200 středisek v 39 zemích, viz obrázek) na 30 tisíc CPU a globální úložná kapacita se odhaduje na pět petabytů (miliard GB), což ovšem bude muset ještě příslušně narůst kvůli očekávaným potřebám právě LHC jako zdroje dat. Cílem EGEE je do roku 2008 zpřístupnit 100 tisíc CPU a desítky petabytů úložného prostoru. V současné době již grid rutinně podporuje přes dvacítku tisíc úloh denně, s datovými přenosy o objemu přes 1,5 GB/s.
EGEE grid propojující na 200 míst světa (stav v květnu 2006)
zdroj: Spectrum
Grid se již testuje nejen pro budoucí experimenty v LHC, ale také v oblastech astrofyziky, lékařských aplikací (např. PET, Positron Emission Tomography), bioinformatiky, sledování změn klimatu, výzkumu úložišť ropy a zemního plynu, farmaceutického výzkumu i finančnictví. V současnosti se již jedná o největší všeobecně použitelný grid pro vědecké a výzkumné účely na světě, a přitom průběžně dále roste.
EGEE grid sestává z klastrů PC (od několika až po tisíce podle možností vlastníka) připojených na farmy diskových serverů a specializovaných sil magnetických pásek používaných pro zálohování a dlouhodobou archivaci dat. Ke gridu se mohou samozřejmě připojit další zájemci (viz postupy). Grid nepoužívá žádnou vlastní komunikační infrastrukturu pro vzdálené propojení jednotlivých klastrů, ale plně využívá možnosti veřejného Internetu a samozřejmě také rychlých sítí výzkumných a vzdělávacích (např. národní multigagibitová optická síť CESNET2 připojená na panevropskou síť GÉANT2 propojující celkem 34 zemí našeho kontinentu se spojením na obdobné sítě jako americký Internet2; experimentální sítě CzechLight a TransLight, viz též článek TransLight – zárodek Internetu budoucnosti?). Rychlá komunikace umožňuje rychlou distribuci výpočetních úkolů do velmi vzdálených míst.
Výkonností sice možnosti EGEE gridu ještě nepřesáhly stávající kapacity některých superpočítačů, ale s postupným růstem dnešním tempem k tomu jistě vbrzku dojde. Navíc lze předpokládat, že mimoevropské aktivity v tomto směru se budou postupně vzájemně propojovat a zvyšovat tak mnohonásobně své možnosti. Příkladem je americký Open Science Grid, který propojuje zatím na padesát institucí a do značné míry kopíruje evropský projekt, s nímž se má zanedlouho propojit. EGEE také již spolupracuje s japonským projektem National Research Grid Initiative.
Různorodé aplikace v EGEE gridu
Mezi aplikacemi nalezneme velice různorodé projekty v oblastech astrofyziky, kvantové fyziky, biomedicíny, výzkumu Země:
- LHC: analýza a ukládání dat ze čtyř detektorů urychlovače;
- MAGIC: simulace kosmických paprsků z teleskopu MAGIC na Kanárských ostrovech;
- ANTARES: analýza dat z podvodního detektoru ve Středozemním moři;
- WISDOM: analýza chemických složek při výzkumu nových léků;
- GPS@: proteinová databáze a prostředky pro analýzu při výzkumu již známých genomů;
- GATE: simulace reakce tkáně při ozařování;
- SiMRI3D: simulace fyziky trojrozměrných zobrazovacích systémů magnetické rezonance;
- SPLATCHE: simulace rozprostření osob v zeměpisných oblastech pro výzkum genetického vývoje;
- CODESA 3D: simulace fyzických procesů ovlivňujících toky spodní vody v hydrologických systémech;
- EGEODE: zpracování seismických dat pro zkoumání zemských vrstev a zjišťování zásob ropy a zemního plynu;
- GOME: analýza dat a snímků z družic pro výzkum ozónu a ropných skvrn;
- E-GRID: finanční simulace.
Nicméně pro některé úkoly se zdá grid méně vhodný než superpočítač: např. pro simulace počasí vyžadují tak provázané výpočty, že i superpočítač sotva stačí posílat data mezi svými procesory potřebnou rychlostí. Distribuovaný grid, omezený nezbytným přenosovým zpožděním zvyšujícím se s každým kilometrem byť vysoce propustného optického vlákna, nemůže těmto rychlostem konkurovat. Současné gridy včetně EGEE lze ideálně využít pro všechny aplikace, které lze rozdělit na mnoho menších úloh a ty zpracovávat individuálně paralelně.
Další evropské projekty
EGEE není jediným projektem podporovaným EU v oblasti budování gridové infrastruktury a aplikací. V jihovýchodní Evropě rozvoj gridu zajišťuje projekt SEE-GRID (South Eastern European Grid-Enabled eInfrastructure Development), jehož druhá fáze SEE-GRID-2 zahájila letos v květnu. Na EGEE grid navazuje prostřednictvím panevropské multigigabitové výzkumné sítě GÉANT2. Zatímco první fáze projektu se postarala o vlastní infrastrukturu, nyní se účastníci projektu zaměřují na vlastní aplikace.
V podobném duchu se buduje Baltic Grid integrující pobaltské státy do evropské infrastruktury a EUMedGrid zaměřený na státy středomoří. Mimo Evropu se vydal projekt EUChina Grid v rámci budované spolupráce s Čínou.
Gridům se věnuje vrcholná evropská pozornost pod křídly Evropské komise (Directorate F – Emerging Technologies and Infrastructures Unit F2 – Grid Technologies) expertní skupiny Next generation grids (NGG). Ta měla za úkol specifikovat priority pro výzkum v této oblasti do konce dekády. Výsledkem bylo několik studií a zpráv, poslední pak The 3rd report of the Next Generation Grids Expert Group: Future for European Grids: GRIDs and Service Oriented Knowledge Utilities (Vision and Research Directions 2010 and Beyond) [PDF, 414 kB] publikovaná v lednu 2006 (37stránková publikace obsahuje jednak komplexní pohled na vazbu mezi gridovými službami ve vazbě na web a také kompletní SWOT, Strengths and Weaknesses, Opportunities and Threats, analýzu podpory rozvoje gridů v Evropě).
NGG Vision (zdroj: The 3rd report of the Next Generation Grids Expert Group)
Vývojem gridů a jejich aplikací se zabývá 12 projektů v rámci FP6, zahájených většinou v roce 2004, které celkem získaly příspěvek na náklady z evropských fondů ve výši 52 milionů eur. Jedná se o čtyři rozsáhlé (IP, Integrated Projects) projekty SIMDAT (Data Grids for Process and Product Development using Numerical Simulation and Knowledge Discovery), NextGRID (The Next Generation Grid), Akogrimo (Access to Knowledge through the Grid in a mobile World) a CoreGRID (European Research Network on Foundations, Software Infrastructures and Applications for large scale distributed, Grid and Peer-to-Peer Technologies), které jsou teprve v polovině své práce. Dalších několik specificky zaměřených projektů, jako např. UniGridS (Uniform Interface to Grid Services), Provenance (Enabling and Supporting Provenance in Grids for Complex Problems), dokončuje svoji práci právě nyní a výsledky jejich práce již brzy budou veřejně k dispozici.
V příštím roce budou dokončeny další projekty jako InteliGrid (InteroperabilIty of Virtual Organisations on Complex Semantic Grid), OntoGrid (OntoGrid: Paving the way for knowledgeable Grid services and systems), K-WF Grid (Knowledge-based Workflow System for Grid Applications) a HPC4U (Highly Predictable Cluster for Internet-Grids). Další skupina 20 nových projektů vyšla vítězně z nedávno zakončené výzvy k podávání návrhů projektů (FP6-IST Call 5, poslední výzva v rámci letos dobíhajícího rámcového programu FP6 pro strategický cíl, SO, Strategic Objective, 2.5.4 Advanced Grid Technologies, Systems, and Services s objemem prostředků kolem 60 milionů eur). Mezi jiným se budou v následujících dvou letech zabývat experimentováním a nasazením gridů do podnikatelské sféry, vývojem moderního middleware, služeb a zabezpečení (o těchto tématech bude řeč v příštím díle seriálu). Oficiální zahájení těchto nejnovějších projektů proběhlo právě předevčírem na akci European Grid Technology Days 2006.
Rozvoj gridů v Evropě má také za úkol podporovat jedna z tzv. technologických platforem NESSI (Networked European Software and Services Initiative), která byla oficiálně spuštěna právě před rokem a která se zaměřuje také na oblast softwaru i SOA (Service Oriented Architectures) a výzkumných výhledů do budoucna. NESSI představuje partnerství veřejného a soukromého sektoru, které má za úkol najít společnou řeč ohledně evropské strategie nasazení a rozvoje moderních služeb (na vyžádání) a softwaru. Technologické platformy mají hrát klíčovou roli v posílení evropského výzkumu, vývoje a inovací právě díky zastoupení všech zainteresovaných skupin, včetně uživatelů a spotřebitelů i nezbytných finančních institucí.
Výše uvedené projekty samozřejmě nejsou první svého druhu sponzorované z rozpočtu Evropské unie na výzkum a vývoj. Mezi jejich předchůdce v rámci programu FP5 patří známý GridLab (2002–2005), nebo minule zmiňovaný DataGrid, na nichž se rovněž podílela Masarykova univerzita.
Příště se zaměříme na to, bez čeho by se žádný grid neobešel: middleware. Podíváme se také na význam tzv. virtuální organizace a možnost stát se jejím členem.
ČLÁNKY DO MAILU