Seznam.cz už má ve svých datových centrech v provozu řádově stovky karet s čipy Nvidia H100 (80 GB paměti). Používá je na trénink jazykových modelů. Seznam měl ještě před rokem zhruba stovku těchto karet a jejich počet výrazně navýšil. To ale není vše, k dispozici má také stovky karet s čipy L4, používají se na inferenci.
Seznam má pravděpodobně jednu z největších instalací Nvidie u nás. Superpočítač Karolina v národním superpočítačovém centrum IT4Innovations v Ostravě má 576 starších modelů A100.
Jak známo, Seznam pracuje na vlastním modelu Šelma (SeLLMa). Jde o lokální alternativu k GPT od OpenAI či Llamě od Mety. K trénování a inferenci takových modelů se používají AI čipy. Dnes se jedná primárně o Nvidii, což vyhnalo její hodnotu nad tři biliony dolarů. Dostupnost je pořád dlouhá a ceny vysoké – H100 lze stále sehnat za ceny kolem 800 tisíc a podobně. V Seznamu je proto podle Martina Šimůnka, technického šéfa týmu LLM, důraz na utilizaci nakoupeného hardwaru.
Nvidia navíc chystá do produkce nejnovější modely Blackwell. Nové generace podů DGX obsahující osm karet B200 a vyjdou i na 17 milionů, Blackwell je tedy opět o něco dražší. DGX B200 mimochodem odebírá 14,3 kW a do jednoho běžného serverového racku se naskládají čtyři kusy, celkově to tedy dělá 57,2 kW. Rack zároveň váží 520 kilogramů jen v IT vybavení. To je pro zdejší datacentra celkem výzva.
Nvidia už Blackwell začíná nabízet v Česku skrze svého regionálního partnera M Computers. Největší zájem zřejmě bude právě o DGX. Předchozí verze nakoupily například zdejší univerzity. ČVUT má osm kusů DGX-1 (každý s osmi kartami V100), Masarykova univerzita disponuje jednou DGX H100 640 GB (první deal v Evropě) a VŠB-TUO má DGX-2 (V100). CEITEC VUT má DGX 100 a DGX A100 640 GB, které nyní díky dotacím dává k dispozici firmám zdarma.
Seznam se do LLM pustil, aby jeho umělá inteligence uměla dobře pracovat s češtinou. Další motivací je bezpečnost dat, kdy není nutné posílat data uživatelů třetí straně, a zároveň Seznam není závislý na externích dodavatelích. Z podobných důvodů před lety začal budovat vlastní datacentra, díky nimž mimo jiné může ušetřit na provozu velkých jazykových modelů (LLM).
Tým aplikované AI v Seznamu má kolem 50 lidí. Ten kromě Šelmy využívá i další LLM jako Mistral, Llama a další. Aktuálně jich je v provozu pět, časem by jich ale mělo být více. Firma nasadila takzvanou LLM proxy schopnou přeposílat dotazy na jednotlivé modely. Technologie je provozovaná nad platformou KServe.
ČLÁNKY DO MAILU