Cloud je skvělá věc. Bez velkých vstupních nákladů za serverový hardware a softwarové licence umožňuje rychle rozjet aplikace a škálovat je dle potřeby. Cloud se mimo jiné stal klíčovou platformou pro zakládání startupů, kterým výrazně usnadňuje začátky. Zároveň nelze říci, že cloud je nutně levný nebo samospásný. S rostoucí komplexitou a neoptimalizací aplikací může během vyúčtování hodně šokovat. I proto vznikl obor FinOps, který ve firmách řeší, jak „cloudové costy“ držet na uzdě.
Když zůstaneme u startupů, obecně se dá říci, že cloud zůstává jasnou volbou číslo jedna pro výběr infrastruktury. Otázkou je především to, jakého dodavatele zvolit. Často rozhodují osobní preference ke značce, vybrané technologie pro vývoj a v nemalé míře kredity zdarma, které startupy od cloudových dodavatelů běžně získávají. Provozovatelé platforem si takto dokáží mladé projekty „zaháčkovat“ a potenciálně z nich za pár let mít velké klienty, kteří peníze od rizikových investorů často do značné míry pošlou právě do cloudu.
Český startup WeBoard si také na rozjezd zvolil cloud, konkrétně světovou jedničku Amazon Web Services (AWS). Nedávno se ale rozhodl pro nezvyklý krok a infrastrukturu z AWS migroval na vlastní hardware umístěný v pražském datovém centru.
A pak přišla faktura
„Amazon nás dostal na kredity zdarma. Na AWS jsme fungovali zhruba poslední rok. Díky kreditům jsme si říkali, že jsme vlastně ušetřili velké peníze. Získáte pocit, že cloud je zázrak, který nic nestojí, navíc s jednoduchým škálováním,“ popisuje pro Lupu spoluzakladatel a výkonný ředitel WeBoardu Radim Tvrdoň.
„Na začátku jsme tedy utráceli kredity a neřešili, kolik co stojí. A pak kredity došly a najednou přišel účet na 115 tisíc korun,“ navazuje Tvrdoň. „Ukázalo se, že drtivá většina cloudových poskytovatelů má velmi netransparentní naceňování. Je to jejich záměr.“
WeBoard si na cloudové konzultace najal partnera AWS v podobě tuzemské firmy Revolgy. Ten sice podle Tvrdoně s úvodní optimalizací nákladů reálně nepomohl, ale alespoň první velkou platbu fakturoval přes sebe, takže začínajícímu startupu s nevelkými prostředky umožnil delší splatnost. Pro WeBoard začalo období, kdy firma musela na denní bázi neustále sledovat, co se v cloudu děje, a vypínat a zapínat instance.
Drahé HPC
Český startup je specifický a v cloudu nevyužívá klasické funkce pro provoz SaaS aplikace. WeBoard vyvíjí digitální asistentku Aila využívající jazykové modely LLM a generovaný vzhled trojrozměrné virtuální postavy. Aila se nasazuje ve firmách třeba pro školení a výcvik zaměstnanců. Druhou technologií je Kaila.ai pro chatování s AI využívající vnitrofiremní data. WeBoard proto primárně využívá trénování modelů, inference a HPC výpočty.
HPC je drahá disciplína počítaná zejména na profesionálních grafických kartách Nvidia s technologií CUDA. Tomu odpovídá i cena AWS, kde WeBoard využíval instance G3 (menší modely) a P3 (trénink).
„Jen trénink vyšel třeba na 1100 dolarů. Dělali jsme sice propočty, které vycházely na 350 dolarů, ale nakonec výpočet běžel déle. Trénovali jsme každý týden. Do toho je nutné započíst provoz, aby natrénovaný model běžel. To jsou další tisíce dolarů. Nakonec zjistíte, že vás cloud měsíčně vyjde na 300 tisíc korun,“ shrnuje Tvrdoň.
Takto velké účty nebyly každý měsíc. Pokaždé záleželo na tom, jak moc se zrovna trénovalo. Náklady na AWS v dobrých časech vyšly na 2700 až 5000 dolarů měsíčně, při intenzivním tréninku a využívání GPU to bylo výrazně nad deset tisíc dolarů.
Spásné Supermicro
Tvrdoň se poté setkal s kamarádem, který vlastnil servery pro těžbu krypta. Byly v dobrém stavu a zrovna se jich zbavoval. WeBoard si od něj pořídil jeden 4U server Supermicro se 128 GB RAM, dvěma procesory Intel Xeon a osmi grafickými kartami Nvidia (modely startup nekomentuje). Pořízení vyšlo na zhruba jednu třetinu měsíčního provozu instancí v AWS.
Následně během dnů došlo k migraci do jednoho datového centra v Dejvicích. Jeho jméno opět Tvrdoň nechce komentovat. Já na této straně řeky znám DC6 od Greendata, případně na Strahově mají prostory České Radiokomunikace.
WeBoard a jeho server Supermicro s osmi grafickými kartami Nvidia
Tato instalace každopádně podle tvrzení WeBoardu na provozních nákladech oproti AWS vyjde až o 90 procent levněji, a to i přesto, že si server během intenzivního trénování vezme až 3,5 kW. Server podle startupu poskytuje úplně stejnou službu jako instance od AWS.
WeBoard chce v dohledné době zprovoznit druhý podobný stroj. Hardware je relativně dostupný a grafické karty už také nejsou nedostatkové zboží jako v největší covidové fázi a těžbě krypta. Výhoda on-premise má být i to, že zákazníci nechtějí sdílet data s velkými hráči.
Firma kompletně cloud neopustila. Pokud současný server nestačí, dočasně tam přesouvá část operací. Už nicméně nejde o AWS, ale poskytovatele, od kterého má WeBoard opět volné kredity. „Nevylučuji, že nám časem přestane on-premise instalace stačit a že někde bude cloud dávat smysl. Klidně můžeme mít hybridní cloud,“ nastiňuje Tvrdoň.
Metaverse je mrtvý
Pro technologické startupy jsou dnes náklady kritičtějším tématem než v minulosti. Ekonomická situace zastavila příval levných peněz a fondy nejsou tak aktivní jako ještě loni. Startupy si tak prodlužují „runway“, což se týká i WeBoardu. Firma loni získala pre-seed investici deset milionů korun od Nation 1 a nyní vyjednává o kole seed.
WeBoard vypíchl ještě jeden trend. Firma donedávna měla přes dvacet zaměstnanců a dnes je na třinácti. WeBoard vznikl z firmy PBRDigital zabývající se zakázkovým vývojem projektů ve virtuální realitě. „Nějakou dobu nás to slušně živilo, ale B2B trh s VR je i po dvanácti letech ve stejném stavu, jako byl tehdy. Metaverse skončil,“ konstatuje Tvrdoň. Bude jeden hype nahrazen druhým v podobě LLM a dalších generátorů?
Český startup využívá open source LLM modely, u kterých provádí „fine tuning“ pro své potřeby. Otevřené modely jsou dnes velké téma. Společnost Stability AI, která stojí za Stable Diffusion, se například chystá vyvinout otevřené LLM konkurující více uzavřenému ChatGPT od OpenAI. Vývoj nově začal vést Čech Stanislav Fořt, který dříve dělal pro Google Brain nebo DeepMind. Zdůrazňuje otevřenost, mimo jiné právě kvůli možnosti on-premise provozu nebo vlastním úpravám.
Amazon Web Services koncem loňského roku představil iteraci vlastních serverových ARM čipů Graviton 3 určenou pro superpočítačové výpočty. Ve WeBoardu je nezkoušeli. To by vzhledem k zaměření na proprietární technologii CUDA ani nebylo jen tak. Pokud se z těchto čipů mají vytáhnout skvělé výsledky, musí se výrazně optimalizovat kód na jinou architekturu.
ČLÁNKY DO MAILU