V Seznamu (na úvodním snímku je Pavel Zima, člen představenstva firmy) pracují na vlastním jazykovém modelu a tuní jiné modely typu Llama pro své účely a co nejlepší práci s češtinou. Několik detailů jsme nedávno přinesli na Lupě. Pokud vás téma zajímá více, dáváme k dispozici zvukový záznam přednášky Marka Šimůnka, který se v LLM týmu Seznamu věnuje technické části.
Zhruba dvacetiminutová přednáška z konference AI Days 2024 společnosti M Computers je k dispozici zde (omluvte zvukovou kvalitu). K tomu je také k dispozici prezentace v PDF.
Šimůnek mimo jiné popisuje, jak Seznam pracuje s OpenAI proxy a jak by se do budoucna měla změnit na LLM proxy. V přednášce je rovněž nastíněn výkon nebo použití TensorRT a vLLM.
Seznam na práci s modely používá akcelerátory Nvidia H100 (80 GB). Firma veřejně nekomentuje, kolik jich má. Podle informací Lupy by to ale mělo být kolem stovky takových karet. Jedna dnes na trhu vyjde na zhruba tři čtvrtě milionu korun. Dále pak jde o stovky modelů L4 (24 GB).
ČLÁNKY DO MAILU