Vlákno názorů k článku
Francouzský AI chatbot LeChat od Mistralu umí nově generovat obrázky či hledat na webu od Martin Jurica - Je třeba to před začátkem chatu zapnout, jde...

Je třeba to před začátkem chatu zapnout, jde o beta funkce. Nad řádkem pro konverzaci je nenápadný odkaz na beta features.

ovšem chatbot mi odpověděl toto: Můj úkol je poskytovat informace a odpovědi na základě dostupných dat a znalostí, které byly získány do září 2023. Nemám přístup k informacím nebo událostem, které se staly po tomto datu. Nemám přímý přístup k internetu, včetně Wikipedie, a nemohu vyhledávat informace online v reálném čase.
Ne, nemůžu vytvářet obrázky. Můj úkol je poskytovat textové informace a odpovědi na základě dostupných dat a znalostí.

19. 11. 2024, 09:54 editováno autorem komentáře

Ono to často ty obrázky umí díky externího api a ten původní model o tom "neví". Přijde prompt a kromě toho, že se dostane do hlavního modelu, tak ho ihned analyzuje menší (=rychlejší) účelový model, který mj. vygeneruje popisek chatu a pokud zjistí požadavek na obrázek, tak to pošle dál (většinou asi do fluxu a stable diffusion). Stejně tak při analýze co je na fotce. Mám tak lokálně workflow přes několik modelů. Chat probíhá s Gemma2, nebo llama2 v češtině. Na rozpoznání co je na fotce používám llava (13b), ale ten komunikuje jen anglicky. Takže je mezi nimi další model, který dělá překlad mezi llama a llava a "oni" o tom "neví" :)
Každopádně zajímavé experimenty, překvapilo mě, jak snadno lze spustit lokálně celkem kvalitní modely klidně i na CPU.
ollama.com, msty.app, open-webui, ComfyUI
btw. ten mistral model se dá stáhnout taky, mistral-nemo je celkem zajímavý: https://ollama.com/search?q=mistral

jako reakci na vloženou citaci článku napsal toto:
Co se týče mých schopností, musím upřesnit, že:

Nemohu vyhledávat informace na webu: Nemám přístup k internetu nebo schopnost vyhledávat informace online v reálném čase.
Nemohu vytvářet obrázky: Nemám schopnost generovat nebo vytvářet obrázky.
Nemohu pracovat s velkými přiloženými soubory: Nemohu analyzovat nebo zpracovávat soubory, jako jsou PDF, textové soubory nebo obrázky.
kde je tedy problém?

Oni ti chatboti často halucinují...

Po zapnutí Beta funkcí již generování obrázků funguje a po prvotním zaváhání kdy tvrdil že byl zvolen Biden si data nejspíše zaktualizoval takže přístup k internetu má.