Test vyhledávačů pragmaticky (2.)

Čtvrtý dotaz

Hledaná informace: Má drahá polovička má zájem o kaligrafii. Nějak se doslechla, že existuje škola, která pořádá korespondenční kursy kaligrafie. Proto jsem zkusil tento kurs na Internetu najít a dozvědět se něco více.
Datum testu: 22. 9. 2003
Použité dotazy: korespondencni kurs kaligrafie, korespondencni kurz kaligrafie

Výsledky mne velmi překvapily. Žádný z vyhledávačů nic použitelného nenašel. Až na Morfeo. To našlo stránku http://www.es­kk.cz/soa/kur­s_kaligr.html, na které je kurs, který hledám. Žádný jiný vyhledávač o ní neví.

Dále získalo Morfeo plus za to, že i když jsem neměl zapnutá synonyma, automaticky hledalo jak kurs, tak kurz. V tabulce se to neprojevilo, ale stojí to alespoň za zmínku.

Páty dotaz

Hledaná informace: Chci jet z Brna do Želešic. Nejlepší trasa vede kousek po rychlostní silnici na Rajhrad. Ale já nemám na autě dálniční známku. Chci proto vědět, jestli úsek této silnice z Brna do prvního sjezdu je placený, nebo ne.
Datum testu: 22. 9. 2003
Použité dotazy: placene useky dalnic (v CR, v ceske republice, D1, D11, D2), reditelstvi silnic a dalnic

Tato informace se dá najít na několika stránkách, z nichž jednou je Ředitelství silnic a dálnic (kde je uveden přesný seznam zpoplatněných úseků). Rovněž se dá najít na některých mapkách, ale jen na těch, kde je vidět, že dotyčná silnice je zpoplatněna od Rajhradu.

Tento dotaz byl pro většinu vyhledávačů dosti velkým oříškem. Hlavně asi proto, že oficiální název je „úseky… podléhající zpoplatnění“, což ale normálního smrtelníka nenapadne.

Na dotaz „placene useky dalnic“ jsem se dozvěděl hodně o placených úsecích dálnic. Ale v jiných státech… Zkoušel jsem tedy dotaz zužovat použitím „placene useky dalnic v CR“ atp. Ale to nikam nevedlo. Zkusil jsem tedy přidat jména dálnic (například „placene useky dalnic D11“). To v některých případech pomohlo (Atlas, Empyreum).

I tak byly vyhledávače, kterým ani to nepomohlo. Těm jsem alespoň dal za 4, pokud dokázaly dobře najít alespoň Ředitelství silnic a dálnic, na jehož webu se dá k požadované informaci doklikat. I s tím však mělo Jyxo problémy, odkaz dalo pouze nepřímý a až na třetím místě, proto to mínus. To se týká i Seznamu, v jehož výsledcích odkaz, jež nalezl Google, nebyl.

Naopak příjemně překvapily AllTheWeb.com a Tiscali.cz, které dokázaly najít odkaz na použitelnou mapku.

Z katalogů mi Atlas neřekl nic ani o ŘSD, Seznam jej našel, ale o placených úsecích dálnic nic neví. Jediné Centrum.cz dokáže dát na tento dotaz rozumnou odpověď.

Ještě malá perlička: Kdybych si chtěl zařizovat vlastní zpoplatněnou dálnici, tak odkazy na závory pro vybírání mýtného na dálnicích mi nabízely snad všechny vyhledávače :-)

Šestý dotaz

Hledaná informace: Jelikož pracuji poblíž Brněnského výstaviště, zajímá mne, v jakých termínech se na výstavišti koná veletrh, a tudíž není dobrý nápad v těch dnech jezdit do práce autem.
Datum testu: 23. 9. 2003
Použité dotazy: akce na bvv, bvv kalendar akci

Hledaná informace je poměrně jasná – hledám seznam (kalendář) akcí konaných na bvv. Jako první mne napadl dotaz „akce na bvv“.

Většina vyhledávačů po zadání tohoto dotazu našla odkaz na stránky www.bvv.cz, kde je umístěn i onen kalendář akcí. Google najde přímý odkaz na stránku s kalendářem, ale ne na oficiálním webu BVV, nýbrž na stránkách ubytovací firmy. Trochu nevýhoda je, že zde jsou momentálně akce jen pro tok 2003, ale rozhodl jsem se to nakonec nepenalizovat.

Zajímavý je rovněž rozdíl mezi Atlasem a Jyxem. Jyxo najde jako první odkaz na stránky BVV. Atlas nikoli. Najde odkaz na stránky jedné z firem na BVV vystavujících a z té se dá (trochu složitě) na stránky BVV doklikat.

Empyreu jsem původně chtěl dát 1– za to, že nalezený odkaz nemá popisek a má anglický titulek, takže jsem jej napoprvé přehlédl. Nakonec jsem ho ale vzal na milost a uznal to stejně jako výsledky ostatních vyhledávačů.

U Yo.cz jsem musel zadat dotaz „bvv kalendar akci“ a stejně jsem našel pouze zmínky o tom, že existuje bvv.cz, ne přímý odkaz.

Dotaz v katalogu jsem musel změnit na „bvv“, pak jsem s menšími potížemi (u Atlasu nejmenšími) stránky BVV nalezl.

Sedmý dotaz

Hledaná informace: Zajímá mne, jak rychle ohřeje můj plynový kotel určité množství vody. Fyzikální vzoreček je lehce odvoditelný, výkon kotle znám. Potřebuji ale ještě znát měrné teplo vody.
Datum testu: 23. 9. 2003
Použité dotazy: merne teplo vody, ohrev vody

Hledanou informací je údaj 4,2 kJ/kg*K. Samozřejmě pokud některá nalezená stránka uváděla i přesnější údaje – měrné teplo v závislosti na teplotě – započítal jsem to též.

Fulltextu neměly většinou s tímto dotazem problémy. Jedině Morfeo trochu zaváhalo a na první tři místa dalo odkazy, které se sice k problematice vztahovaly, ale konstanta v nich uvedena nebyla. Použitelný odkaz byl až na čtvrtém místě.

Vyhledávač Yo.cz vyžadoval zadat diakritiku, jinak se chytil až na „ohrev vody“.

V katalozích se mi nic nalézt nepodařilo. Na „merne teplo vody“ nenašly podle očekávání nic, na „ohrev vody“ spoustu firem, ale žádný odkaz nevypadal, že by mohl skrývat požadovanou informaci.

Osmý dotaz

Hledaná informace: Tak jsem si říkal, že by se mi hodil nějaký seznam svátků (teď už si přesně nepamatuji, v jaké souvislosti mne to napadlo)
Datum testu: 23. 9. 2003
Použité dotazy: seznam svatku, kalendar svatku

To, co hledám, je seznam svátků (datum – jméno), který si mohu uložit do souboru. Tj. nikoli pouze vyhledání svátku, případně zobrazení pro daný den. Nepotřebuji přímo soubor, stačí mi copy&paste z obrazovky.

Oba dva použité dotazy jsem považoval za rovnocenné, neboť mne napadly zároveň. Lepších výsledků jsem ale dosáhl spíše s tím druhým (kalendář).

Výsledek jsem na většině vyhledávačů našel, byť nebyl mezi prvními dvěma/třemi a musel jsem trochu klikat. Jedině Empyreum (a vyhledávače jej používající) mělo s tímto dotazem problémy. Nenašlo nic moc použitelného, jen programy pro PC, ze kterých bych to možná nějak dokázal dostat. Zato mi na dotaz „seznam svatku“ na druhém místě vyhodilo odkaz na „Seznam veterinářů schopných zodpovědně ošetřit želvy“, což mne docela pobavilo :-)

Katalogy informaci také našly.

Devátý dotaz

Hledaná informace: Máme tvrdou vodu. Dostal se nám do rukou prospekt na zařízení na elektromagnetickou úpravu vody. Chci vědět, jak moc to funguje a na jakém fyzikálním principu.
Datum testu: 24. 9. 2003
Použité dotazy: zmekceni vody magnetickym polem

Vyhodnocení tohoto testu je trochu subjektivní – velký vliv má „důvěryhodnost“ a „úplnost“ získané informace. Snažil jsem se najít nějaké nezávislé posouzení, informace v reklamních letáčcích výrobců beru s odstupem. Takže popíši, za co dostal který vyhledávač své hodnocení:

Asi nejlepším dokumentem, co jsem našel, bylo obšírné „Stanovisko Národního referenčního centra pro pitnou vodu k přístrojům na úpravu vody na bázi magnetické úpravy“. Našlo ho Jyxo (a vyhledávače, které jej používají) a Morfeo. To bylo za 1.

Google (a Seznam) našel sice dokument NRC, ale o zdravotním významu tvrdosti vody. Tento dokument se o magnetické úpravě zmiňuje pouze okrajově, a vůbec z něj nevyplývá, že tam je nějaký jiný dokument, který se tou problematikou zabývá přímo. Druhým rozumným odkazem je poměrně podrobný popis funkce zařízení na stránkách jednoho výrobce. Proto jsem dal za 2-.

Empyreum (a vyhledávače, které jej používají) našlo různé reklamní prospekty, informace v nich ale byly dost chabé. Dostalo za 3.

Tiscali.cz našlo jenom ten „špatný“ dokument NRC, jinak pouze nesmysly (žádné stránky výrobců). Dostalo 4.

Yo.cz nenašlo nic použitelného, stejně jako AllTheWeb.com.

Z katalogů jsem přiměl k nalezení něčeho pouze Centrum – díky odkazu „Hledat dokumenty obsahující jen některá ze zadaných slov“. Našlo pouze stránky výrobců, takže za 3.

Zkoušel jsem ještě hledat „zmekcovani“, ale nedostal jsem o nic lepší výsledky.

Desátý dotaz

Hledaná informace: Zajímalo mne, zda je levnější koupit Visual Studio .NET Developer a s ním Visual Source Safe, nebo VS .NET Enterprise, které VSS již obsahuje. Cenu VSS jsem znal, potřeboval jsem vědět cenový rozdíl mezi verzemi VS.
Datum testu: 24. 9. 2003
Použité dotazy: visual studio professional enterprise (cenik, obchod, shop), obchod software, shop software

Chtěl jsem alespoň trochu seriózní a aktuální data, proto jsem ignoroval barevné blikající nabídky „levného SW“ a několik měsíců staré porovnání v článku.

Většina vyhledávačů nakonec uspokojující výsledek našla, ale až na dalších místech. Nalezené odkazy nebyly přímo na ceník, ale na obchod, takže jsem se musel proklikávat. Proto to nízké hodnocení.

AllTheWeb selhal, našel sice hodně odkazů, ale v drtivé většině neplatných, nebo odkazujících na staré ceníky.

V katalozích jsem (po očekávaném neúspěchu přímých dotazů) zkoušel hledat „shop software“ a „obchod software“. Centrum i Seznam nakonec nalezly dev-shop.cz, Atlas nenašel nic.

Závěr

Tabulky

Nyní nastal čas shrnout si výsledky testů. Tak, jako v tabulkách u dotazů byly tři sloupce, jsou zde tři tabulky – nejprve bez penalizace za češtinu, pak s ní a nakonec i s penalizací za reklamu.

V tabulce jsou shrnuty dosažené výsledky, „mínus“ je počítáno jako „půl“ (v tom smyslu bylo také udělováno). Poté je vypočten průměr známek. Schválně jsem uvedl i výsledek bez testu 4, ve kterém uspělo jediné Morfeo.

Je nutné si uvědomit, že je testována poměrně malá sada dotazů a i hodnocení je částečně subjektivní. Proto není možné z rozdílu jedné či dvou desetinek dělat nějaké dalekosáhlé závěry. Myslím, že za opravdový rozdíl je možno brát až odstup půl stupně.

Nejprve tabulka bez penalizace za diakritiku:

Jak vidíte, nejlépe si vedlo Morfeo. I když vynecháme čtvrtý test, dosáhlo lepšího bodového hodnocení než Google. A to ještě Google není penalizován za špatnou práci s češtinou. Rovněž můžeme vidět, že „Atlas Rank“, který Atlas přidává k hodnocení Jyxa, má zřejmě nějaký smysl, neboť je Atlas o něco lepší než Jyxo.

Seznam je horší než Google kvůli tomu, že v testu 5 nezobrazil odkaz, který Google nalezl. Dle mého názoru je to spíš programová chyba, ale nešť. Stalo se.

Propad AllTheWebu byl, dle mého soudu, způsoben jeho špatnou prací s češtinou (přidávat háčky a čárky neumí a na některé dotazy s nimi mi nic nenašel a vyhazoval místo toho entity). Nebo že by to byla špatná spolupráce s Mozillou? Ale žádný jiný vyhledávač s tím rozhodně problémy neměl.

Katalogy dopadly poměrně špatně. Je tomu částečně proto, že dotazy byly zaměřeny na vyhledávače, částečně proto, že některé informace v nich prostě nejsou. Pokud hledáte v katalogu, musíte dotaz pečlivě volit. Pokud se týká pořadí, je Centrum první hlavně díky své schopnosti nabídnout vyhledávání i jen podle některých ze zadaných slov. U Atlasu ani u Seznamu se mi tohoto nepovedlo docílit.

Pokud ocením nutnost použít diakritiku půl stupněm dolů, změní se výsledky takto:

Pohoršili si zahraniční vyhledávače – Google (a s ním Seznam) a AllTheWeb. Rovněž Yo mělo s češtinou problémy. AspSeek používaný WebSeekem není zjevně na češtinu přizpůsoben.

Následuje penalizace za reklamu:

Zde si hodně pohoršilo najdi.to, které uvádí hodně reklamních odkazů i self-promotion (k dotazu se nevztahujících). O něco málo klesl i Seznam. Pořadím katalogů tato penalizace nezamíchala.

Co se do čísel nevešlo

Nyní bych ještě doplnil pár subjektivních domů z testu, které nejsou z čísel tak úplně vidět:

Morfeo – Umístilo se na špici a jen velký vliv náhody a subjektivity v testu mi zabraňuje prohlásit ho za vítěze. Občas sice dávalo neplatné odkazy (pomalá obnova databáze), ale to mu nijak nezabránilo dosáhnout dobrého výsledku.

Google – Na to, že to není specificky český vyhledávač, se drží poměrně dobře. I když v případě, že posuzuji přísně práci s diakritikou, ztrácí.

Atlas – Používá Jyxo s tím, že částečně přehazuje pořadí jím nalezených stránek. Jak je vidět ve výsledcích jednotlivých testů, občas je to ku prospěchu věci, občas nikoli. Průměr vyznívá spíše pro něj, ale jenom mírně.

bSeznam – Vydělává na tom, že používá Google. I když – kdybych do testů ve větší míře zahrnul i vliv rozhraní, asi by si silně pohoršil. Rozhodně se s ním pracuje méně příjemně než s třeba Morfeem (jeho rozhraní mi připadlo nejpřívětivější). Možná by stálo za to zkusit přeprogramovat jeho rozhraní, aby zlepšilo práci Google s češtinou (pokud to jde).

Jyxo – Popravdě řečeno, čekal jsem, že souboj mezi ním a Morfeem dopadne těsněji a že třeba Jyxo bude mít i navrch – leč nestalo se tak. Jyxo mělo suveréně nejméně neplatných odkazů (ale také byly), co jej však sráželo bylo – dle mého názoru – špatné pořadí (relevance) výsledků, ke kterému také přispívalo malé zohledňování „upřesňujících“ slov – to se projevilo například v pátém testu.

Quick – Používá Jyxo.

Tiscali – Vedlo si poměrně dobře. Jeho výsledky mi připadaly nápadně shodné s tím, co dával AllTheWeb, jen rozhraní Tiscali umí lépe pracovat s češtinou.

Empyreum – I když jeho odstup není zas tak velký, přeci jenom ztrácí. Dle mého dojmu na tom má hlavní podíl neaktuálnost jeho databáze – dost často jsem dostával neplatné nebo zastaralé odkazy – a špatná relevance vrácených odkazů.

Najdi.to – Používá Empyreum, přidává hodně reklamy.

RedBox – Používá Empyreum, reklamu sice přidává, ale do levého sloupečku, takže se neplete ve výsledcích (a její účinnost je, dle mého soudu, nižší).

AllTheWeb – Není vyloženě špatný, ale sráží ho špatná práce s češtinou a rovněž jsem měl problémy s neaktuálností odkazů.

Yo – Mělo problémy s češtinou a rovněž relevance vrácených odkazů byla dosti nízká, což mu přisoudilo poslední místo.

Hrubé výsledky

Bude-li mít někdo zájem, zveřejnil jsem i hrubé výsledky – svoje pracovní poznámky a (téměř kompletní) screenshoty výsledků jednotlivých dotazů.