Dodnes jsem nepochopil princip fungovani webu. Kdyz to neni schovanie za prihlasenim, je to verejne, a kdokoli si s tim muze delat cokoli.
Robots ma predevsim zamezit grabovani vsemoznych login stranek, administraci a dalsich veci o ktere nikdo nestoji ale cravler je neumi rozeznat od tech o ktere nekdo stoji.
Pevne doufam, ze se vyhledavace zacnou chovat tak, ze sve sluzby budou poskytovat vyhradne za penize (tedy pro ty prohledavane weby). To bude revu.
Ak sa nemýlim, tak to bolo trochu inak. Tie texty za paywallom boli (sú) zámerne zdarma otvorené pre vybrané crawlery (Google, Bing, ...) a zakazováne bežným použivateľom. Cieľom bolo, aby vyhľadávač o obsahu vedel, ale používateľ sa k nemu bez zaplatenie nedostal. Ak sa na túto techniku príde u iných ako "preferovaných" stránkach, tak získavajú automaticky penalizáciu.
Napíšem knihu (článok), mám vlastného distribútora (NYT), a nejaký iný distribútor, ktorý absolútne nedostal žiadny explicitný súhlas (Google, Bing, etc.) začne distribuovať časti tvojej knihy. Mal by si ty alebo tvoj distribútor platiť druhému distribútorovi, za to že on ti kradne obsah ale zároveň má na konci úryvkov "obsah pochádza od NYT"? Podľa mňa je tvoj argument totálne na hlavu. NYT nikdy explicitne nežiadal Bing aby ich obsah distribuoval. Vyhľadávače samé crawlujú obsah webov, a jediné čo môže vlastník webu urobiť je tam dať explicitný nesúhlas (e.g. robots-donotfollow). To ti príde v poriadku že ak nepovieš v Tescu napríklad "ja nechcem tieto cestoviny" tak ti je tam pokladní sama prihodí a zaúčtuje? Normálne distribútor platí autorovi, a zákazník distribútorovi. Nie naopak. Tu by mal práve Bing platiť NYT.
28. 12. 2023, 13:00 editováno autorem komentáře