Hlavní potíž základní filozofie evropského návrhu regulace AI spočívá v tom, že Komise předpokládá, že pokud se použije autonomní technologie, je to problém a musíme se jím regulatorně zabývat, říká v rozhovoru pro Lupu vedoucí Ústavu práva a technologií a prorektor Masarykovy univerzity v Brně Radim Polčák.
Návrh nového nařízení regulujícího používání AI technologií v Evropě představila Evropská komise 21. dubna. Počítá v něm s úplným zákazem používání vybraných technologií, které podle ní představují nepřijatelné riziko: například systémy, které manipulují s lidským chováním, nebo systémy provádějící tzv. sociální hodnocení lidí. Zakázané má být – až na výjimky – také používání systémů pro biometrické sledování lidí ve veřejném prostoru. Další, méně rizikové technologie pak budou muset projít certifikací.
Regulovat technologii plošně napříč obory není dobré, reaguje na návrh Polčák, který předchozí Komisi radil s formulací postoje k regulaci AI. Řadu práv, která návrh řeší, navíc už podle něj máme. Chybí ale procesní nástroje, které by umožňovaly je adekvátně vymáhat, dodává. A navrhuje, jak by se například uživatelé mohli sdružovat, aby dokázali svá práva třeba k osobním údajům využívaným pro trénování AI systémů lépe uplatňovat.
Část rozhovoru jsme přepsali do textové podoby, celý si jej můžete poslechnout ve formě podcastu:
Jak se díváte na to, že nařízení představené Evropskou komisí má regulovat používání technologií založených na tzv. umělé inteligenci celkově, napříč všemi obory? Je tento přístup z hlediska práva výhodný, třeba v tom, že budou pravidla stejná, ať se jedná o použití AI kdekoli?
Pokud bych měl odpovědět jednoduše, tak není. Současný návrh nařízení je výsledkem změny kurzu, ke kterému došlo s novou Komisí. Předchozí Junckerova Komise se snažila být minimalistická z hlediska regulace, i když se jí to vždycky nedařilo. V jedné ze svých posledních odpovědí na rezoluci Evropského parlamentu naznačovala, co by chtěla řešit v oblasti AI. Jedno z hlavních témat byla otázka odpovědnosti za škody nebo újmy způsobené provozem autonomních systémů. Ale nebyl tam ani náznak plošné regulace, kterou teď máme před sebou. Takový přístup obecně není v právu úplně ideální, notabene za situace, kdy nevíme, jaké budou možné aplikace technologie, kde se bude používat, a tak dále.
Čili jednoduchá odpověď: není to vhodný přístup. Je to výsledek politického pohybu, který mně osobně není příjemný. Pracoval jsem pro Evropskou komisi jako zvláštní poradce pro kabinet eurokomisařky Věry Jourové v době, kdy vznikala ona odpověď Evropskému parlamentu, takže jsem byl u poměrně rozsáhlých debat, které formulovaly základní politiku tehdejší Komise. Nevím, jak probíhaly debaty, ze kterých vzešel tento nejnovější návrh, ale asi tam muselo dojít k podstatné změně.
PARTNER SERIÁLU
Využívejme nové technologie a systémy. Ale pouze za předpokladu, že nesbírají naše osobní data za účelem naší plošné identifikace. Existuje totiž pomyslná hranice, kterou bychom za žádnou cenu neměli překročit.
Systémy plošné biometrické identifikace jsou daleko za touto hranicí. Plošné šmírování občanů zkrátka nesmíme dopustit. Právě nová evropská pravidla by měla vyplnit všechny mezery, které by mohly být zneužity a na které je současné právo krátké.
Nová pravidla ovlivní pouze 15 % nejrizikovějších využití umělé inteligence, která mohou ublížit, diskriminovat či vést k plošnému šmírování občanů.
Komise říká, že se nesnaží regulovat technologii jako takovou, ale její používání. Je v tom z hlediska práva nějaký rozdíl, nebo je to jen hra se slovy?
Hra to není, je to velký rozdíl. Ale to, co máme před sebou, je, domnívám se, opravdu regulace technologie. V návrhu jsou tři úrovně užití autonomních technologií a i u té základní, obecné úrovně bude muset vlastně jakýkoli systém projít procesem certifikace. Nemusí jít o certifikaci u třetího subjektu, může jí i o sebecertifikaci, ale pokud budete chtít jít na trh s nějakou autonomní technologií, bude muset projít compliance procesem. V takovém případě se domnívám, že to prostě je regulace technologie.
Je to něco podobného jako u elektrických spotřebičů. Pokud chci prodávat spotřebič, který se dává do zásuvky, musí projít procesem, který ověří, jestli je dobře zaizolovaný, jestli jsou dráty zapojené správným směrem a podobně. A tady jde o podobnou myšlenku. Jenže mezi elektřinou a technologií založenou na strojovém učení je velký rozdíl.
V návrhu skutečně stojí, že AI systémy mají získávat CE certifikaci. Říkal jsem si, jak to bude vypadat v praxi. Bude na serveru nalepená nálepka?
Ta estetická rovina, kam se to bude lepit, mě nenapadla. Hlavně by mě zajímala otázka parametrů, které budeme sledovat. Jak dáme dohromady konkrétní technické parametry, jako jsou u elektrospotřebičů délka šňůry, tloušťka izolace, šířka vidlic a podobně. Obávám se, že u AI je nejsme schopní určit, a pokud něco vznikne, bude to buď tak obecné, že to budou principy, které ale v právu nemají žádný konkrétní význam, anebo půjde o opravdu hodně konkrétní parametry, ale v takovém případě nám to může zavřít evropský trh a významným způsobem omezit vývoj AI technologií. Této situace se bojím trochu víc.
Obecnější kategorie, co by se mělo prověřovat, Komise v návrhu naznačuje. Měla by například existovat podrobná dokumentace toho, jak systém funguje, nad technologiemi, které chce Komise považovat za rizikovější, by měl existovat lidský dohled a podobně. To se přece dá kontrolovat.
To ano a už s tím máme i nějakou zkušenost. Například součástí právní regulace v oblasti kyberbezpečnosti také je proces certifikace. Neřekl bych, že celé nařízení je napsáno úplně špatně. Třeba u prostřední úrovně, tedy technologií s vysokou mírou rizika, je, myslím si, přístup adekvátní.
Problém vidím v základní úrovni, to je to CE, které bude muset být na všem. A problematická je i definice zakázaných aplikací umělé inteligence. Obecně proti ní můžeme jen těžko něco namítat: má jít například o technologie, které mají manipulativní dopad na svobodné rozhodování člověka.
Problémem ale je, co je takovou technologií. Manipuluje nás reklama? Ano, každá. Stejně tak různé systémy, které vyhodnocují uživatelské chování, profilují uživatele – to je dnes součást každodenního života. Definice jsou v návrhu nařízení tak obecné, že buď bude vše zakázáno, nebo naopak bude všechno dovoleno. V každém případě se regulace mine účinkem.
Tato kategorie mi připadá přímo šitá na Facebook a na sociální sítě, kde nás algoritmy ovlivňují tím, že nám předkládají určitý obsah. Velká otázka je, jestli je to pro nás dobré, nebo špatné, jestli nás tím poškozují. A jsem zvědavý, jak se to má rozhodovat.
Nechtěl bych být v pozici soudce, který bude rozhodovat, zda je naplněná příslušná skutková podstata. Do rozsahu té definice mohou spadnout i technologie zpracování cookies a další běžně používané systémy.
Další věc, na kterou bych rád poukázal, jsou různé příklady použití AI technologií, které Komise považuje za problémové a říká, že bychom je měli zakázat. Jde například o sociální profilování, jestli je někdo lepší nebo horší člověk.
Jenže příklady, které Komise uvádí, nejsou z Evropy. Takže dalším problémem bude, jak se nám tuto regulaci podaří vynutit. Samo vynucení na Facebooku ani Googlu nemusí být složité, Evropská unie je významný hráč, a když něco řekne, musí poslouchat i Google, protože tady má významné obchodní zájmy. Problém ale je, jak dokážeme způsob, jakým jejich technologie fungují, to je složité i pro americké regulátory.
SOUVISLOSTI:
Regulace má platit pro všechny provozovatele systémů založených na AI, které fungují pro uživatele v rámci EU. Jsem také zvědavý, jak se to dá v praxi ošetřit a jak případně zakazovat takovým systémům, aby v EU fungovaly.
Je to stejná situace jako v oblasti ochrany osobních údajů. Přístup je správný, protože chceme chránit evropské uživatele, a je jedno, odkud je systém provozovaný, protože z pohledu evropského uživatele je na internetu.
Ale zkušenost, kterou z ochrany osobních údajů máme, ukazuje, že byť by pro všechny měla platit stejná pravidla, náklady na compliance jsou mimo EU řádově nižší než v ní. Takže si sice hrajeme na to, že máme stejná pravidla, ale v reálu zpracovávání osobních údajů v zahraničí stojí méně.
Návrh nařízení rozlišuje odpovědnost pro vývojáře a provozovatele AI systémů a pro jejich distributory. Je potřeba to takto rozlišovat? Nestačí, aby měl odpovědnost za systém jen jeden subjekt?
To by byla ideální varianta. V Německu nedávno vyšel článek, ve kterém se jeden tamní advokát zabývá otázkou, jakým způsobem v právu řešit odpovědnost autonomních aut, abychom se nemuseli bát nejistoty, že nebudeme mít po kom vymáhat škody, když do něčeho narazí. Dospěl k závěru, že v podstatě není potřeba řešit vůbec nic. Každé auto má svého zapsaného provozovatele, který musí mít zelenou kartu, a když se něco stane, hradí škodu pojišťovna, kterou si provozovatel platí.
Tento model by byl ideální, ale narážíme tady na zmíněnou plošnost regulace. V různých sektorech je různá situace. Někde je třeba na místě určit provozovatele, zapsat ho do rejstříku a donutit ho pořídit si pojistku. Pokud ale jde o například prodej sekaček na trávu, které používají technologie umělé inteligence, a jsou tedy autonomními systémy, tak to asi potřeba není.
Čím více se to zjednoduší, tím je to lepší jak z hlediska právní jistoty, tak z hlediska možných ekonomických souvislostí. Čím více rozšíříte skupinu subjektů, které mohou potenciálně za škody odpovídat, tím do toho musíte z investiční logiky dát více finančních služeb typu pojištění a podobně a zvyšujete tak náklady na provoz a vývoj takových systémů. Je opravdu potřeba rozlišovat podle míry rizika.
Jestli tomu dobře rozumím, říkáte, že by celý problém vyřešilo, kdyby se provozovatelé AI systémů museli povinně pojistit a byli odpovědní za případné škody?
Nešlo by to tímto způsobem vyřešit plošně, tento model by měl smysl jen v některých segmentech. Myslím, že není nutné, aby musel mít povinnou pojistku provozovatel chatbota. Ale tam, kde to dává smysl, je to velmi transparentní řešení.
Když jsme vedli debaty na úrovni Evropské komise, mluvili jsme i se zástupci firem, které AI systémy vyvíjely, investovaly do nich nebo měly zájem je uvádět na trh. K mému překvapení říkali, že je jim v podstatě jedno, kdo by měl být určeným subjektem, na kterého dopadne případná váha odpovědnosti. V konečném důsledku stejně náklady uhradí uživatel a byznysový cyklus si vypracuje mechanismus, jak jej donutit zaplatit. Otázkou ale je, jak to bude drahé. Když bude muset mít pojistku každý ve vývojovém, produkčním a prodejním řetězci, vyjde to samozřejmě násobně dráž, než kdyby to byl jeden subjekt.
Součástí návrhu nařízení je i zákaz používání některých konkrétních technologií. Nejvíc se mluví o biometrické identifikaci na dálku. Komise chce zakázat její používání pro sledování lidí ve veřejném prostoru. Ale v návrhu je řada výjimek pro bezpečnostní složky. Jak se na tento konkrétní zákaz díváte?
Už jsme se toho dotkli a já se obávám, že zrovna v tomto případě jsou definice zakázaných technologií až příliš obecné. Technologie založené na identifikaci člověka na základě biometrických znaků se používají i na místech, kde by vás to normálně nenapadlo. Například ve vysoce nebezpečných průmyslových provozech, kde je člověk oblečen do různých ochranných prostředků – skafandrů či masek. My sice víme, kterým směrem vývoj těchto technologií jde, ale podle mého názoru jsme ještě nezískali dostatečnou zkušenost, abychom mohli říct: jednoznačně je zakažme.
Možná tady Komise sází na to, že biometrické identifikační systémy vyvolávají mezi lidmi velké obavy.
Máte pravdu, že to nebezpečné je. Ukazuje se to například u negativních projevů segmentace. Tyhle technologie se používají společně s dalšími technologiemi, nasegmentují nás, uzavřou do bubliny lidí podobného typu a nabízejí nám podobné vstupy – zprávy, obsah, zboží a podobně. To je samozřejmě velmi nebezpečné.
Na druhou stranu, pokud mluvíme o použití těchto technologií bezpečnostními složkami, měli bychom zohledňovat rozdíl mezi základním účelem fungování těchto složek u nás a v jiných státech. Bezpečnost v Evropě znamená něco úplně jiného než v Číně nebo v Rusku. A to pak není problém technologie, ale problém toho, jakým způsobem se používá.
Uvidíme, jak to dopadne. Přijde mi, že tato část nařízení je jen papírová a Komise na ní staví PR kolem celého nařízení. Jsem zvědavý, jak by zákaz fungoval v realitě – samozřejmě pokud projde do finální verze nařízení.
Argumentem, který ještě může nařízení změnit, je to, že už právní úpravu tohoto problému máme. Máme obecné nařízení o ochraně osobních údajů (GDPR) a také ústavním právem založené různé principy v oblasti ochrany soukromí. Návrh nařízení přidává další vrstvu, která mi přijde zbytečná.
Máte pravdu, že struktura nařízení a některé navrhované nástroje připomínají GDPR – risk management, posuzování vlivu, nutnost vést dokumentaci a podobně.
A to je problematické, protože ochrana osobních údajů automaticky implicitně počítá s nějakým rizikem. Teď jsme se dotkli hlavního problému základní filozofie návrhu regulace AI. Předpokládá, že pokud se použije autonomní technologie, je to problém a musíme se jím regulatorně zabývat.
Nejsou ale autonomní technologie do budoucna opravdu problematické? Některé využití AI – třeba zmíněné sociální profilování v Číně – se už teď jeví jako hodně rizikové. Takže nějaká hráz se AI systémům nejspíš postavit musí.
V právu rozlišujeme mezi hmotou a procesem. Hmotou jsou práva a procesy jsou to, jakým způsobem se práva dají vymoci. V tomto případě se domnívám, že problém spočívá v tom, že nemáme procesní nástroje, které by umožňovaly adekvátně vymáhat práva, která už máme založená hmotněprávním režimem.
Práva, která nás brání před sociálním profilováním, máme už dnes. Problém ale je, že jsou nastavená tak, že by se musel bránit jednotlivý člověk, který k tomu nemá ani motivaci, ani vůli do obrany investovat. Tím pádem si nedokáže shromáždit všechny důkazy, aby se bránit mohl.
Myslím, že není správná cesta přidávat další a další hmotná práva, jejichž vymáhání může být velmi diskutabilní. V oblasti ochrany osobních údajů máme případy masivního systémového porušování pravidel, ale nikdo se proti němu nebrání. Měly by nás bránit národní úřady, ale ty jsou zavalené prací. A u regulace AI to může dopadnout podobně.
Jak by tedy podle vás měla smysluplná regulace AI v Evropě vypadat?
Regulace by měla ošetřit více oblastí. První je oblast odpovědnosti, o které jsme mluvili. Tam by se podle mého názoru mělo postupovat analogicky jako v oblasti odpovědnosti provozovatelů služeb informační společnosti. Měl by existovat základní model omezení odpovědnosti a k tomu nastaveny nějaké compliance povinnosti, jak je předpokládá momentálně projednávaný Digital Services Act. To by mohlo nastavit systém relativně vysoké právní jistoty a také by to mohlo nastavit trh pro poskytování pojistných služeb. Osobně se domnívám, že klíč k investicím do umělé inteligence opravdu drží v ruce pojišťovny a budoucnost evropského vývoje AI bude záležet na tom, jak budou vypadat pojistné modely.
Druhou oblastí je compliance. Tam má myslím smysl mluvit o oblastech s vyšší mírou rizika. Tady už máme model v aktu o kybernetické bezpečnosti, který předpokládá, že se podle toho, jaká bude potřeba v praxi, budou vytvářet certifikační schémata a technologie se certifikují. Mohou se certifikovat i tak, že to vlastně bude samocertifikace.
Ale je ještě třetí oblast, a to oblast dat a práv k datům. Je myslím extrémně důležitá, ale zatím se na ni příliš nezaměřujeme. Ve vývoji umělé inteligence nemá Evropa před USA a Čínou příliš mnoho konkurenčních výhod. Kde ale nad nimi čníme, je kvalita dat, která jsou k dispozici pro vývoj AI systémů. Práva k datům jsou u nás velmi důkladná – může jít o osobní údaje, duševní vlastnictví, práva k databázím a tak dále. Jejich síla přitom vývoji AI brání.
Vývojáři samozřejmě říkají, dejte nám k datům lepší přístup, stojí to příliš moc peněz a omezení je hodně. Je to pravda, ale nemyslím si, že je důvod uhýbat ze standardů, které v EU máme. V Evropě máme nejvyšší kvalitu ochrany člověka na naší planetě. Často si to neuvědomujeme, protože v tom žijeme, ale je to tak. Neměli bychom z toho ustupovat. Je ale možné vytvořit modely, které umožní agregovat práva, dát lidem možnost určité kontroly a vytvořit z práv jakýsi pomyslný balík, se kterým se pak bude snadno manipulovat.
Jak by taková agregace mohla fungovat v praxi?
Není to zas tak složité a v zahraničí jsou na toto téma zpracovány zajímavé studie. Jsou v podstatě dvě možnosti: jedna je, že vznikne právnická osoba, která je nositelem všech možných typů práv. Může mít třeba charakter družstva, na kterém se účastní všechny subjekty, o jejichž data jde. Je to samozřejmě na první pohled naprosto šílená představa, ale máme elektronické nástroje, které umožňují zefektivni správu takové organizace a realizovat družstvo, které bude mít třeba deset nebo dvacet milionů členů.
Druhou možností je útvar bez právní subjektivity, v českém právu se jmenuje například společnost, je to typ, který máme v občanském zákoníku – ale není to společnost, která by byla zapsána v obchodním rejstříku. Účastníci takové společnosti jsou navzájem svázáni jen závazky a součástí jejich vzájemné smlouvy může být i to, že je někdo navenek zastupuje a jedná za práva svých společníků.
Právně je to zatím docela složitá, a navíc drahá věc, protože se musí řešit v jednotlivých členských státech, protože se jejich právní úpravy navzájem liší. Ale mohli bychom vytvořit určité typové modely, které by pak mohl někdo vzít a najednou mít relativně snadno společné řešení pro celý jednotný evropský trh.
Celý rozhovor si můžete poslechnout jako podcast:
ČLÁNKY DO MAILU