Ve dnech 13. až 15. června 2024 proběhl již XXXI. ročník konference Karlovarské právnické dny, který jako již tradičně přinesl pestrou mozaiku témat napříč právními obory, ať jde o oblast práva občanského, trestního, správního, ale také pohled zahraničních kolegů, kteří vždy přinášejí nové a inspirativní podněty a myšlenky k úvahám nad současným tuzemským i celoevropským právem a jeho dalším směřováním. Vynikající řečníky jednotlivých odborných příspěvků, kterých zaznělo během tří dnů konference bezmála na tři desítky, stejně skvěle doplnili průvodním slovem tradiční moderátoři, ať to byl Vladimír Zoufalý, Michal Vávra, Petr Bříza, Filip Melzer a z představenstva Komory její místopředseda Ondřej Trubač nebo člen představenstva Kamil Blažek. Mimořádné pozornosti se těšilo aktuální téma umělé inteligence, které si vzali „na mušku“ například Eva Fialová, Eric Heine nebo Monika Novotná. Právě příspěvek Moniky Novotné, advokátky a místopředsedkyně ČAK a její kolegyně Lenky Hankové, Vám Advokátní deník exkluzivně přináší:

 

Umělá inteligence a její použití v oblasti práva a justice (nejen) očima Aktu o UI

Rozvoj umělé inteligence a její rostoucí schopnost ovlivňovat nejrůznější oblasti lidského života vede vlády všech vyspělých zemí k přesvědčení, že je zapotřebí dát umělé inteligenci závazný etický i právní rámec. Již v roce 2019 se členské státy Organizace pro hospodářskou spolupráci a rozvoj (OECD) dohodly na přijetí nezávazných hodnotových zásad, které by měly splňovat systémy umělé inteligence (UI). Podle těchto zásad by systémy UI měly být transparentní, vysvětlitelné, měly by fungovat robustním a bezpečným způsobem a měly by mít zabudované mechanismy odpovědnosti. Systémy UI by dále měly respektovat právní stát, lidská práva, demokratické hodnoty a rozmanitost. Podle principů OECD by měla UI přispívat k hospodářskému růstu. OECD také sleduje národní regulaci umělé inteligence a provádí výzkum jejího ekonomického dopadu. Protože však OECD nemá pravomoc regulovat jakékoli hospodářské aktivity, ale jen stimulovat ekonomický růst, jsou její zásady nezávazné a nelze je právně vymáhat.

Na půdě G7 vznikl v roce 2020 projekt Globální partnerství v oblasti umělé inteligence (Global Partnership on AI, GPAI) z iniciativy kanadského premiéra Justina Trudeaua a francouzského prezidenta Emanuela Macrona. Cílem tohoto projektu je podpora mezinárodní výzkumné spolupráce ohledně odpovědné UI a oslovovat politiky po celém světě. Záměrem bylo, aby se GPAI stala podobným orgánem, jako je Mezivládní panel OSN pro změnu klimatu, nicméně tyto ambice zůstaly zatím nenaplněny.

V roce 2021 zřídila Organizace spojených národů v rámci úřadu generálního tajemníka nové oddělení, které se zabývá rozvojem technologií (Office of the Secretary-General´s Envoy on Technology), jehož úkoly stanoví plán digitální spolupráce (Roadmap for Digital Cooperation). V témže roce přijala agentura OSN UNESCO a členské země také dobrovolný etický rámec UI[1]. Členské země se jím zavázaly např. zavést hodnocení etického dopadu UI, posuzovat dopad UI na životní prostředí, zajistit, aby umělá inteligence podporovala rovnost pohlaví a nebyla používána pro hromadné sledování.

V souvislosti s rapidním vývojem pokročilejších a dokonalejších systémů a modelů umělé inteligence (UI) v několika málo posledních letech a jejich stále významnějšímu zapojení do celého spektra oblastí lidského života si vysloužily tyto systémy zásadní pozornost i zákonodárců v Evropské unii. Evropská komise v roce 2021 předložila historicky první legislativní návrh na závaznou regulaci umělé inteligence v podobě nařízení o umělé inteligenci („Akt o UI“), které ke dni koncipování tohoto příspěvku vstupuje do finálních fází legislativního procesu a brzy bude publikováno v Úředním věstníku EU[2].

Troufáme si říci, že zde už dlouho nebyl takový legislativní počin, který by vzbuzoval tolik pozornosti již od prvopočátků jeho vzniku. Pokud má být, resp. již mnohdy je, umělá inteligence zaváděna do systémů, které jsou schopné ve vysoké míře ovlivnit bezpečnost osob i států, základní lidská práva, ochranu zdraví, životní prostředí či základy demokracie a právního státu, je regulace a harmonizace základních právních aspektů neoddiskutovatelně dalším inherentním krokem.

Základní myšlenkou Aktu o UI je zajištění jednotné a vysoké úrovně ochrany veřejných zájmů, zejména zdraví a bezpečnosti ruku v ruce s ochranou základních práv v souladu Listinou základních práv Evropské unie[3] a demokratických hodnot. Zároveň však tato regulace nechce bránit volnému oběhu těchto systémů na vnitřním trhu EU dle zásady volného pohybu zboží a služeb ani jejich dalšímu vývoji a inovacím.

 

Co je umělá inteligence

Systém umělé inteligence by měl být nově definován jako „strojový systém navržený tak, aby fungoval s různými úrovněmi autonomie, který může po zavedení vykazovat adaptabilitu a který z obdržených vstupů odvozuje pro explicitní nebo implicitní cíle to, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzické nebo virtuální prostředí.“[4]

Důležitým znakem umělé inteligence je to, že funguje do určité míry autonomně, tedy více či méně bez nutnosti ingerence člověka, a to na rozdíl od „klasického“ počítačového programu, který je schopen pomocí automatizovaných operací dosáhnout pouze takových funkcí a výstupů, které jsou mu předem naprogramovány.  Autonomie UI se přitom projevuje zejména tím, že systém, zjednodušeně řečeno, dokáže za pomocí strojového učení na základě předložených vstupů, nejčastěji dat, sám odvodit určité výstupy, kdy využívá zejména princip pravděpodobnosti. V tomto směru právě ona „autonomie“ patří mezi nejvíce rizikové faktory, neboť může být sice dobrým sluhou, ale i zlým pánem. Akt o UI proto klade zásadní důraz právě na rizikově orientovaný přístup zaměřený na člověka a jeho dohled nad UI a na transparentnost a sledovatelnost UI v různých systémech. Lidský zásah a dohled[5] ať již v procesu, tak i co do kontroly a validace výstupů nabývá zejména v oblastech, které se dotýkají právního a justičního prostředí včetně oblastí vymáhání práva, zásadního významu.

Systémy UI přitom Akt kategorizuje následovně:

• Systémy vyznačující se zakázanými postupy: jde o postupy v rámci systému UI, které využívají podprahové techniky nebo záměrně manipulativní či klamavé techniky s cílem nebo účinkem podstatně narušit chování osoby nebo skupiny či ovlivnit jejich rozhodování, nebo systémy zneužívající zranitelné skupiny se stejným cílem či účinkem. Dále jde o praktiky, které hodnotí nebo klasifikují osoby na základě jejich chování či jejich vlastností a přidělují jim sociální skóre vedoucí k poškození nebo nepříznivému zacházení s dotčenými fyzickými osobami. Tyto postupy jsou zakázány bez výjimky.

 

Uváděny jsou také praktiky, které kategorizují osoby na základě biometrických údajů za účelem odvození nebo vyvození jejich rasy, politických názorů, členství v odborech, náboženského nebo filozofického přesvědčení, sexuálního života nebo sexuální orientace, nebo postupy využívající biometrickou identifikaci v reálném čase. Uvedené postupy jsou taktéž zakázány, avšak s výjimkou jejich použití pro účely vymáhání práva. U posledně jmenovaných jsou pak uvedeny velmi podrobné podmínky pro jejich používání včetně podmínky souhlasu soudu nebo jiného nezávislého orgánu. Podrobněji dále rozebíráme níže.

• Vysoce rizikové systémy UI: jde o systémy, které jsou dotčeny harmonizačními předpisy uvedenými v příloze II. Aktu o UI a dále ty, které jsou dle přílohy III. určeny k použití ve speciálních oblastech jako např. systémy vzdálené biometrické identifikace, kategorizace a rozpoznávání emocí, provoz kritické infrastruktury, UI systémy určené pro nábor zaměstnanců či jejich řízení nebo pro přístup ke vzdělání, základním soukromým a veřejným službám a dávkám, dále UI systémy využívané pro účely migrace, azylu a ochrany hranic, vymáhání práv (jako jsou např. systémy využívané donucovacími orgány, pro výkon spravedlnosti a demokratické procesy).

• Systémy UI s omezeným rizikem (jde o systémy, které např. interagují s člověkem nebo mu umožňují vytvářet určitý obsah a na něž se budou vztahovat nové povinnosti pro zvýšení transparentnosti), dále tzv. obecné modely UI a obecné modely AI se systémovým rizikem (tedy systémy, které se učí na velkém množství dat a které lze integrovat do dalších systémů).

 

• Ostatní systémy UI s minimálním rizikem.

U všech kategorií jsou stanovena speciální pravidla. Ta se pohybují od úplného zákazu (u systémů se zakázanými postupy) až po podrobné podmínky (např. podmínky pro uvedení vysoce rizikových systémů na trh a sledování jejich životního cyklu či podrobné informování o tom, že systém či aplikace využívá UI a za jakých podmínek, aby se uživatelé mohli svobodně rozhodnout, zda jej použijí či nikoliv).

Akt o UI klade důraz na to, aby zejména vysoce rizikové systémy byly navrženy a vyvinuty tak, aby na jejich fungování mohli dohlížet přímo lidé, aby byly technicky spolehlivé a v souladu s harmonizovanými normami. Budou muset také splňovat nejnovější standardy kybernetické bezpečnosti a požadavky na jejich přesnost a robustnost. Jejich poskytovatelé ponesou odpovědnost za jejich uvedení na trh v souladu s legislativními požadavky[6] a bude vyžadováno posouzení jejich shody a označení CE.

Vývoj, školení, testování a validace systémů UI by pak mělo probíhat v regulovaných „sandboxech“[7], tedy umělých prostředích zřízených členským státem.

Dohledem nad systémy UI byl pak pověřen Úřad pro umělou inteligenci, který již zahájil svoji činnost.

 

UI v právním a justičním prostředí

Pro právní a justiční prostředí je charakteristické obrovské množství vzájemně propojených dat včetně osobních údajů, řada systematických, analytických a rozhodovacích procesů, jakož i zátěž v podobě značného množství administrativně rutinních úkolů. Uvedené přitom může vést ke snížení rychlosti, efektivity a transparentnosti celého prostředí.  Představa automatizace prostřednictvím UI je tedy nepochybně lákavá a může být cestou k pozitivnímu ovlivnění kvality a účinnosti všech procesů. Dokážeme si představit celou řadu činností prakticky v kterékoliv oblasti spojené s právem, se kterými může pomoci právě systém s umělou inteligencí. Od protokolování případů a jednání, automatizovaných překladů a tlumočení v reálném čase, přípravy běžné administrativní agendy a plánování, virtuálních asistentů pro znevýhodněné, vyhledání relevantní judikatury a právních předpisů, automatizovaných analýz dokumentů, zapojení do investigativních postupů, přípravy rozhodnutí a možných závěrů, anonymizace rozsudků, jejich zpřístupnění, archivace, zapojení do právního výzkumu a normotvorby až po kontroverzní použití UI pro predikci rozhodnutí či chování nebo pro použití biometrické identifikace v reálném čase i zpětně na veřejně přístupných místech pro účely vymáhání práv.

Pokud se zamyslíme nad významem hodnot chráněných základními zásadami soudního procesu jako např. presumpce neviny, rovnost zbraní, právo na spravedlivý proces, právo na obhajobu, zákaz diskriminace a mnoho dalších, je nasnadě, že umělá inteligence s sebou může nést několik zcela zásadních rizik právě pro řadu lidských práv a svobod a jejich uplatnění a výkon v právním státě.

Jak jsme uvedli výše, UI pracuje a učí se na datech poskytovaných mu člověkem nebo která případně automatizovaně získává v čase. Čím více je těchto dat a čím jsou tato data zároveň přesnější a kvalitnější, tím je větší šance, že výstup UI bude objektivnější a pravděpodobnost jeho správnosti bude vyšší. Uvedená premisa samozřejmě (a bohužel) platí i obráceně. Čím bude dat méně a nebude zajištěna jejich správnost a kvalita, tím se zvyšuje riziko nesprávného výstupu, případně i toho, že si UI i sama něco vymyslí (halucinuje). To pak může mít za následek nesprávné či nespravedlivé rozhodnutí, diskriminační postup nebo i posílení předsudků, což v závěru může vést ke snížení spolehlivosti a důvěryhodnosti celého soudního systému, potažmo systému právního.

Zdůraznění významného dopadu použití systémů umělé inteligence na základní práva a osobní svobody i právní stát a demokracii uvádí Akt o UI právě u systémů využívaných zejména orgány činnými v trestním řízení, dále v rámci řízení migrace, azylu a hraničních kontrol a také u systémů určených pro výkon spravedlnosti a demokratické procesy.[8]

Akt o UI proto na mnoha místech řadí systémy s umělou inteligencí používané v uvedených prostředích právě pod tzv. vysoce rizikové systémy (s výjimkou systémů určených pro čistě administrativní činnosti, které nemají vliv na výkon spravedlnosti), přičemž použití systému s nepřijatelnými (zakázanými) postupy dovoluje pouze pro určité striktně vymezené výjimky, které jsou spojeny právě s účelem vymáhání práv a stanovuje jim navíc další podmínky.

Zároveň Akt o UI zdůrazňuje, že „použití nástrojů umělé inteligence může podpořit rozhodovací pravomoc soudců nebo nezávislost soudů, ale nemělo by ji nahradit; konečné rozhodování musí zůstat činností řízenou člověkem.“[9] Vzhledem k tomu, že justiční a právní prostředí je zaměřeno silně na kritické myšlení člověka a posouzení a uvážení celé řady skutečností, informací a dat, nelze pominout ani riziko možnosti vzniku jisté formy závislosti na systémech umělé inteligence, jejich nadužívání bez posouzení jejich nezbytnosti či přiměřenosti pro daný případ nebo přílišného spoléhání na výstupy z nich generovaných bez současného uplatnění posouzení lidským rozumem.

Další významnou otázkou, kterou si lze klást v souvislosti s UI je transparentnost těchto systémů. Jde o složité, nepřehledné systémy, kterým rozumí především, ne-li pouze, jejich vlastní vývojáři. Akt o UI přitom bude vyžadovat, aby výrobci umožnili těm, kteří systémy budou nasazovat a provozovat, pochopit, jak fungují, zda fungují správně, jaká mají omezení, co je může ovlivnit apod. Měly by být proto doprovázeny poměrně masivní technickou dokumentací a návody. Při představě, že bude UI použita pro rozhodování o právech osob právě třeba v justiční oblasti, transparentnost a dostupnost informací o tom, jak systém dospěl k výsledku a na základě jakých dat apod., nabude v souvislosti s právem na obhajobu a rovnosti zbraní na významu.

Další neodmyslitelná rizika pro použití systémů UI jsou spojena s otázkou, jak zajistit dostatečnou ochranu osobních údajů, zejména těch citlivých (v rámci tzv. zvláštní kategorie osobních údajů)[10]. Ruku v ruce s tím jde i zajištění kybernetické bezpečnosti a odolnosti UI systémů proti jejich nežádoucímu chování a potenciálním chybám a anomáliím. U orgánů veřejné moci, které systémy UI budou využívat, pak lze počítat s tím, že kybernetická bezpečnost bude muset být v úrovni systémů kritické infrastruktury[11].

Důležité je dodat, že práva a povinnosti v Aktu o UI nemají ovlivňovat dosavadní legislativní ochranu osobních údajů, jak je zakotvena v nařízení GDPR a dalších legislativních aktech[12]. Subjekty údajů by nadále měly požívat veškerá práva a záruky přiznané jim právními předpisy, včetně práv souvisejících s výhradně automatizovaným individuálním rozhodováním (to jest i práva nebýt předmětem takového rozhodování), včetně profilování. Dodržení základních zásad nařízení GDPR při zpracování osobních údajů systémem UI přitom v mnoha směrech nemusí být jednoduché. Pokud má UI pracovat s velkým množstvím osobních údajů, vzniká otázka, zda a v jakém rozsahu taková data můžeme využívat s ohledem na zásadu minimalizace osobních údajů. Problém také může nastat již ve fázi vývoje a testování, kdy by se neměly „ostré“ osobní údaje pro tyto účely využívat. Řešením by mohla být zejména jejich anonymizace.

Jako červená nit se citovaným Aktem o UI táhne požadavek na rizikově orientovaný přístup. Základem by mělo být posouzení dopadů systému UI na základní práva před jeho uvedením do provozu, identifikace konkrétních rizik, určení opatření k jejich mitigaci a eliminaci a uvedená rizika řídit, tedy stanovit tzv. systém řízení rizik. U orgánů veřejné moci je přitom zdůrazněno, že by při posuzování rizik a stanovování opatření měly brát do úvahy také stanoviska zúčastněných stran, nezávislých odborníků, organizací občanské společnosti a zástupců osob, které budou systémem dotčeny.

V neposlední řadě nesmíme zapomínat, že systém UI je software, prakticky „výrobek“ a produkt lidské činnosti sloužící i ke komerčním účelům. Jako takový může mít i své vady, způsobovat škody, které s rizikovostí systému mohou úměrně narůstat. Samotný Akt o UI se však odpovědnosti za vady systému UI věnuje opravdu minimálně. Pro tuto oblast proto Evropská komise musela připravit ještě separátní legislativu, a to konkrétně návrh směrnice o mimosmluvní občanskoprávní odpovědnosti za škodu způsobenou umělou inteligencí[13] a návrh směrnice o odpovědnosti za vadné výrobky[14] (softwary včetně systémů umělé inteligence budou považovány za výrobky)[15].

Oba tyto připravované právní předpisy, které budou vyžadovat implementaci do národních právních řádů, budou-li přijaty, mají ohledně umělé inteligence společnou myšlenku, a to ulehčit poškozeným jejich důkazní pozici. Směrnice přinášejí za tímto účelem speciální nástroje, tzv. právní domněnky, které mají zmírnit důkazní břemeno poškozených. Jedná se zejména o domněnky vadnosti (např. pokud systém UI nesplňuje bezpečnostní požadavky nebo špatně funguje, bude se předpokládat, že je vadný), a domněnky existence příčinné souvislosti (tj. bude se automaticky předpokládat za určitých podmínek, že systém UI způsobil škodu). Pak bude na žalovaném dokázat, že tomu tak nebylo.

Zajímavou možností, jak dále ulehčit důkazní břemeno poškozenému, bude i povinnost poskytovatele systému UI předložit soudu příslušnou technickou dokumentaci a informace k němu. Pokud tak neučiní, procesně si tím jako žalovaný uškodí, neboť bude platit domněnka, že nedodržel povinnost řádné péče (resp. podle směrnice o odpovědnosti za vadné výrobky, že systém UI bude považován za vadný).

 

Poziční stanovisko CCBE a Akt o UI

K původnímu návrhu Aktu o UI zaslala řada institucí svá stanoviska, mimo jiné i Rada Evropských advokátních komor (CCBE), jakož další významné organizace, přičemž znění Aktu o UI v rámci legislativního procesu ke dni sepsání tohoto příspěvku prošlo poměrně zásadními změnami. V další části tohoto pojednání proto uvedeme základní body pozičního stanoviska CCBE[16] a zhodnotíme, zda se v rámci dalšího legislativního procesu povedlo vytčené nedostatky odstranit, případně jaký to může mít dopad i v kontextu českého právního prostředí.

Stanovisko CCBE vychází z toho, že změny legislativy by měly být přijímány tam, kde zlepšují nebo alespoň nezhoršují kvalitu justičních systémů členských států. Respektování základních práv a dodržování vysokých etických standardů, které jsou základem pro justiční práci v demokratických právních státech, proto nelze podřídit pouhému zvýšení efektivity nebo úspoře nákladů, ať pro osoby, které k soudu přistupují, nebo pro soudní orgány. Systémy UI by proto měly být v praxi zaváděny až tehdy, pokud existují dostatečné záruky proti jakékoli formě zaujatosti nebo diskriminace.

CCBE především navrhla, aby Akt o UI obsahoval konkrétní ustanovení o používání umělé inteligence v oblasti justice, a to nad rámec toho, co bylo nakonec do Aktu o UI skutečně převzato. CCBE zásady pro užívání UI v oblasti justice konkretizovala tak, že by soudce neměl mít možnost přenést celou svou rozhodovací pravomoc nebo její část na nástroj umělé inteligence: v oblasti justice by mělo být zakázáno nejen automatizované rozhodování systému UI, ale také používání takových systémů UI, které vytvářejí „rozhodnutí“ takové povahy, která by mohla svádět lidského soudce k tomu, aby taková rozhodnutí jednoduše nekriticky přijal – ve skutečnosti by se jednalo o automatické rozhodování. Celý rozhodovací proces musí být i nadále řízen lidmi a soudci musí nést plnou odpovědnost za všechna rozhodnutí. Právo na lidského soudce musí být zaručeno ve všech fázích řízení. Z pohledu CCBE je proto správné, že Akt o UI hodnotí systémy, které by mohly být využívány v justici jako vysoce rizikové, nicméně úprava, že by systém UI „neměl nahradit“ rozhodovací činnost soudce – člověka, je mírnější, než byl požadavek CCBE, která navrhovala, aby bylo vyloučeno používání UI za účelem přijímání rozhodnutí nebo formulování vyjádření těchto rozhodnutí.

CCBE rovněž navrhla, aby Akt o UI s konečnou platností vyloučil používání nástrojů UI, které mohou porušovat základní lidská práva, např. pro účely tzv. prediktivní policejní práce a pro účely určování rizik budoucího páchání trestné činnosti jako pomoc při rozhodování o propuštění z vazby, ukládání trestu, při rozhodování o podmíněném propuštění z trestního stíhání apod. Výstupy ze systému UI by pak rozhodně neměly nikdy být považovány za důkaz.  V trestním řízení začíná spravedlivý proces spravedlivě vedeným přípravným řízením, spravedlivým vyšetřováním, a proto musí být využití systémů UI v přípravném řízení posuzováno i s ohledem na to, zda a jak budou tyto výstupy využity v soudním řízení, kde se bude rozhodovat o vině a trestu obviněného.

Každý výstup ze systému UI použitý v rámci trestního řízení musí být transparentní a vysvětlitelný. Pokud způsob, jakým systém UI vytváří výstup, není transparentní nebo kdy tento výstup nelze dostatečně vysvětlit, nesmí orgán činný v trestním řízení k výstupu přihlížet a musí jej vyjmout ze spisu.

CCBE proto kvitovala, že Akt o UI uznává rizika způsobená používáním systémů UI v oblasti vymáhání práva a justice, zejména potencionálně významný dopad používání těchto systémů na demokracii, právní stát, základní lidská práva a svobody, včetně práva na účinnou právní ochranu a spravedlivý proces, i nadále však navrhuje další upřesnění. Jde o to, aby evropská regulace obsahovala ustanovení zaměřená na konkrétní rizika za konkrétních okolností, jako je riziko nespravedlivého procesu, pokud účastníci řízení nemají možnost posoudit, projednat a vznést námitky proti výsledkům, které předložil systém UI, jež byl použit v procesu soudního rozhodování. V zájmu zajištění práva na spravedlivý proces by mělo být proto jasně a výslovně vyjádřeno, že členské státy mohou stanovit další obecná pravidla, která budou omezovat nebo zakazovat používání UI v oblasti justice, včetně vyšetřování trestné činnosti orgány činnými v trestním řízení. CCBE v této souvislosti varovala před pokušením obětovat vše ve prospěch efektivity a zdůraznila nezbytnost zachování všech základních zásad spravedlivého procesu, kontradiktornosti řízení, rovnosti stran a nestrannosti soudu.

CCBE rovněž navrhovala zákaz nebo moratorium na používání automatizovaných technologií při hraničních a migračních kontrolách, dokud nebude nezávisle posouzen jejich soulad s mezinárodními normami v oblasti lidských práv. Akt o UI měl rovněž omezit použití a aplikaci systémů UI, které narušují rovný přístup k sociálním právům a výhodám.

Na další výhrady CCBE reagují připravované směrnice o mimosmluvní občanskoprávní odpovědnosti za škodu způsobenou umělou inteligencí a o odpovědnosti za vadné výrobky. CCBE totiž požadovala, aby byly regulovány následující otázky:

• pojem produktu,
• nedostatečná předvídatelnost fungování systémů UI,
• adresát odpovědnosti,
• obrana,
• druh újmy a oběti,
• pravidla pro dokazování včetně obrácení důkazního břemene v určitých oblastech,
• zavedení povinného pojištění.

Ve značném rozsahu pak byly vyslyšeny připomínky CCBE k článku 5 Aktu o UI, který upravuje zakázané postupy UI. Pokud jde o zakázané praktiky, Akt o UI za ně považuje uvádění na trh, uvádění do provozu nebo používání takových systémů UI, které:

• využívají techniky podprahového vnímání nebo záměrně manipulativní nebo klamavé techniky, s cílem nebo důsledkem podstatného narušení chování osoby nebo skupiny osob tím, že znatelně zhoršuje jejich schopnost činit informovaná rozhodnutí,
• zneužívají některou ze zranitelných stránek osoby nebo skupiny osob z důvodu jejich věku, zdravotního postižení nebo sociální či ekonomické situace, s cílem nebo důsledkem narušit chování takové osoby nebo způsobit této osobě značnou újmu,
• jsou charakterizovány jako biometrické kategorizační systémy, které kategorizují jednotlivé fyzické osoby na základě jejich biometrických údajů s cílem odvodit jejich rasu, politické názory, odborovou příslušnost, náboženské nebo filozofické přesvědčení, sexuální život nebo sexuální orientaci. Pro tento případ je však současně zakotvena výjimka – zákaz se nevztahuje na jakékoli označování nebo filtrování zákonně získaných souborů biometrických údajů, jako jsou například fotografie, na základě biometrických údajů nebo kategorizace biometrických údajů v oblasti vymáhání práva,
• jsou určeny pro hodnocení nebo klasifikaci fyzických osob nebo jejich skupin v určitém časovém období na základě jejich sociálního chování nebo osobních nebo osobnostních charakteristik, přičemž sociální skóre vede k nepříznivému zacházení s fyzickými osobami v sociálních kontextech, které nesouvisejí s kontexty, v nichž byly údaje původně vytvořeny, nebo které jsou nepřiměřené ve vztahu k jejich společenskému chování.
• jsou určeny k hodnocení rizik, zda fyzická osoba spáchá trestný čin, a to výhradně na základě profilování fyzické osoby nebo hodnocení jejích osobnostních rysů a charakteristik. Výjimka platí pro případ, že jde o systém určený k podpoře lidského hodnocení účasti osoby na trestné činnosti, které je již založeno na objektivních a ověřitelných skutečnostech přímo souvisejících s trestnou činností,
• vytvářejí nebo rozšiřují databáze rozpoznávání obličejů prostřednictvím necíleného získávání snímků obličejů z internetu nebo kamerových záznamů.

Akt o UI zakazuje používání systémů dálkové biometrické identifikace v reálném čase ve veřejně přístupných prostorách. Výjimka platí pro použití takových systémů pro účely vymáhání práva, pokud je toto používání nezbytně nutné pro následující cíle:

• cílené pátrání po obětech únosů, obchodování s lidmi a sexuálního vykořisťování lidí, jakož i pátrání po pohřešovaných osobách,
• předcházení konkrétnímu, podstatnému a bezprostřednímu ohrožení života nebo fyzické bezpečnosti fyzických osob nebo skutečné a aktuální nebo skutečné a předvídatelné hrozbě teroristického útoku,
• lokalizace nebo identifikace osoby podezřelé ze spáchání trestného činu pro účely vedení trestního řízení pro trestné činy výslovně uvedené v příloze IIa Aktu o UI, za které lze v členských státech uložit trest odnětí svobody s horní hranicí trestní sazby nejméně čtyři roky.

Akt o UI přitom umožňuje s používáním systémů dálkové biometrické identifikace v reálném čase na veřejně přístupném místě pro účely vymáhání práva jedině v případě, že toto použití je v souladu s nezbytnými a přiměřenými zárukami a podmínkami, které by měly stanovit vnitrostátní předpisy, a současně pouze tehdy, pokud příslušný státní orgán posoudil dopad používání daného systému na základní práva dle článku 29a Aktu o UI a zaregistroval systém v databázi v souladu s článkem 49 Aktu o UI.  Současně toto použití podléhá předchozímu povolení vydanému soudem nebo nezávislým správním orgánem, jehož rozhodnutí je pro členský stát, v němž má k použití dojít, závazné, a to na základě podrobně odůvodněné žádosti. Použití bez registrace je dovoleno jen v odůvodněných a naléhavých případech, pokud je registrace systému dokončena bez zbytečného odkladu. Použití bez povolení soudu nebo správního orgánu je možné opět v odůvodněných naléhavých případech, ale současně musí být o povolení požádáno nejpozději ve lhůtě 24 hodin. Pokud povolení uděleno nebude, je používání daného systému s okamžitou platností zastaveno a všechny údaje i výsledky a výstupy z tohoto používání musí být okamžitě zlikvidovány a vymazány.

Akt o UI obsahuje i základní podmínky, za kterých může soud nebo příslušný správní orgán povolit používání takových systémů. Musí mu být předloženy objektivní důkazy nebo jasné indicie, které vedou k přesvědčení, že použití systému dálkové biometrické identifikace je nezbytné a přiměřené k dosažení jednoho z cílů, pro něž Akt o UI takové použití dovoluje. Současně je zapotřebí zajistit, aby soud nebo správní orgán nemohl přijmout žádné rozhodnutí, které by mělo pro fyzickou osobu nepříznivé právní účinky jen na základě výstupu ze systému dálkové biometrické identifikace.

Podrobná pravidla pro použití systému dálkové biometrické identifikace si určují členské státy, mají však povinnost oznámit tato pravidla Komisi do 30 dnů od jejich přijetí. Akt o UI umožňuje, aby členské státy přijaly pravidla, která obecnou úpravu v Aktu o UI dále zpřísní.

 

… a mezitím v České republice

Ještě před schválením finálního znění Aktu o UI připravilo Ministerstvo vnitra návrh změny zákona č. 273/2008 Sb., o Policii České republiky a některých dalších zákonů. V rámci tohoto návrhu by mělo dojít i ke změně zákona č. 110/2019 Sb., o zpracování osobních údajů, a to vložením nových ustanovení § 39a, 39b a 39c.

Ustanovení § 39a definuje tzv. izolovaný systém jako systém umělé inteligence pro neodkladnou vzdálenou biometrickou identifikaci fyzických osob využívaný v prostorách, o kterých lze důvodně předpokládat, že se v nich zdržují převážně nebo pouze fyzické osoby, jejichž přítomnost souvisí se specifickým účelem těchto objektů a prostor. Do referenční databáze izolovaného systému se mohou ukládat biometrické údaje fyzické osoby, pokud je to nezbytné pro:

• pátrání po nezvěstné osobě nebo po oběti trestného činu proti lidské důstojnosti v sexuální oblasti, únosu nebo obchodování s lidmi,
• pátrání po osobě podezřelé, obviněné nebo obžalované ze spáchání některého z trestných činů uvedeného v příloze IIa Aktu o UI, pokud za něj trestní zákoník stanoví nepodmíněný trest odnětí svobody s horní hranicí trestní sazby nejméně 4 roky,
• zabránění konkrétnímu závažnému a bezprostřednímu ohrožení života nebo zdraví fyzické osoby, nebo
• zabránění teroristickému útoku, který na základě zjištěných skutečností hrozí nebo jej lze důvodně předpokládat.

Izolovaný systém lze podle § 39b používat pro vzdálenou biometrickou identifikaci fyzických osob, u kterých jsou v okamžiku zařazení do referenční databáze splněny všechny zákonné podmínky pro omezení osobní svobody, pokud jsou podezřelé, obviněné nebo obžalované ze spáchání trestného činu uvedeného v příloze IIa Aktu o UI s horní hranicí trestní sazby trestu odnětí svobody nejméně čtyři roky, nebo pokud jsou podezřelé, obviněné, obžalované nebo odsouzené za jiný trestný čin, pokud je důvodná obava, že by dokonáním nebo vykonáním takového trestného činu způsobily ublížení na zdraví, těžkou újmu na zdraví nebo smrt.

Použití izolovaného systému by dále mělo být přípustné pro vzdálenou biometrickou identifikaci fyzických osob, o kterých se lze důvodně domnívat, že je ohrožen jejich život nebo zdraví, nebo u kterých jsou v okamžiku zařazení do referenční databáze splněny všechny zákonné podmínky pro omezení osobní svobody, ledaže takové podmínky souvisí s podezřením, obviněním, obžalobou nebo odsouzením za trestný čin.

K zahájení činnosti izolovaného systému se vyžaduje souhlas předsedy senátu místně příslušného vrchního soudu. Toto povolení se vydává na žádost, která musí obsahovat:

• přesné vymezení prostoru,
• časové období (nejdéle 12 měsíců, ale povolení je možné získat i opakovaně),
• kategorie fyzických osob, které mají být zařazovány do referenční databáze izolovaného systému,
• kontaktní údaje pověřence, který je pověřen dohledem nad referenční databází,
• shrnutí posouzení vlivu izolovaného systému na základní práva postupem dle Aktu o UI,
• potvrzení o tom, že byla provedena registrace systému v souladu s Aktem o UI, ledaže je provoz z naléhavých důvodů potřebné zahájit před registrací.

Při povolování provozu izolovaného systému soudce posoudí důvody pro tento provoz a to, zda je činnost izolovaného systému nezbytná a přiměřená k dosažení cílů vymezených § 39a, a vezme v úvahu i závažnost, pravděpodobnost a rozsah újmy, ke které by mohlo dojít v případě, že k zahájení činnosti izolovaného systému nedojde a důsledky činnosti izolovaného systému pro práva a svobody všech dotčených osob.

Proti rozhodnutí o povolení nebo zamítnutí žádosti o povolení není přípustný opravný prostředek.

Pokud je povolení vydáno, je spravující orgán povinen informovat pověřence ve lhůtě 24 hodin o zařazení biometrických údajů každé konkrétní osoby do referenční databáze, a ten o tomto zařazování alespoň jednou za tři měsíce informuje soudce.

Podle § 39c bude možné izolovaný systém použít pro vzdálenou biometrickou identifikaci i takové konkrétní osoby, která nepatří do žádné z kategorií osob vymezených v § 39b, pokud je to nezbytné pro naplnění cíle § 39a. I v těchto případech musí mít spravující orgán povolení soudce. Lhůta pro vydání povolení činí 72 hodin. Bez povolení je možné systém použít za podmínky, že o povolení spravující orgán požádá do 24 hodin. Pokud povolení nezíská, je povinen použití izolovaného systému ukončit a dotčené údaje a záznamy zničit (bez uvedení lhůty). Současně by však mělo platit, že údaje a záznamy nezničí, je-li třeba dokumentovat úkony již provedené v souvislosti s použitím izolovaného systému. Rovněž v tomto případě se povolení vydává na dobu nejvýše 12 měsíců s možností opakování.

Česká právní úprava se tedy shoduje s Aktem o UI, pokud jde o nezbytnost systému registrace a používání jen na základě povolení soudu. Rozlišuje dva druhy používání tzv. izolovaného systému. Ten první by měl sloužit k biometrické identifikaci předem neurčeného okruhu osob. V tomto případě soud povoluje použití systému, ovšem o zařazení biometrických údajů konkrétní fyzické osoby do referenční databáze již rozhoduje orgán spravující izolovaný systém, který toto zařazení oznámí pověřenci a ten následně (jednou za tři měsíce) informuje soud. Druhým případem je použití izolovaného systému pro vzdálenou biometrickou identifikaci konkrétní fyzické osoby, kde soud rozhoduje o povolení na základě zvážení, zda jsou u této konkrétní fyzické osoby splněny podmínky pro použití izolovaného systému.

Akt o UI ukládá členským státům, aby povolení pro použití systému pro vzdálenou biometrickou identifikaci bylo vydáno na základě objektivních důkazů nebo jasných indicií, které vedou k přesvědčení, že použití systému dálkové biometrické identifikace je nezbytné a přiměřené k dosažení jednoho z cílů, pro něž Akt o UI takové použití dovoluje, a současně, aby soud nemohl přijmout žádné rozhodnutí, které by mělo pro fyzickou osobu nepříznivé právní účinky, jen na základě výstupu ze systému dálkové biometrické identifikace. Máme za to, že tyto podmínky česká právní úprava nesplňuje, a to především tam, kde jde o povolení použití izolovaného systému pro vzdálenou biometrickou identifikace nekonkrétního okruhu fyzických osob.

V tomto směru uplatnil připomínky k návrhu novely i Úřad pro ochranu osobních údajů, který vyjádřil „obavu, zda předložený návrh v některých svých aspektech jdoucích nad nezbytné evropské právem vyžadované minimum nepovede k „čínskému modelu“, tedy masivnímu nasazení kamerových systémů se systémem na rozpoznávání tváří a jejich následnému masovému vytěžování, a to za využití UI, což činí věc násobně rizikovou.“ Druhá připomínka se týkala toho, že „gumová ustanovení předloženého návrhu, navíc bez zabezpečení dostatečné kontroly, praxi umožní hypertrofii používání navržených systémů a velmi tím zvýší riziko nadměrného zásahu do práv podezřelých, a i potenciálně podezřelých osob ve smyslu tzv. rybaření. Tam, kde by bylo nasnadě postupovat cestou trestního procesu, který garantuje ochranu osob, vůči nimž mají být některé represivní prostředky použity, bude možné postupovat fakticky bezprocesně, což eliminuje možnost, aby osoby, vůči nimž mají být tyto prostředky použity, měly garantovány svá ústavní práva.“

Současně Úřad pro ochranu osobních údajů požaduje, aby tzv. izolované systémy nebylo možné propojovat, tak jak navrhovaná novela umožňuje. Propojením všech systémů biometrické identifikace by totiž vznikl jednotný ucelený systém, do něhož by byla zařazena místa různého charakteru (letiště, nádraží, budovy Parlamentu ČR, soudy atd.) V důsledku spojení dílčích územně oddělených součástí (odlišného charakteru) by však nebyly plněny povinnosti, které by pro každý takový systém měly být plněny samostatně (např. posouzení dopadu vysoce rizikových systémů na základní práva, schvalování, registrace, podávání zpráv o použití systému).

Negativně se Úřad pro ochranu osobních údajů vyjádřil i k nepřípustné bagatelizaci důvodové zprávy, podle níž „vliv na lidská práva a svobody nezařazených osob není nulový, ale je srovnatelný se vlivem kamerových systémů nepoužívajících biometrickou identifikaci (tj. dochází k zachycení a zpracování podoby obličeje, k porovnání takto zpracované podoby s referenční databází, ale z důvodu nenalezení referenční podoby obličeje nedochází k identifikaci osoby, ani ke zvláštnímu upozornění na neidentifikovanou osobu apod.)“  Digitální podoba totiž podstatně usnadňuje identifikaci, a proto zásah do základních práv je tak větší oproti běžným kamerovým systémům, proto ÚOOÚ požaduje zpřísnění záruk nad rámec článku 5 Aktu o UI.

Úřad pro ochranu osobních údajů považuje za nepřijatelné paušální povolení izolovaného systému podle navrhovaného § 39b. Vychází z toho, a s tímto stanoviskem se ztotožňujeme, že podle článku 5 Aktu o UI musí soud povolit každé užití a argument, že se jedná o pouze podezřelé ze závažných trestných činů nemůže obstát. I u nasazení jiných prostředků soudce rozhoduje o konkrétním člověku. Soud má posuzovat konkrétní účel nasazení na konkrétního člověka, na konkrétním místě a v konkrétním čase.

Na okraj pak podotýkáme, že technika v České republice předběhla legislativu. Od 22. 8. 2022 používá Policie ČR systém Digitálních podob osob ke zpětnému porovnávání ad hoc obličejů z konkrétních závažných případů a k identifikaci mrtvých neznámé totožnosti. Legálnost tohoto systému Policie ČR odvozuje z ustanovení § 66a zákona o Policii České republiky, který umožňuje Policii ČR získávat digitální fotografie a agendové identifikátory fyzických osob vedené v informačních systémech evidence občanských průkazů, cestovních dokladů, diplomatických a služebních pasů, registru řidičů, centrálním registru řidičů a informačním systému cizinců, přičemž k těmto údajům má nepřetržitý přístup. Použití této databáze je § 79 odst. 1 povoleno pro identifikaci konkrétní fyzické osoby za účelem předcházení, vyhledávání a odhalování trestné činnosti, stíhání trestných činů, zajišťování bezpečnosti České republiky nebo zajišťování veřejného pořádku a vnitřní bezpečnosti, včetně pátrání po osobách a věcech. Policejní výklad § 66 je poměrně extenzivní – Policie ČR dovozuje, že jí zákon umožňuje provádět biometrickou identifikaci z kamerových záznamů zpětně, a to z důvodové zprávy, v níž je uvedeno: „Navrhovaná změna přináší policii možnost softwarového vyhledávání a rozpoznávaní obličejů, která v případě potřeby dokáže významným způsobem zkrátit čas k odhalení pachatele, případně zabránit dalším hrozícím útokům.“ Policie ČR používá systém Digitální podoba osob na základě interního pokynu policejního prezidenta, jehož přílohou jsou Zásady zkušebního provozu systému DPO, přičemž valnou většinu tohoto pokynu policie odmítá zveřejnit.

V rámci daného informačního systému dochází ke zpětnému porovnání fotografie neznámé osoby oproti referenční databázi, která se skládá z fotografií poskytnutých z uvedených zdrojových databází. V databázi se nachází prakticky každá osoba zdržující se trvale v České republice a dle vyjádření Policejního prezidia se v červenci 2023 nacházelo v referenční databázi celkem 19 666 787 fotografií. Systém by měl do 15 sekund poskytnout požadovaný počet jednoznačných identifikátorů fotografií osob, u nichž je nejvyšší míra shody se zájmovou osobou na vložené fotografii. Každá fotografie v databázi je spojena s individuálním identifikátorem, přes nějž se pak policista dostane jednoduše k dalším údajům jako je jméno, příjmení, bydliště, či datum narození osoby na vybrané fotografii. Netransparentnost využívání systému Digitální podoba osob vedla organizaci IuRe (Iuriducum Remedium) k udělení Ceny Velkého bratra za rok 2023 v kategorii Úřední slídil právě Policii České republiky.

 

JUDr. Monika Novotná, advokátka Rödl & Partner, advokáti, s.r.o., místopředsedkyně České advokátní komory
Mgr. Lenka Hanková, advokátka, Rödl & Partner, advokáti, s.r.o.
Foto: redakce AD

 

---

 

[1] K dispozici na: https://www.unesco.org/en/artificial-intelligence/recommendation-ethics

[2] Ke dni sepsání tohoto příspěvku nebyl Akt o UI oficiálně zveřejněn v Úředním věstníku EU. Autorky proto vycházejí z oficiálních informací uveřejněných na webové stránce eur-lex.europa.eu a verze nařízení z projednávaní Evropským parlamentem uveřejněným zde: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.html

[3] Akt o UI také zmiňuje např. i Úmluvu OSN o právech dítěte (dále rozvedená v obecném komentáři č. 25 UNCRC, pokud jde o digitální prostředí) či Úmluvu OSN o právech osob se zdravotním postižením (UNCRPD).

[4] Viz čl. 3 bod (1) návrhu Aktu o UI. V původním anglickém znění: „An AI system is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments“.

[5] Nezávislá odborná skupina na vysoké úrovni pro umělou inteligenci (AI HLEG) zřízená Evropskou komisí v červnu 2018 tzv. vydala Etické pokyny pro důvěryhodnou umělou inteligenci z roku 2019. V těchto pokynech skupina AI HLEG uvedla sedm etických zásad pro UI pro zajištění požadavků na důvěryhodnou UI které zahrnují: lidský činitel a dohled; technickou robustnost a bezpečnost; ochranu soukromí a správu údajů; transparentnost; rozmanitost, nediskriminaci a spravedlnost; společenský a environmentální blahobyt a odpovědnost.

[6] Dle recitálu č. 9 návrhu Aktu o UI by měla být pravidla použitelná pro uvádění na trh, do provozu a používání vysoce rizikových systémů UI stanovena v souladu s nařízením Evropského parlamentu a Rady (ES) č. 765/2008, kterým se stanoví požadavky na akreditaci a dozor nad trhem s výrobky, rozhodnutím Evropského parlamentu a Rady č. 768/2008/ES o společném rámci pro uvádění výrobků na trh a nařízením Evropského parlamentu a Rady (EU) 2019/1020 o dozoru nad trhem s výrobky a jejich shodě.

[7] Návrh Aktu o UI v českém překladu hovoří o tzv. „regulačním pískovišti UI“, kterým se rozumí konkrétní a kontrolovaný rámec vytvořený příslušným orgánem, který poskytovatelům nebo potenciálním poskytovatelům systémů UI nabízí možnost vyvíjet, trénovat, ověřovat a případně testovat v reálných podmínkách inovativní systém UI podle plánu pískoviště po omezenou dobu pod regulačním dohledem

[8] Viz také recitály č. 59, 60 a 61 návrhu Aktu o UI

[9] Citace z recitálu č. 61 návrhu Aktu o UI

[10] Tj. kategorie osobních údajů uvedené v čl. 9 odst. 1 nařízení GDPR, dále článku 10 směrnice (EU) 2016/680, o ochraně fyzických osob v souvislosti se zpracováním osobních údajů příslušnými orgány za účelem prevence, vyšetřování, odhalování či stíhání trestných činů nebo výkonu trestů, o volném pohybu těchto údajů, a čl. 10 odst. 1 nařízení (EU) 2018/1725, o ochraně fyzických osob v souvislosti se zpracováním osobních údajů orgány, institucemi a jinými subjekty Unie a o volném pohybu těchto údajů. Článek 9 odst. 1 nařízení GDPR přitom přímo zakazuje (s dále stanovenými výjimkami) zpracování osobních údajů, které vypovídají o rasovém či etnickém původu, politických názorech, náboženském vyznání či filozofickém přesvědčení nebo členství v odborech, a zpracování genetických údajů, biometrických údajů za účelem jedinečné identifikace fyzické osoby a údajů o zdravotním stavu či o sexuálním životě nebo sexuální orientaci fyzické osoby.

[11] Navrhovaný Akt o UI kritickou infrastrukturou rozumí majetek, zařízení, vybavení, síť nebo systém nebo jejich část, které jsou nezbytné pro poskytování základní služby ve smyslu čl. 2 odst. 4 směrnice (EU) 2022/2557

[12] Nařízení GDPR a dále nařízení (EU) 2018/1725 a směrnice (EU) 2016/680

[13] Návrh směrnice Evropského parlamentu a Rady o přizpůsobení pravidel mimosmluvní občanskoprávní odpovědnosti umělé inteligence (směrnice o odpovědnosti za umělou inteligenci), č. COM/2022/496 final. Ke dni zpracování tohoto pojednání k dispozici on-line zde: https://eur-lex.europa.eu/legal-content/CS/ALL/?uri=CELEX:52022PC0496

[14] Návrh směrnice Evropského parlamentu a Rady o odpovědnosti za vadné výrobky č. COM(2022) 495. Ke dni zpracování tohoto pojednání k dispozici on-line zde: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52022PC0495&qid=1712524702337

[15] „Výrobkem“ návrh směrnice o odpovědnosti za vadné výrobky rozumí dle čl. 4 bod 1) „všechny movité věci, i když jsou začleněny do jiné movité nebo nemovité věci. „Výrobek“ zahrnuje elektřinu, digitální výrobní soubory a software;“

[16] Viz zejména poziční stanovisko „CCBE position paper on the proposal for a regulation laying down harmonised rules on Artificial Intelligence“ ze dne 08.10.2021. Ke dni sepsání tohoto pojednání dostupné on-line zde: https://www.ccbe.eu/fileadmin/speciality_distribution/public/documents/IT_LAW/ITL_Position_papers/EN_ITL_20211008_CCBE-position-paper-on-the-AIA.pdf