Monitorovanie detí na školách a EU AI Act

Úvod

Návrh materiálu predložený na vládu, ktorý by za pomoci AI umožnil plošné monitorovanie, rozpoznávanie a identifikáciu nielen detí, učiteľov a rodičov na školách, ale aj všetkých osôb navštevujúcich športové objekty ako plavárne a športové haly, kultúrne objekty ako divadlá, kiná múzeá, galérie ale aj dopravné objekty typu železničné stanice, letiská a pod., či objektov verených inštitúcií akými sú okresné úrady, úrady práce, sociálnych vecí a rodiny a ďalšie, vyvoláva zásadné otázky ohľadom jeho súladu s právnymi predpismi na ochranu súkromia, osobných údajov a tiež novo prijatým AI Act.

AI Act

Zo zatiaľ zverejneného materiálu predloženého na vládu a komunikovaných informácií sa javí, že navrhnuté riešenie bude využívať prvky AI. Tieto by, okrem iného, mali byť využívané na (i) detekciu všetkých osôb, ktoré sa dostanú do záberu kamier na základe detekcie a identifikácie tváre vytvorením a uložením modelu tvárových charakteristík, (ii) identifikáciu hľadanej osoby porovnaním modelu tváre s prednastavenými vyhľadávanými modelmi tvárí osôb, ktoré sú predmetom záujmu (hľadané osoby a pod.) a (iii) identifikáciu osôb porovnaním modelu tváre s predošlými uloženými modelmi formou identifikácie osôb, ktoré sa vyskytli v systéme prvýkrát po nastavenom období samoučenia modelu známych/dôveryhodných osôb. Z popisu navrhnutého riešenia a systému je zrejmé, že bude nevyhnutne dochádzať k diaľkovej biometrickej identifikácii osôb v reálnom čase vo verejne prístupných priestoroch.

Len v tomto roku bolo prijaté Nariadenia (EÚ) 2024/1689 o umelej inteligencii (AI Act), ktorým sa stanovujú harmonizované pravidlá v oblasti umelej inteligencie. AI Act reguluje systémy a modely AI na základe miery rizika, ktoré predstavujú, a kategorizuje ich do štyroch kategórii: 1) praktiky, ktoré predstavujú neprijateľné riziká, 2) vysokorizikové systémy, 3) systémy s obmedzeným rizikom a 4) systémy s minimálnym rizikom.

Už od 2. 2. 2025 vstúpia do účinnosti časti AI Act, ktoré zakazujú praktiky využívajúce AI (Článok 5 AI Act). Medzi takéto zakázané praktiky, okrem iného patrí:

  • uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systému AI na posudzovanie rizík fyzických osôb s cieľom posúdiť alebo predvídať riziko toho, že fyzická osoba spácha trestný čin, a to výlučne na základe profilovania fyzickej osoby alebo posúdenia jej osobnostných vlastností a charakteristík;
  • uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI, ktoré vytvárajú alebo rozširujú databázy na rozpoznávanie tváre prostredníctvom necielenej extrakcie podôb tváre z internetu alebo zo záznamov CCTV;
  • používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva, pokiaľ takéto použitie nie je nevyhnutne potrebné na jeden z týchto cieľov:
  • cielené pátranie po konkrétnych obetiach únosov, obchodovania s ľuďmi alebo sexuálneho vykorisťovania ľudí, ako aj pátranie po nezvestných osobách;
  • predchádzanie konkrétnemu, závažnému a bezprostrednému ohrozeniu života alebo fyzickej bezpečnosti fyzických osôb alebo skutočnej a existujúcej alebo skutočnej a predvídateľnej hrozbe teroristického útoku;
  • lokalizácia alebo identifikácia osoby podozrivej zo spáchania trestného činu na účel vedenia vyšetrovania alebo stíhania trestného činu alebo výkonu trestnej sankcie za trestné činy uvedené v prílohe II, za ktoré možno v dotknutom členskom štáte uložiť trest odňatia slobody alebo ochranné opatrenie obmedzujúce slobodu s hornou hranicou trestnej sadzby najmenej štyri roky.

Systémy diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva je možné nasadzovať len aby sa potvrdila totožnosť špecificky zacieleného jednotlivca. Znamená to teda, že plošné využívanie biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch vo vzťahu k nekonkrétnej osobe je zakázané. Navyše, aj vo vzťahu k jednotlivcovi podlieha každé použitie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva predchádzajúcemu povoleniu, ktoré by na Slovensku musel udeliť súd.

Okrem toho musí byť používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch v súlade s nevyhnutnými a primeranými zárukami a podmienkami týkajúcimi sa tohto používania, najmä pokiaľ ide o časové, geografické a osobné obmedzenia. Používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch je navyše možné využiť len vtedy, ak orgán presadzovania práva dokončil posúdenie vplyvu na základné práva, ako sa stanovuje v článku 27 AI Act, a zaregistroval systém v databáze EÚ podľa článku 49 AI Act.

Ak by súčasťou navrhnutého riešenia, ktoré aktuálne posudzuje vláda, skutočne bolo používanie systémov diaľkovej biometrickej identifikácie v reálnom čase využívajúce AI, je pravdepodobné, že takéto riešenie nebude možné v rozsahu uvedenom v materiáli využiť, nakoľko by šlo o zakázanú praktiku podľa AI Act. Zákaz praktík využívajúcich AI sa vzťahuje nielen na subjekty, ktoré uvádzajú AI praktiky do prevádzky alebo používajú takéto systémy AI, v tomto prípade štát, resp. príslušné orgán štátnej správy, ale aj subjekty, ktoré by takéto AI systémy uvádzali na trh, teda vývojárov či nasadzujúce subjekty. Je preto otázne, či by vôbec riešenie v rozsahu predpokladanom materiálom predloženom vláde, niekto dodal, nakoľko by mohol porušovať AI Act a hrozila by mu pokuta až do výšky 35 miliónov EUR alebo 7% celosvetového ročného obratu, podľa toho, čo je vyššie.

Ochrana súkromia a osobných údajov

Z  predloženého materiálu je tiež zrejmé, že navrhnuté riešenie bude zásadne zasahovať do súkromia veľkého počtu osôb a zároveň pri ňom bude dochádzať k spracúvaniu veľkého množstva osobných údajov, vrátane citlivých osobných údajov. Najmä biometrické rozpoznávanie osôb je vysoko invazívnym zásahom do súkromia, ktoré môže viesť k sledovaniu jednotlivcov v ich každodennom živote. Napriek zrejmému zásadnému zásahu do súkromia, spracúvaniu veľkého množstva citlivých osobných údajov, či potenciálne ďalším zásahom do základných ľudských práv a slobôd chránených Chartou základných ľudských práv, materiál predložený na vládu neobsahuje žiadnu zmienku o vplyve navrhnutého riešenia na ochranu súkromia či osobných údajov.

Na spracúvanie osobných údajov v týchto prípadoch sa bude primárne vzťahovať smernica (EÚ) 2016/680 o ochrane fyzických osôb pri spracúvaní osobných údajov príslušnými orgánmi na účely predchádzania trestným činom, ich vyšetrovania, odhaľovania alebo stíhania; GDPR sa uplatní v prípadoch, kedy by osobné údaje neboli spracúvané na účely predchádzania trestným činom, ich vyšetrovania, odhaľovania alebo stíhania. Jednou zo základných zásad spracúvania osobných údajov týmito orgánmi je podmienka, že osobné údaje sú primerané, relevantné a nie neúmerné vo vzťahu k účelom, na ktoré sa spracúvajú. Zároveň, v prípade citlivých osobných údajov je spracúvanie možné len vtedy, ak je úplne nevyhnutné, podlieha primeraným zárukám ochrany práv a slobôd dotknutej osoby. Navyše, podľa smernice sú zakázané rozhodnutia založené výlučne na automatizovanom spracúvaní citlivých osobných údajov, napr. biometrických,  ktoré majú pre dotknutú osobu nepriaznivé právne účinky alebo významné dôsledky. Smernica v Článku 27 zároveň stanovuje povinnosť pred spracúvaním vykonať posúdenie vplyvu plánovaných spracovateľských operácií na ochranu osobných údajov, ktorá musí, okrem iného, obsahovať hodnotenie rizík pre práva a slobody dotknutých osôb, opatrenia na riešenie daných rizík, záruky, bezpečnostné opatrenia a mechanizmy na zabezpečenie ochrany osobných údajov.

K používaniu technológii rozpoznávania tváre v oblasti presadzovania práva vydal Európsky výbor pre ochranu údajov (EDPB) usmernenie (05/2022 z 23. Apríla 2023), ktoré špecifikuje podmienky využívania technológii rozpoznávania tváre. EDPB v usmernení opisuje situáciu (Scenár č. 5), ktorá sa nápadne podobá návrhu riešenia a materiálu, ktorý je aktuálne na vláde. EDPB v tomto prípade v usmernení konštatuje, že spracúvanie biometrických údajov na diaľku na verejných priestranstvách na účely identifikácie nezabezpečujú spravodlivú rovnováhu medzi protichodnými súkromnými a verejnými záujmami, čím predstavujú neprimeraný zásah do práv dotknutej osoby podľa článkov 7 a 8 Charty základných práv a slobôd.

Vzhľadom na stanovené ciele a účely zavádzania kamerových monitorovacích systémov využívajúce AI v navrhnutom rozsahu, ich odôvodnenie a použité príklady, ktoré v nedávnej dobe nastali a usmernenie EDPB je nanajvýš otázne, či je riešenie prostredníctvom kamerových monitorovacích systémov využívajúcich AI vhodným, úplne nevyhnutným a proporcionálnym na dosiahnutie týchto cieľov a účelov a teda, či je prípustné podľa právnych predpisov o ochrane súkromia a osobných údajov.

Záver

Vzhľadom na množstvo otázok týkajúcich sa súladu navrhnutého riešenia s ochranou súkromia, základnými právami a slobodami, ochranou osobných údajov či súladu s AI Act a ďalšími predpismi, je nevyhnutne potrebné vykonať hĺbkovú analýzu dôvodnosti, vhodnosti, primeranosti a nevyhnutnosti implementácie monitorovacích kamerových systémov. S ohľadom na aktuálne dostupné informácie sa však zatiaľ skôr javí, že využitie kamerových monitorovacích systémov využívajúce AI v navrhnutom rozsahu nie je v súlade Chartou základných práv a slobôd, Smernicou o ochrane fyzických osôb pri spracúvaní osobných údajov príslušnými orgánmi na účely predchádzania trestným činom ani AI Act.

https://rokovania.gov.sk/RVL/Material/29939/1

Monitorovanie detí na školách a EU AI Act
ASAI – The AI Association