Posebne usmeritve za razvoj in uvajanje UI-sistemov

Ko raziskovalci ali razvijalci razvijajo, prilagajajo, testirajo ali uvajajo UI-sisteme oziroma z njimi povezane digitalne rešitve, morajo že v fazi zasnove upoštevati namen uporabe, kakovost podatkov, pristranskost, razložljivost oziroma razumljivost delovanja, varnost, upravljanje dostopov, sledljivost, dokumentacijo, vpliv na posameznike ter morebitne pravne in etične zahteve.

Posebne usmeritve

Predhodna razvrstitev sistema UI

Pred začetkom razvoja, nabave, pilotnega preizkušanja ali uvedbe sistema UI ga je treba razvrstiti glede na namen in način uporabe.

Presoditi je treba, ali gre za:

prepovedano oziroma nedopustno rabo,
visokotvegan sistem,
sistem, za katerega veljajo posebne obveznosti preglednosti,
sistem z nizkim ali minimalnim tveganjem.

Razvrstitev se dokumentira pred začetkom uporabe sistema. Če lahko sistem vpliva na pravice, obveznosti, oceno, status, zaposlitev, napredovanje, dostop do storitev ali drugo obravnavo posameznika, se šteje, da zahteva posebno presojo pred uvedbo.

Če obstaja dvom glede razvrstitve sistema, se sistem ne uvede ali uporablja, dokler ni pridobljena ustrezna pravna, strokovna ali institucionalna usmeritev ustreznih služb (npr. DPO, pravna služba, IT-služba) ali etične komisije UL ali članice.

Prepovedani ali nedopustni sistemi UI

Na UL se ne razvijajo, uvajajo ali uporabljajo sistemi UI za namene, ki so prepovedani po pravilih EU o umetni inteligenci ali nedopustni zaradi varstva temeljnih pravic, akademske integritete, zaupnosti ali verodostojnosti odločanja.

Visokotvegani sistemi UI

Pred razvojem, pilotnim preizkušanjem ali uvedbo sistema UI je treba presoditi, ali sodi med visokotvegane sisteme oziroma ali lahko pomembno vpliva na pravice, obveznosti, oceno, status, zaposlitev, napredovanje ali drugo obravnavo posameznika.

Če gre za tak sistem, je razvoj ali uvedba dopustna le po predhodni pravni, organizacijski, etični in informacijskovarnostni presoji. Pred uporabo morajo biti določeni najmanj namen sistema, odgovorne osebe, podatki, ki jih sistem uporablja, način človeškega nadzora, dokumentacija, ukrepi za zmanjševanje tveganj, pravila spremljanja delovanja ter postopki za obravnavo napak, incidentov, pristranskosti in drugih nepravilnosti.

Sistem UI, ki pomembno sodeluje pri odločanju o posamezniku, ne sme nadomestiti odgovorne človeške presoje. Končna odločitev mora ostati pri pristojni osebi, ki razume namen, omejitve in tveganja sistema.

Razvojne zahteve in dokumentacija

Če sistem vključuje obdelavo osebnih podatkov ali lahko vpliva na pravice, obveznosti, položaj ali možnosti posameznikov, je treba pravočasno preveriti pravno podlago, načelo najmanjšega obsega podatkov, informiranje posameznikov, varnostne ukrepe, morebitno potrebo po DPIA oziroma drugi oceni tveganj.

Pri razvoju UI-sistemov je treba posebej paziti, da se za učenje, testiranje ali validacijo ne uporabljajo podatki, za katere ni ustrezne pravne, etične, pogodbene ali raziskovalne podlage.

Pri razvoju, uvajanju in uporabi sistemov UI je treba upoštevati Akt o umetni inteligenci EU (Uredba (EU) 2024/1689), Zakon o izvajanju uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci (ZIUDHPUI) in druga pravila, ki veljajo za posamezno področje uporabe, predvsem pravila o varstvu osebnih podatkov, informacijski varnosti, avtorskih pravicah in raziskovalni etiki.