V2-2272

Opredelitev okvira za zagotavljanje zaupanja javnosti v sisteme umetne inteligence in njihove uporabe

Tehnologija umetne inteligence (UI) je dosegla, predvsem v zadnjih 10 letih, številne prebojne uspehe, posebej z izjemno uspešnimi aplikativno pomembnimi metodami strojnega učenja. Te metode se zdaj uspešno uporabljajo na številnih aplikativnih področjih, kot so: razpoznavanje slik, strojno prevajanje, robotika, avtomatsko generiranje besedil in govora, medicinska diagnostika in odločanje v zdravstvu, avtomatizirano odločanje, priporočilni sistemi, avtomatsko odkrivanje v znanosti, odkrivanje novih zdravil itd. Toda nekateri vidiki tehnologije UI, kot so npr. globoke nevronske mreže, vzbujajo v javnosti nezaupanje. Med razlogi za nezaupanje v uporabo UI so: nerazumljivost odločitev sistema UI; videz pristranskosti oz. diskriminacije pri odločitvah, ki jih predlaga sistem UI (npr. v sodstvu, zaposlovanju, zdravstvu); težnje k manipulaciji ljudi prek socialnih medijev; ogrožanja demokracije – možnosti manipulacija volitev; priporočilni sistemi v socialnih medijih, ki povzročajo potenciranje škodljivih in sovražnih vsebin po socialnih medijih; uporaba UI v ubijalskih avtonomnih orožjih.

Gornji zadržki do uporabe UI so vodili do številnih pobud, posvečenih etičnim vidikom UI in pomislekom pred nekaterimi uporabami UI. Te pobude so prispevale k definiranju okvira za t.i. zaupanja vredno UI (trustworthy AI) ter principov, ki bi s predpisi in zakoni utrli pot k zaupanju v uporabo UI. Kljub temu ostaja odnos splošne javnosti do uporabe UI pogosto zelo kritičen.

Eden od glavnih očitkov, ki se pojavljajo v tej zvezi, je v javnosti opisan s frazo pristranskost algoritmov. Naslednja primera sta verjetno v javnosti najbolj pogosto kritizirana kot primera vprašljivih aplikaciji umetne inteligence: (1) sistem COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) za pomoč pri sodniških odločitvah ter (2) sistem za ocenjevanje kandidatov ali kandidatk za zaposlitev pri podjetju Amazon. V obeh kontroverznih primerih je glavni očitek, da sistem UI predlaga pristranske odločitve. Očitana pristranskost je povezana z diskriminacijo po rasi oz. spolu. Ta dva primera in podobni primeri v javnosti veljajo za nesprejemljivo uporabo UI, ki se pogosto povezuje s frazami, kot so »pristranskost algoritmov«, »pristranskost UI« in »pristranskost strojnega učenja«.

Druga pomanjkljivost nekaterih sistemov UI, ki je zelo pogosto omenjana tudi v splošni javnosti, pa tudi v političnih krogih, je nerazumljivost odločitev sistema UI, oz. pomanjkanje človeku razumljive razlage za te odločitve.

Poleg teh dveh problemov, ki vodita do resnih zadržkov pri sprejemljivosti uporabe UI, se pojavljajo se številni drugi zadržki, ki so navedeni zgoraj. Nekateri od njih se strokovno in intenzivno preučujejo tudi na samem področju UI in negativna percepcija javnosti ni videti vedno povsem upravičena. V tem ciljnem raziskovalnem projektu bomo ocenili, kakšna je dejanska nevarnost povezana s splošnimi pomisleki ter kakšna je njihova percepcija v javnosti v svetu ter v Sloveniji. Predlagali bomo okvir za gradnjo zaupanja vredne UI vključno s smernicami za topogledne dopolnitve zakonodaje, kjer bi bile te po naši oceni potrebne. Ocenili bomo tudi učinkovitost tehničnih novosti v metodah področja UI, ki so namenjene utrjevanju zaupanja vredne UI in odpravi pomislekov. Ob tem bomo prispevali tudi nekaj lastnih novosti v pogledu razložljive UI in izobraževanja splošne javnosti v pogledu UI v vsakdanjem življenju.

Naslovili bomo naslednje pomisleke in vprašanja v zvezi z uporabo UI:

• Nerazumljivost odločitev sistema – kako in zakaj se je program odločil, kot se je? Ta problem je znan tudi kot problem črnih škatel ali pa problem razložljivosti.
• Pristranskost odločitev strojnega učenja. Pravzaprav gre predvsem za vtis pristranskosti, ki ga imajo uporabniki. Težko pa bi rekli, da je to res pristranskost algoritmov, kot jo pogosto v splošnih krogih imenujejo komentatorji; kvečjemu gre za pristranskost podatkov, iz katerih se je program učil. Vtis pristranskosti lahko izhaja tudi iz matematično in statistično dobro utemeljenih odločitev pri strojnem učenju. Npr. že z enostavno Laplacovo oceno verjetnosti lahko razložimo, zakaj so manjšinske skupine včasih obravnavane drugače kot večinske.
• Deep fake – UI kot orodje za fabriciranje neresnic, ki se širijo po družbenih medijih, npr. ponaredki videa z globokimi nevronskimi mrežami.
• Zbiranje osebnih podatkov – Kaj se s temi podatki dogaja, kje so meje sprejemljivega? Kljub zakonskim omejitvam je to videti vse bolj agresivno in nepredvidljivo. Ali bi tu pomagalo izobraževanje uporabnikov?
• Vprašanje odgovornosti za napake sistemov UI – kdo je formalno odgovoren za napačne odločitve, do katerih lahko pride ob uporabi zapletenih sistemov UI?
• Manipulacija ljudi po družbenih medijih s priporočilnimi sistemi za priporočanje vsebin, prilagojeno profilu ciljanega uporabnika. Bodisi za reklamiranje, spreminjanje mnenj po omrežju, ali pa tudi za politično oglaševanjein vplivanje.
• Širjenje škodljivih in nevarnih vsebin s pomočjo UI (npr. nasilnih ali nestrpnih) po družbenih medijih
• Vpliv na demokratične procese – vpliv na volilce z uporabo UI in zlorabi osebnih podatkov, tudi takih, ki so pridobljeni nelegalno ali pa z nezavednim soglasjem uporabnika. Oširno je ta problem obravnavan v posebni številki revije Scientific American z naslovom Can democracy survive big data and AI?
• Veliki jezikovni modeli, kot so GPT-3, GPT-4 in ChatGPT. Tu se pojavljata vsaj dva problema: (1) nerazpoznavnost, kdo je besedilo napisal, človek ali računalnik; tu so možnosti zlorabe ogromne, med drugim to lahko vodi do neustavljive informacijske onesnaženosti; (2) Uporaba velikih jezikovnih modelov za avtomatsko programiranje. Tu ni nobene garancije glede pravilnosti tako generirane programske opreme, možne so katastrofalne napake ob dejanski uporabi takega sofwara; za tak software ne obstajajo nobene formalne specifikacije, niti ne povsem zadovoljive neformalne, kaj software dejansko dela?
• Vprašanje avtorstva patentov in umetnin, ki jih generira UI. Na primer, kdo je avtor slik, ki jih avtomatsko generira globok anevronska mreža po tem, ko se je učila iz primerov slik znanega slikarja?

Cilji projekta

C1: Določitev in analiza vpliva različnih značilnosti sistema UI kot so tehnološke značilnosti (robustnost, pojasnilnost, transparentnost, uporabljeni modeli), uporabljene metodologije razvoja, obstoj ustreznih standardov in skladnost z njimi, vrsta licenciranja (npr. odprta koda, lastniška programska oprema), ki so relevantne za zaupanje posameznika v umetno inteligenco;

C2 Določitev in analiza vpliva različnih etičnih načel in temeljnih pravic na zaupanje posameznika v umetno inteligenco; analiza, v kakšni zvezi so posamezni pomisleki in vprašanja, nevedena zgoraj, in percepcija uporabe v javnosti UI v luči teh etičnih načel

C3 Določitev in analiza vpliva kulturnih in družbenih značilnosti, kot so gospodarska stabilnost, socialna ogroženost, dostopnost do izobraževanja, ustrezna zakonodaja za zagotavljanje pravne varnosti in predvidljivosti na zaupanje posameznika v umetno inteligenco;

C4 Določitev in analiza značilnosti posameznikovega statusa, kot so izobrazba, zaposlenost, starost, znanje in veščine s področja IKT na zaupanje posameznika v umetno inteligenco;

C5 Določitev okvira za analizo in spremljanje stanja zaupanja javnosti v umetno inteligenco na podlagi medsebojne odvisnosti in vpliva zgoraj opredeljenih dejavnikov, i.e. značilnosti rešitev UI, etičnih načel, družbenih in kulturnih značilnosti in značilnosti posameznikovega statusa;

C6 Izdelava demonstracijsko verzije sistema za strojno učenje Orange posebej namenjene za splošno izobraževanje v pogledu priložnosti in tveganj strojnega učenja.

Financiranje projekta:

Agencija za raziskave in inovacije Republike Slovenije.