Kako postopati, ko se človek in umetna inteligenca ne strinjata?

Novice zadnjih dveh tednov ponujajo še več različic tovrstnih vprašanj in dilem. UI je ocenjevala izdelke študentov ter se v primerjavi z oceno učitelja odstopala za do 40 točk (od 100 možnih). Detektor je označil besedilo kot rezultat UI, a ne utemelji svoje odločitve. UI pripravi izhodiščno povratno informacijo na izdelek, v katerem so dodana skrita navodila za ocenjevanje. Tudi v teh dveh tednih novice kažejo, da je preverjanje, pojasnjevanje in transparentna raba odgovorov UI in prevzemanje odgovornosti zanje nujna.

Začnimo tokratni UI-novičnik pri obsežnem sistematičnem pregledu in meta-analizi uporabe UI v izobraževanju na STEM področju. Gre za prispevek, kjer so avtorji v sistematični pregled vključili 85 raziskav, v metaanalizo objektivno ocenjenih kognitivnih izidov pa 49 raziskav z 59 učinki ter zaključili, da zanesljivega splošnega učinka uporabe genUI na učenje ni bilo mogoče potrditi. Večji učinki UI so se pogosteje pokazali pri pridobivanju znanja in ne toliko pri razvijanju spretnosti ter takrat, ko je dopolnjevala delo učečega se in ne nadomeščala njegovo razmišljanje. Pri uporabi UI so se uporabniki srečevali z različnimi težavami, kot so oblikovanje dobrih pozivov, kognitivna preobremenitev, nekritično sprejemanje napačnih informacij, površni odgovori ter napačne odločitve, kateri del naloge prepustiti UI. Na STEM področju se je to še posebaj pokazalo pri preverjanju enačb, pisanju programske kode in verjetnosti. Avtorji ugotavljajo, da zanesljivih načinov uporabe UI za večji učinek na učenje še ni, so pa dobrodošla izobraževanja glede oblikovanja pozivov, preverjanja odgovorov UI ter primerjanja z lastnim razmislekom in dodatna podpora tistim učečim, ki imajo manj predznanja.

Pri tej študiji je zanimivo, da za učinek ni pomembno, ali uporabljamo UI, ampak kaj UI v učnem procesu prevzame in kaj opravi študent sam.

To trditev podpira tudi prispevek o kognitivni odpornosti (tj. zmožnosti ohraniti pozornost, priklic, sklepanje in presojo v okolju, kjer je UI stalno dostopna), ki med drugim izpostavi, da univerze nagrajujejo kompetence, zato morajo tudi ocenjevanja temeljiti na praktičnem delu, ki bo zahtevalo miselno trenje. Prav tako vsaka druga aktivnost, ki ne zahteva praktičnega preizkušanja usvojenega znanja, ne preverja ciljev, za katere trdi, da jih. Zato tudi ustni zagovori, nadzorovano reševanje analitičnih nalog ter zaključni zagovori diplomskih del ostajajo veljavni dokazi učenja. Ne samo zato, ker je UI v teh primerih težje prisotna v predavalnici, ampak zato, ker zahtevajo dokazovanje sposobnosti, ki jo je mogoče razviti le s trajnim in zavzetim prizadevanjem. Razmišljanje v realnem času ob prejemanju povratnih informacij je tako še vedno pokazatelj, da je do tega prizadevanja dejansko prišlo.

V nadaljevanju predstavljamo nekaj prispevkov, kjer bo jasno, da nam lahko UI pomaga pripraviti vprašanja za ocenjevanje, ustvari ali uredi ocenjevalno lestvico, oblikuje osnutek povratne informacije za študente, a ne more podati končne ocene, razlagati namesto nas ter prevzeti odgovornosti za pedagoške odločitve.

Zadnje dni v različnih prispevkih (npr. portal Times Higher Education, novice na Univerzi v Cardiffu) odmevajo rezultati raziskave, kjer so avtorji primerjali ocene 50 dodiplomskih esejev iz bioznanosti, ki jih je podal učitelj, z ocenami generativne umetne inteligence. Izkazalo se je, da je UI šibkejša dela pogosto ocenila previsoko, najboljša dela prenizko, posamezna ocena pa je od človeške odstopala tudi do 40 točk od 100 možnih. Povprečje celotne skupine je sicer na račun teh razlik delovalo verjetno, a ocena posameznega študenta je bila nezanesljiva. In ravno prilagojenost posamezniku bi morala biti ključna prednost uporabe UI.

Podobno razliko pri ocenjevanju brez in z UI predstavi tudi dr. Deepshikha iz Univerze v Londonu. Zagovarja, da lahko model UI prepozna (površinsko) tekoče zapisano besedilo, strukturo in prisotnost zahtevanih sestavin dela, precej težje pa presodi o razvoju argumenta, teži dokazov ter pomenu napake v konkretni učni situaciji. Deli tudi svojo izkušnjo, kjer pojasni, da so se orodja UI najbolje obnesla pri ocenjevanju oz. podala najbolj podobno oceno človeški takrat, ko se je za ocenjevanje uporabljala dodelana, jasna ocenjevalna lestvica, ki jo osebno tudi vidi kot najboljši napovedovalec strinjanja med človekom in UI. Tudi rezultat ocenjevanja UI v tem primeru vidi kot komentar, ki lahko pomaga študentom, ki se zanašajo na hitre povratne informacije. A izpostavi tudi nekaj zelo pomembnega – povratne informacije, ki jih podajo orodja UI, so zgolj informacije oz. komentarji, medtem ko bi kakovostna povratna informacija morala vključevati tudi dialog, biti osmišljena ter oblikovana previdno, skrbno ter z mislijo na medsebojne odnose. Na njihovi univerzi so te premisleke prenesli v konkretne korake: vlaganje v oblikovanje ocenjevalnih lestvic, pričetek formativnega ocenjevanja ter institucionalni nadzor nad podatki.

Še nekoliko bolj neprijeten preizkus je pokazala varnostna raziskava, kjer so avtorji s posrednim dodajanjem navodil oz. pozivov v končni izdelek, kot bi ga oddal študent (za namen študije niso uporabili resničnih izdelkov študentov), manipulirali rezultate ocenjevanja. S tem so želeli opozoriti na ranljivost ocenjevanja z UI ter neskladje med varnostnimi ukrepi in delovanjem UI sistemov. Avtorji zagovarjajo oblikovanje jasnih smernic in pravilnikov za uporabo UI, izboljšanje strokovnega znanja med izobraževalci in drugimi vključenimi v izobraževalni proces ter standardizirana varnostna testiranja odpornosti UI sistemov na tovrstna skrita navodila za bolj odporno vrednotenje znanja.

Ko ocenjevanja ne zaupamo modelom UI, se lahko hitro obrnemo na detektorje UI vsebin. Mnenjski prispevek o  pravilnikih za uporabo UI opozarja, da binarna pravila »dovoljeno ali goljufanje« ponavljajo stare težave pravilnikov o plagiatorstvu. Posebej izpostavljeni so lahko tuji študenti, večjezični študenti, sploh kadar je jezikovna nenavadnost razumljena kot dokaz uporabe UI.

Tudi pri znanstvenih slikah so nova orodja za detekcijo UI dandanes precej boljša pri iskanju podvajanj in predelav, niso pa zanesljiva pri odločanju, ali je neka podoba/slika umetno generirana ali ne. Avtorica zagovarja, da je lahko slika, ki vključuje navedbo, da je UI-generirana, popolnoma legitimna, medtem ko lahko slike, obdelane s klasičnimi načini, zavajajo. Detektorji ne morejo ugotoviti avtorstva, namena, znanstvene veljavnosti in niti tega, ali je določena uporaba umetne inteligence kršila pravila.

Avtorji zagovarjajo, da smo v post-plagiarizem obdobju, kjer hibridno pisanje in ustvarjanje človeka ter UI postaja normalno. Namesto površinskega ocenjevanja besedila/slik se moramo osredotočiti na presojo v tem besedilu/sliki, proces, s katerim besedilo/slika nastane, in na odgovornost piscev.

Na temo detekcije velja omeniti, da se je Univerza v Southamptonu odločila opustiti pogodbo s podjetjem, ki ponuja sistem za UI detekcijo zaradi nestrinjanja s pogodbenimi pogoji uporabe študentskih del, kar podjetje sicer zavrača. Iz tega prispevka resda ne moremo upravičeno sklepati o situaciji, lahko pa si postavimo vprašanje, kdo hrani oddaje študentov v orodjih za detekcijo, za koliko časa, za kakšen namen in pod kakšnimi pogoji? Verjetno se danes že vsi zavedamo, da je pogodbeni drobni tisk postal del pedagoške odgovornosti, ki jo imamo.

Britanski Thinktank je v povezavi z nedovoljeno rabo UI na univerze podal poziv, da naj le-te končajo z izvajanjem nenadzorovanih oddaljenih izpitov (npr. »take-home« izpiti), saj menijo, da s temi vplivajo na javno podobo in zanesljivost študija. Predlagajo zamenjavo te vrste izpitov z izpiti v živo ter uvedbo izobraževanj za oblikovanje modernih, na UI odpornih ocenjevalnih nalog, ki morajo biti transparente in omogočati vsem vključenim pregled nad tem, kako so bili ocenjeni.

Na podobno temo se je navezala avtorica v mnenjskem članku, kjer je izpostavila, da je genUI razkrila določene slabosti množičnega visokošolskega poučevanja – velika predavanja, malo dialoga in ocenjevanje končnega izdelka namesto razvoja razmišljanja. Kot alternativo predlaga manjše interdisciplinarne skupine, medvrstniško poučevanje, razpravo, delo s primeri in postopno nastajanje besedila oz. izdelkov. Izdelki UI lahko postanejo predmet analize, preverjanja in predelovanja. Rešitve zato ne vidi v učinkovitejšem nadzorovanju študentov, temveč več vidnega mišljenja, stika z mentorjem in vrstniki ter procesnega ocenjevanja.

V podporo preoblikovanju študijskega procesa govori tudi prispevek, v katerem avtorji predlagajo 5-stopenjski postopek prenove. Najprej pregledamo kompetence in presodimo, katere dele izdelka je mogoče avtomatizirati. Nato temu prilagodimo učne izide, oblikujemo naloge, ki poleg končnega izdelka pokažejo tudi proces, uporabo UI umestimo v jasne meje ter nazadnje preverimo, ali je študent zahtevano znanje sposoben uporabiti tudi brez njene pomoči.

Zanimiv model sprotne podpore študentom z UI je predstavljen v prispevku, ki opisuje vrzel v razumevanju, ki nastane, ko učitelj iz odzivov nekaj študentov sklepa o razumevanju cele skupine. Avtorica predlaga model pogostih manj tveganih preverjanj znanja, na podlagi katerih se študentom ponudijo prilagojene učne poti – dodatna razlaga in primeri, kratko branje, ogled videoposnetkov in poslušanje podkastov ter zahtevnejše naloge. UI lahko pomaga pri pripravi diagnostičnih vprašanj, preoblikovanju vsebine, ustvarjanju predmetnih agentov ter sprotnih hitrih povratnih informacijah. Vse to lahko pomaga vključiti tudi tiste študente, ki so običajno manj dejavni.

V tem sklopu si bomo ogledali nekaj konkretnih primerov etične uporabe UI v študijskem procesu.

Prvi primer opisuje izvajanje dvostopenjskih pisnih nalog. Študenti so morali najprej sami napisati osnutek besedila, nato pa so ga revidirali z uporabo UI ter pojasnili, katere predloge so sprejeli ali zavrnili. Začetni osnutek je predstavljal 80 % ocene, revizija z UI 10 % in refleksija še zadnjih 10 %. Študenti so glede uporabe UI poročali o večji jasnosti, hitrejšem urejanju in uporabnih jezikovnih popravkih, pa tudi o napačnih strokovnih predlogih in občutku izgube lastnega glasu.

V drugem primeru avtorica razlikuje med izogibanjem uporabi UI ter uporabi UI kot bližnjice, ki oba vodita k temu, da študent ostaja brez dejanskega učenja. Predlaga, da UI deluje kot sogovornik za študente za pridobivanje osnovnih povratnih informacij, npr. prepozna možno in šibko stran izdelka, ki ga pripravljajo, razloži napake ali pripravi dodatne naloge za vajo, ne da bi naloge, s katerimi se sreča študent, dejansko rešila. Tudi v tem primeru avtorica spodbuja, da študent prvo in posodobljeno različico izdelka primerja ter opravi refleksijo glede popravkov, ki jih je naredila UI. Podobno, kot je to razvidno iz celotnega UI-novičnika, poudarja miselni napor, metakognicijo in kritično sprejemanje odgovorov UI.

Pri tretjem primeru avtorja predstavita nalogo na področju inženirstva, v kateri študenti analizirajo resnični proces in zberejo lastne dokaze o njegovem delovanju. UI sme pomagati pri razlagi navodil, oblikovanju analitičnih vprašanj, zgradbi besedila in jezikovni jasnosti. Ne sme pa si izmišljati opazovanj, meritev, virov, zaslonskih slik ali diagrama procesa. Naloga zahteva vizualni prikaz procesa, preverjanje notranje skladnosti podatkov ter izjavo o tem, katero orodje je študent uporabil, za kakšen namen in kako je rezultate preveril.

Četrti primer prihaja iz slovenskega okolja, kjer so na DOBA fakulteti izvajali pilotni projekt s 140 študenti, s katerimi so uporabili splošnega UI tutorja z znanjem o predmetu (npr. informacije o rokih za opravljanje izpitov, obveznostih študentov, seznamu gradiv in drugih tehničnih podrobnostih, odgovarjanje na organizacijska vprašanja ter pomoč pri branju skript, reševanju kvizov itd.). Večina študentov je v samooceni bila s tutorjem zadovoljna in so ga videli v vlogi virtualnega mentorja. Poleg tutorja so uvedli še dve UI osebi. Z eno so študenti preverjali razumevanje vsebine, z drugo so pa prek sokratskega pristopa prihajali do odgovorov na vprašanja. Študenti so v samooceni poročali o prihranku časa z uporabo UI ter boljšem razumevanju.   

Kot zanimivost dodajamo tudi nekoliko drugačen primer. Avtorja opisujeta uporabo kloniranega glasu učitelja pri izdelavi asinhronih videov, ki po njunih navedbah omogoča kar 60 % prihranek časa pri ustvarjanju posnetka. Ključni potek sestavljajo natančen scenarij, začetni posnetek raznolikega govora, generiranje zvočnega zapisa in obvezen človeški pregled. Prednost je lažje popravljanje posameznih delov predavanja brez novega snemanja v studiu. Posebej poudarjata izrecno dovoljenje govorca, vnaprej opredeljen namen uporabe, ustrezno pogodbeno soglasje in končni pregled izgovorjave, ritma ter pomena.

Če študentom povemo le, kaj je dovoljeno pri uporabi UI, jih učimo upoštevanja pravil, ne pa presojanja. V prispevku o  UI-pismenosti, ki presega tehnične spretnosti, avtorici predlagata štiri premike: UI obravnavati kot družbeno-tehnični sistem; ne iskati zgolj tehničnih popravkov (npr. pisanje učinkovitih pozivov, identifikacija halucinacij, prepoznavanje pristranskosti, vrednotenje z UI generiranih vsebin), ki dandanes niso več dovolj; razvijati občutek za lastno zmožnost vplivanja na razvoj sistemov in pravilnikov glede uporabe UI ter razmišljati o različnih prihodnostih.

Za konkretizacijo te ideje je do določene mere poskrbel UCL z Afriškim institutom za matematične znanosti, saj so pripravili brezplačen in prilagodljiv komplet učnih gradiv za učenje odgovorne uporabe UI (ta dopolnjuje učni program Google DeepMind AI Research Foundations). V več kot 50 urah dejavnosti povežejo strojno učenje z etiko, sociologijo, filozofijo in okoljsko pravičnostjo. Vsebine predstavljajo dobro izhodišče za vse tiste, ki UI-pismenosti ne želijo skrčiti na seznam orodij.

Odgovor na to vprašanje je tudi skozi novice zadnjih dveh tednov jasen. Človeška presoja ostaja na prvem mestu. Ne zato, ker bi bili nezmotljivi, ampak zato, ker (vsaj zaenkrat) bolje upoštevamo kontekst, pojasnimo razloge, vsakodnevno poslušamo odzive študentov in smo odgovorni za svoja dejanja, četudi lahko ta prinašajo tudi posledice. UI nam lahko ponudi opozorilni signal ali poda drugo mnenje, končnih odločitev pa ne more sprejeti namesto nas.

Ob izidu današnjega novičnika so bile objavljene tudi nove Smernice UL za uporabo umetne inteligence. Določajo skupna izhodišča za uporabo UI pri učenju, poučevanju, ocenjevanju, raziskovanju in strokovnem delu. Njihovo prvo načelo se neposredno navezuje na vprašanje, ki smo ga odprli v tokratnem UI-novičniku - za uporabo UI in končni rezultat je vedno odgovoren človek, UI pa ne nadomešča strokovne, pedagoške ali raziskovalne presoje. Smernice obravnavajo tudi varstvo podatkov, transparentnost, akademsko integriteto, pravičen dostop in sorazmernost uporabe ter vključujejo ločene usmeritve za študente, pedagoge, raziskovalce in strokovne delavce.

Podobno kot v prejšnjih številkah UI novičnika vas tudi tokrat vabimo, da v kolikor pri svojem predmetu preizkušate premišljeno rabo UI, ste zaradi nje spremenili nalogo ali pa ste naleteli na dilemo, ki bi koristila tudi drugim, nam izkušnjo predstavite prek kratkega obrazca.

Hkrati vas vabimo, da krepite lastne kompetence s področja UI-pismenosti prek (zaenkrat) štirih spletnih delavnic, na katerih lahko samostojno, v lastnem tempu in času predelate vsebine, o katerih je bilo veliko pisanja tudi v današnjem UI-novičniku.

Avtorice: Sanja Jedrinović Čufer, Mateja Bevčič, Eva Kern Nanut, Eva Škraba, Maja Kosmač,
Center UL za uporabo IKT v pedagoškem procesu