Slovenščina dobila svoj veliki generativni jezikovni model GaMS

Kakovostni podatki – temelj razvoja modela

Eden največjih izzivov pri razvoju velikega jezikovnega modela za slovenščino je bila razpoložljivost kakovostnih učnih podatkov. Za razliko od velikih svetovnih jezikov ima slovenščina bistveno manj govorcev, zato je bilo ključno sodelovanje širše skupnosti.

V okviru zbiralne akcije na portalu povejmo.si so govorke in govorci slovenščine prispevali besedila za razvoj modela. K učnim podatkom so prispevale tudi organizacije, med njimi Narodna in univerzitetna knjižnica, Dnevnik in Slovenska tiskovna agencija.

Zbrani podatki so omogočili razvoj modela, ki bolje razume slovenski jezikovni prostor in posebnosti uporabe slovenščine v digitalnih okoljih.

GaMS – pomemben mejnik za slovensko umetno inteligenco

Tehnični razvoj modela GaMS je potekal v treh ključnih fazah: učenju, prilagajanju in evalvaciji. Raziskovalci so model osnovali na odprtokodnih Googlovih modelih Gemma 2 in Gemma 3 ter ga učili na obsežnih zbirkah slovenskih besedil, ki so vključevale avtorske, strojno ustvarjene in prevedene vsebine.

Sledilo je prilagajanje modela za razumevanje navodil, varno uporabo in boljše upoštevanje posebnosti slovenskega jezika ter kulturnega okolja. Del razvoja je predstavljala tudi obsežna evalvacija, v kateri so raziskovalci preverjali njegovo uspešnost v primerjavi z drugimi odprtimi in lastniškimi modeli.

Temelj slovenske tehnološke suverenosti

GaMS predstavlja pomemben korak k večji neodvisnosti Slovenije od na področju jezikovnih tehnologij. Pri velikih jezikovnih modelih namreč ni pomembna le njihova zmogljivost, temveč tudi nadzor nad načinom razvoja, uporabe in dostopnosti tehnologije.

Model je uporabnikom na voljo kot klepetalnik na portalu povejmo.si, hkrati pa je dostopen tudi kot odprtokodni model na platformi Hugging Face. To omogoča podjetjem, javnim ustanovam in raziskovalcem, da ga prilagodijo lastnim potrebam ter pri tem ohranijo nadzor nad svojimi podatki.

GaMS tako prispeva k varnejši uporabi umetne inteligence, večji zaščiti slovenskega jezika v digitalnem prostoru in prispeva h konkurenčnosti slovenskega gospodarstva.

Od raziskav do uporabnih rešitev v gospodarstvu

Pomemben del projekta je bil tudi prenos tehnologije v prakso. Podjetja Better, Semantika, Špica in XLAB so model GaMS prilagodila za razvoj naprednih industrijskih in poslovnih aplikacij.

Podjetje Semantika je model GaMS prilagodilo za pripravo predstavitvenih gradiv v muzejski rabi ter za napredne muzejske interaktivne aplikacije. Izhodišče vseh rešitev je GalisOnline, dokumentacijski sistem za muzeje in arhive, v katerem so o predmetih zbrani bogati in strukturirani podatki.

Podjetje Špica je z računsko učinkovito inačico modela GaMS omogočilo integracijo govornih tehnologij v napredne industrijske aplikacije za prepoznavanje govora. Model z visoko natančnostjo prepoznava narečja, tuje jezike in govor tudi v hrupnih okoljih. To omogoča zanesljivo komunikacijo med delavci in industrijskimi sistemi tudi v okoljih, kjer so prisotni močan hrup, raznolike jezikovne skupine in zahtevni delovni pogoji.

Podjetje Better je model GaMS prilagodilo z medicinskimi besedili in ukazi s področja klinične in ambulantne rabe. Nastala je medicinska aplikacija, ki avtomatizira delovne procese v zdravstvu. Aplikacija omogoča elektronsko podpisovanje zdravil, avtomatsko transkripcijo govora za odpustna pisma in digitalizacijo obrazcev s prepoznavanjem besedilnih polj in vnosov.

Podjetje XLAB je razvilo napredno aplikacijo za večjo podatkovno učinkovitost ter predvsem večjo pravilnost in robustnejše delovanje pri generiranju izvorne kode in dokumentacije. Računsko učinkoviti veliki jezikovni modeli in razviti cevovodi so uporabljeni za generiranje opisa računalniške infrastrukture v programski kodi.

Prenos najnovejših tehnologij umetne inteligence iz raziskovalnega sektorja v podjetja izboljšuje produktivnost in konkurenčnost slovenskega gospodarstva. Model GaMS pa slovenščino in njeno zastopanost v umetnointeligenčnih sistemih izenačuje z velikimi jezikovnimi skupinami.

Razvoj modela GaMS dokazuje, da lahko slovensko raziskovalno okolje razvije vrhunske rešitve na področju umetne inteligence in jih uspešno prenese v gospodarstvo. Z njim je slovenščina naredila pomemben korak k enakovredni zastopanosti v svetu sodobnih umetnointeligenčnih sistemov.

GaMS je bil razvit v okviru raziskovalno-inovacijskega programa Prilagodljiva obdelava naravnega jezika s pomočjo velikih jezikovnih modelov (PoVeJMo), ki se je izvajal med letoma 2023 in 2026. Projekt je koordiniral dr. Simon Krek, vodja Centra za jezikovne vire in tehnologije Univerze v Ljubljani, ki že deset let razvija vire in orodja za ustrezno jezikovno opremljenost slovenščine v digitalni dobi.

Klepet z modelom GaMS: https://povejmo.si/

GaMS v odprtem dostopu: https://gams.povejmo.si/odprtidostop/