AI LinguisticsAI Lexicography
← Nazad na rječnik / Zurück zum Wörterbuch / Back to the dictionary
Bosansko–Njemački rječnik

Leksikografska obrada i umjetna inteligencija

Lexikographische Arbeit mit KI · Lexicographic Work with AI

Leksikografska obrada i umjetna inteligencija · Lexikographische Arbeit mit KI · Lexicographic Work with AI

Leksikografska obrada uz podršku umjetne inteligencije

Koncepcija i nastanak rječnika

Bosansko-njemački online rječnik predstavlja digitalni leksikografski projekt koji povezuje savremenu lingvistiku, računarsku obradu prirodnog jezika i umjetnu inteligenciju. Cilj je razvoj sveobuhvatnog dvojezičnog rječnika koji, pored prijevodnih ekvivalenata, pruža informacije o značenju, gramatičkim osobinama i upotrebi riječi u različitim kontekstima.

Rječnik je zamišljen kao dinamičan digitalni sistem čiji se sadržaj postupno proširuje, provjerava i unapređuje. Temelj obrade čini pojedinačno značenje riječi: višeznačne riječi razgraničavaju se po značenjima, a svakom se značenju pridružuju odgovarajući njemački ekvivalenti, gramatički podaci i, u skladu sa stepenom obrađenosti, primjeri upotrebe, tipične leksičke veze i frazeološki izrazi.

Jezički modeli u leksikografskoj obradi i kontroli

Posebnost projekta jeste primjena velikih jezičkih modela (Large Language Models – LLM) u različitim fazama izrade rječnika. Oni se koriste za analizu i strukturiranje leksičke građe, razgraničavanje značenja, predlaganje prijevodnih ekvivalenata i pripremu njihovih leksikografskih opisa.

Jezički modeli pomažu u semantičkoj obradi, provjeri gramatičkih podataka (uključujući rod, fleksiju, rekciju i valenciju), pripremi dvojezičnih primjera te prepoznavanju kolokacija, tipičnih leksičkih veza i frazeoloških izraza. Dodatni postupci automatske kontrole služe otkrivanju mogućih grešaka, nedosljednosti i nepotpunih podataka.

Obrada se odvija u više faza: analiza i priprema podataka, razgraničavanje značenja, njemačka semantička i gramatička obrada, provjera primjera i leksičkih veza te kontrola prije objavljivanja. Jezički modeli nisu nepogrešivi niti samostalno potvrđuju tačnost rječničkih podataka; njihovi rezultati podliježu redakcijskim pravilima i provjerama.

Pouzdanost podataka i moguće greške

Primjena umjetne inteligencije omogućava bržu obradu velike količine građe, ali ne isključuje greške. Posebno tokom razvoja rječnik može sadržavati netačne ili nepotpune informacije. Moguće vrste grešaka obuhvataju:

  • Prepoznavanje teksta i leme: pogrešno očitavanje slova, dijakritika, granica natuknice ili oblika riječi tokom digitalizacije i automatske obrade.
  • Semantičke i prijevodne greške: pogrešno razgraničavanje značenja, izostavljeno značenje ili njemački ekvivalent koji odgovara samo drugom kontekstu; moguć je i neidiomatičan prijevod.
  • Gramatičke greške: netačan rod, fleksija, glagolski oblik, rekcija, valencija ili druga gramatička informacija.
  • Primjeri i frazeologija: neprirodni primjeri, neprikladan prijevod ili pripisivanje izraza pogrešnom značenju.
  • Nepotpuna obrada: nedostajuće riječi, značenja, stručni termini, kolokacije ili frazeološki izrazi.

Vjerovatnost greške nije jednaka u svim kategorijama. Povećan rizik postoji kod složene višeznačnosti, homonimije, rijetkih riječi, stručne terminologije i idiomatskih izraza, kao i kod loše očitane digitalizirane građe. To su kvalitativne procjene rizika, a ne izmjerene stope grešaka.

Pouzdani procenti grešaka po kategorijama mogu se objaviti tek nakon reprezentativne empirijske provjere. Automatska kontrola smanjuje dio rizika, ali ne garantuje potpunu tačnost.

Učešće korisnika i prijedlozi korekcija

Jedan od razvojnih ciljeva jeste sistem kroz koji će korisnici moći slati prijedloge za ispravku, dopunu i brisanje rječničkih podataka. To uključuje korekcije natuknica, značenja, prijevoda, gramatičkih informacija, oznaka, primjera, kolokacija i frazeoloških izraza, kao i prijedloge za nove jedinice.

Planirano je da svaki zaprimljeni prijedlog najprije prođe AI-analizu: jezički model identificirat će vrstu intervencije, uporediti prijedlog s postojećim unosom, procijeniti opravdanost promjene i sastaviti obrazloženo moguće rješenje za autora, uključujući procjenu potrebe za korekcijom i eventualne alternative. Procjena modela bit će pomoćno sredstvo, a ne automatska odluka.

Konačnu odluku o prihvatanju, izmjeni ili odbijanju prijedloga donosit će autor rječnika. Trenutni obrazac za korekcije na stranici još je probna funkcija: omogućava izvoz prijedloga kao JSON-datoteke, ali ga ne šalje automatski niti pokreće navedeni postupak AI-kontrole.

Kontinuirani razvoj

Rječnik se razvija kao živi digitalni leksikografski resurs. Njegova struktura omogućava proširivanje leksičkog fonda, naknadnu doradu postojećih jedinica i povezivanje s elektronskim korpusima radi pronalaženja autentičnih primjera i istraživanja kolokacija.

Dugoročni cilj jeste pouzdan, transparentan i naučno utemeljen bosansko-njemački online rječnik u kojem se jezički modeli, automatizirana kontrola, lingvistička redakcija i doprinosi korisnika međusobno dopunjuju.

Autor i voditelj projekta: Prof. dr. Vedad Smailagić