Кој ќе ги зборува нашите јазици кога ВИ ќе го преземе светот?

Не смееме да останеме само корисници на туѓа технологија, мора да бидеме креатори

Затоа не е случајно што Србија се обидува да го заземе своето место на глобалната мапа на вештачката интелигенција. Михаило Јовановиќ, директор на Канцеларијата за ИТ и еУправа, најави соработка со француската компанија „Мистрал АИ“ (Mistral AI) во развојот на голем јазичен модел приспособен на српскиот јазик.

„Српски зборуваат релативно мал број луѓе. Големите алатки како ЧетГПТ на ’Опен еј-ај’ и другите можат да комуницираат на српски, но штом ќе почнете да користите кирилица, екавски изговор или различни дијалекти, можете да видите дека не функционираат доволно добро. Тие модели ги користат податоците достапни на интернет, но не се доволно обучени за содржини на српски. Ако ние не ги приспособиме, веројатно никој нема.“

Неговата последна реченица можеби најдобро ја опишува суштината на целата трка на малите јазици во ВИ, па не е доволно ВИ малку да разбира српски, бидејќи во економијата на иднината, каде што централно место има ВИ, јазикот повеќе не е само прашање на идентитетот туку и прашање на пазарот. Но зошто тогаш француската компанија „Мистрал АИ“ влегува во игра?

„Го избравме ’Мистрал АИ’, француски модел, бидејќи Србија има важна соработка со француската влада. Третиот суперкомпјутер, кој би требало да пристигне на почетокот на следната година, се развива токму во рамките на таа соработка и се темели на чипови на ’Енвидија’. Формиравме тим што ќе го приспособи моделот Мистрал на српскиот јазик“, истакнува Јовановиќ и додава дека денешниот ЧетГПТ има широко, но не и длабоко познавање на српскиот јазик. „Затоа нашиот модел мора да биде посебно приспособен на области како правото, здравството и образованието. Адвокатите би можеле да го користат за правна анализа, лекарите за медицинска терминологија, а училиштата и факултетите за образовни содржини.“ И сето тоа, вели тој, би придонело за економскиот раст, бидејќи компаниите би ги забрзале постапките, би ги намалиле трошоците и би го подобриле работењето.

Истражувачот Илија Богуновиќ, доцент по вештачка интелигенција и машинско учење на Универзитетскиот колеџ во Лондон (University College London), објаснува дека денес проблемот најчесто се решава со т.н. фино приспособување на постојните ЛЛМ, но предупредува и дека нема бесплатен ручек во развојот на вештачката интелигенција: „Моделот има конечен број параметри, па кога ќе го научите нов јазик, тој до одреден степен го заборава англискиот. Тоа е важен компромис и прашањето е што всушност сакаме да постигнеме. Насоката што ја гледам како најперспективна се т.н. мета-ЛЛМ, модели дизајнирани така што можат да се приспособат на нов јазик со релативно брзо дополнително учење. Рецептот би бил: (1) добар мета-ЛЛМ како основа, плус (2) квалитетни податоци за јазици со ограничени ресурси за надгледувано фино приспособување. Клучот е во квалитетот на податоците. За регионалните јазици тоа е реално изводливо“, вели Богуновиќ.

Меѓутоа, проблемот на малите јазици не е само технички туку и длабоко културен, бидејќи големите модели денес главно ги оптимизираат одговорите според просечниот корисник, додека јазичните и културните специфики често се губат во тој процес. Тој смета дека токму тука се појавува границата на денешната локализација на вештачката интелигенција. За моделите навистина да го разберат локалниот контекст, не е доволно да ги познаваат граматиката и вокабуларот, туку треба да ги разбираат хетерогеноста на општеството, различните културни обрасци, хуморот, историскиот контекст и начинот на комуникација. Но се поставува прашањето дали постои начин плурализмот на човечките вредности директно да се вгради во структурата на моделот. „Една насока се архитектурите на мешање експерти (Mixture of Experts, MoE), каде што различни ’експерти’ во рамките на истиот модел можат да учат различни вредности или стилови. Но како точно да се управува со таков модел, кога да се повика кој експерт и како да се комбинираат резултатите во случај на плурализам, сè уште е отворено алгоритамско прашање. Искрено, нема јасен рецепт; ова е едно од активните подрачја на истражување“, смета Богуновиќ и истакнува дека е тешко да се создаде универзален модел што еднакво би ги разбирал сите јазици, култури и системи на вредности.

„Не може истовремено да се биде најдобар хирург, математичар и поет, а истото тоа важи и за моделите. Секогаш работиме со конечен број параметри, што значи дека секој ’универзален’ модел нужно е компромис. Гледам два пристапа. Првиот е вклучување на плурализмот во еден модел, што неизбежно значи компромиси во сите димензии. Вториот, кој ми изгледа ветувачки, е плурализам преку екосистем од специјализирани модели, различни модели за различни контексти, јазици, домени. Суштината на плурализмот можеби не лежи во еден модел што ’добива сè’, туку во здрав екосистем од различни модели“, нагласува Богуновиќ.

Во таа трка, отворените модели и достапните збирки на податоци би можеле да одиграат клучна улога за малите јазици. Без отворени алатки, само неколку од најголемите технолошки компании ќе имаат ресурси за развој на сериозни ВИ-системи, додека малите заедници ќе останат технолошки зависни, предупредува Илија Богуновиќ, додавајќи дека е скептичен и кон идејата за државна регулација.

„Сегашната глобална поделба е таква што САД и Кина иновираат, а ЕУ носи закони, така изгледа денес. Самиот Закон за вештачка интелигенција (AI Act), таков каков што е, не содржи посебни одредби за заштита на јазичните и културните малцинства. Фокусот е ставен на класификацијата на ризиците и транспарентноста на моделите за општа намена. За вистинска заштита на малите јазици се поважни други работи, програмите за финансирање, отворените податоци, академската инфраструктура, изградбата на институции, отколку самиот Закон за вештачка интелигенција.“

Со други зборови, законот можеби ја поставува рамката, но вистинската работа се одвива во лабораториите и институтите. Токму поради тоа тој верува дека иднината на малите јазици нема да зависи од големите државни стратегии, туку од специјализирани тимови, истражувачки центри и стартапи што ќе развиваат модели за специфични заедници и јазици.

Зошто библиотеките денес се поважни од кога било?

Проблемот на малите јазици во големите ЛЛМ не е само во архитектурата на моделите туку и во она на што ги обучуваме, истакнува д-р Василије Милновиќ, раководител на Центарот за наука при Универзитетската библиотека „Светозар Марковиќ“ во Белград. Моделот на вештачка интелигенција не го усвојува јазикот како човекот, преку правила, образование и култура, туку преку огромни количества податоци од кои препознава обрасци, стилови и значења, а токму тука малите јазици доаѓаат во нерамноправна положба.

„Развојот на домашен ЛЛМ за српскиот јазик не е прашање на технолошки престиж, туку на дигитален суверенитет“, нагласува Милновиќ и додава дека поимот „дигитален суверенитет“ денес често се користи во технолошки и политички контекст, но кога зборуваме за јазикот и културата, тој всушност значи способност на едно општество да остане видливо и автономно во дигиталниот свет.

„Во минатото државите го градеа културниот суверенитет врз образованието, културните институции и културните политики и влијанија. Денес голем дел од информациите, комуникацијата, па дури и културните содржини, се наоѓа на дигиталните платформи и ВИ-системите. Тоа значи дека ако јазикот на одредена култура не е доволно присутен во тие системи, тогаш таа култура станува зависна од туѓи модели и туѓи културни приоритети. Моделите на ВИ стануваат нови посредници во образованието, информациите и секојдневната комуникација. Ако немате можност да влијаете врз тие системи на својот јазик, тогаш долгорочно ја губите контролата врз сопственото културно наследство. Секако, дигиталниот суверенитет не значи изолација. Но суштината е да се почитува домашното знаење, да се работи во согласност со националната стратегија. Затоа министерствата за култура, наука и образование треба многу повеќе да соработуваат со библиотеките, универзитетите и институтите, а тоа важи дури и за ВИ-компаниите. Зашто прашањето за зачувувањето на јазикот повеќе не е само прашање на книги и наставни програми туку и на тоа како ќе нè разбираат машините што ќе го обликуваат дигиталниот свет во времето што доаѓа.“

Според Милновиќ, српскиот јазик, како јазик со релативно мал број говорници и ограничен дигитален корпус, речиси секогаш останува периферно застапен во големите системи. Тоа има неколку последици. Првата е квалитетот: моделите често слабо ги разбираат нијансите на српскиот јазик, падежите, дијалектите, административниот и правниот јазик, а особено книжевниот и културниот контекст. Втората е, како што истакнува, дека ако се потпираме исклучиво на глобалните платформи, тогаш клучната дигитална инфраструктура на општеството останува надвор од негова контрола – од јазикот и образованието до медиумите и јавната администрација.

„Соработката на Србија со ’Мистрал АИ’ е важна, но не значи ништо ако не се земе предвид самиот јазик. Европскиот пристап кон развојот на ВИ генерално инсистира на поотворени модели, транспарентност и поголема јазична разновидност, што е од огромно значење за малите јазици. Меѓутоа, ако таа ВИ не се обучи врз исклучително добри дигитални збирки, тогаш постои опасност (а веќе имаме такви примери) сè да се претвори во ’регионален хаос’, без јасна диверзификација по јазици и секогаш со политички опашки“.

Долгорочно гледано, јазиците што не се доволно присутни во идните ВИ-системи ризикуваат да станат дигитално невидливи, што значи дека и нивната култура, книжевност и наследство ќе станат невидливи. Според Милновиќ, денешните библиотеки се поважни од кога било. Токму тие ги обезбедуваат податоците од кои моделите ги „учат“ јазикот, културата и општествените обрасци. Во минатото културните институции, архивите и библиотеките имаа дополнителна одговорност да обезбедат јазикот да биде присутен и видлив во дигиталниот простор. Моделите учат од голем број текстови – дигитализирани книги, весници, научни дела, архивски материјали или современа комуникација, а ако таквите содржини не се достапни, тогаш присутноста на тој јазик во ВИ-системите ќе биде ограничена.

„Затоа дигитализацијата на културното наследство денес станува многу повеќе од обично зачувување и архивирање. Таа станува темел на технолошката репрезентација на една нација. Тука библиотеките преземаат нова, исклучително важна улога. Тие повеќе не се само места за чување на физичкото знаење туку стануваат и клучни чувари на податоци – институции што обезбедуваат висококвалитетни, проверени и лингвистички релевантни корпуси за идните ВИ-системи. Тоа е особено важно за јазици како српскиот, каде што количеството на достапни дигитални содржини не може да се спореди со англискиот или кинескиот. Но суштината е во квалитетот“, нагласува д-р Милновиќ и додава дека ако ВИ-моделите се обучуваат исклучиво со содржини од социјалните мрежи или комерцијалните платформи, тогаш добиваме осиромашен и често агресивен или тривијален јазичен модел. Културните институции можат да понудат нешто сосема поинакво: книжевен јазик, историски континуитет, терминолошка прецизност, дијалектна разновидност и културен контекст.

Тој наведува дека големите јазични модели функционираат врз принципот на статистичка доминација: колку еден јазик е позастапен во податоците толку моделот попрецизно го разбира и репродуцира. Англискиот, во таа смисла, практично е мајчин јазик на современата вештачка интелигенција, додека јазиците од нашиот регион влегуваат со значително помалку податоци, па големите модели ги гледаат како збир од слични јазици, поради што редовно доаѓа до нивно мешање. ВИ тежнее кон просекот, а секој просек значи бришење на специфичностите. Ако милиони луѓе секојдневно користат модели што фаворизираат неутрален, меѓународен стил на изразување, со текот на времето ќе дојде до јазична хомогенизација. Тоа е особено опасно за српскиот јазик, кој историски е многу богат со варијации. Затоа ВИ во моментов звучи правилно во сите свои облици, но стерилно и неприродно. Сепак, технологијата не мора нужно да доведе до губење на разновидноста. Напротив, со висококвалитетни локални корпуси и внимателно обучени модели, ВИ може да ни помогне во зачувувањето на јазичното богатство.

Милновиќ вели дека Универзитетската библиотека ја има збирката „Претражива“ (Pretraživa), која содржи речиси два милиона дигитализирани страници од историски весници. Меѓу другото, таму се наоѓаат и дигитализирани книжевни списанија. Тоа значи дека квалитетот на јазикот во таа збирка е висок, што ја прави добра збирка за обука на вештачката интелигенција. Потоа, тука е и збирката создадена во рамките на KOСТ-акцијата „Далечинско читање“, на која Универзитетот работел заедно со Друштвото за јазични ресурси и технологии, при што биле дигитализирани, исправени и анотирани српски романи од периодот 1840–1920 година. Таа збирка е прогласена за една од најдобрите во контекст на европските збирки. Таму се дигитализирани и голем број докторски дисертации и научни трудови – повторно, станува збор за квалитетен јазик.

„Слични збирки од други институции се идеален материјал за обука на вештачката интелигенција. Така, главните јазици имаат милијарди реченици достапни од книги, интернет, научни бази на податоци и медиуми, додека на српски јазик многу од тоа сè уште не е дигитализирано (нешто што во многу земји веќе е завршено), а особено не е систематски обработено за користење во вештачката интелигенција. Србија всушност поседува вредни ресурси, но посебен проблем е фактот што нашите ресурси главно се фрагментирани, нестандардизирани и неподготвени за обука на модели на вештачка интелигенција. Станува збор за голема инфраструктурна работа со која мора да управува локалната стручна јавност, а не поединечни или меѓународни интереси.“

Затоа вештачката интелигенција е и голема можност и сериозен ризик, а исходот зависи исклучиво од нас, нагласува Милновиќ. „Од една страна, вештачката интелигенција првпат овозможува дури и малите јазици да добијат софистицирани дигитални алатки што претходно беа резервирани исклучиво за големите јазици. Тоа автоматски, во нашиот контекст, значи подобро пребарување на српски јазик, можност за создавање паметни образовни системи, автоматско преведување, полесна дигитализација на книжевноста, архивите и културното наследство. Во таа смисла, ова е можност српскиот јазик и српското културно наследство да станат многу повидливи на глобалната сцена. Но мораме побрзо да се приспособиме. На пример, ако учениците и студентите во иднина можат да користат интелигентни системи што работат на добар српски јазик, тогаш српскиот јазик ќе стане јазик на знаењето и технологијата, а не само локално средство за комуникација.“

Меѓутоа, постои и друга страна на процесот, предупредува Милновиќ. „Ако тоа не се направи на вистински начин, српскиот културен простор може да биде колонизиран од подоминантни јазични култури и на тој начин маргинализиран. Луѓето природно ги користат алатките што функционираат подобро, па постои опасност целиот локален културен корпус да премине на големите или подоминантните јазици, бидејќи ВИ-системите на тие јазици едноставно се поквалитетни. Затоа развојот на ВИ за српскиот јазик е прашање на културна стратегија, а не на технологија, и се плашам дека тоа сè уште ни недостига. Конечно, најважно е да се сфати дека јазиците денес повеќе не постојат само во книгите и училиштата. Тие постојат и во алгоритмите, пребарувањата и податоците врз кои се обучуваат идните интелигентни технологии.“

Постои реална побарувачка за локални ВИ-решенија

Додека истражувачите и институциите предупредуваат дека малите јазици може да станат дигитално невидливи, практиката покажува дека развојот на локални ВИ-системи не е само теорија. Во Србија веќе постојат компании што со години развиваат такви системи. Една од нив е „Алфанум“ од Нови Сад, која развива говорни технологии за српскиот и сродните јазици, а чии решенија се темелат на вештачката интелигенција и стручноста на развојниот тим и вклучуваат врвни системи за синтеза на говор (Text To Speech – TTS) и препознавање говор (Automatic Speech Recognition – ASR). Од „Алфанум“ се согласуваат со претходните двајца соговорници дека најголемиот предизвик, покрај архитектурата на моделите, всушност е квалитетот на соодветните податоци за обука, а бидејќи се занимаваат со говорни технологии, тоа првенствено се однесува на податоците од посебно анотирани говорни корпуси, кои вклучуваат интонација, ритам на говорот и стручна терминологија. Тие велат дека српскиот јазик носи дополнителна сложеност, бидејќи има богата морфологија, релативно слободен редослед на зборовите во реченицата, две писма и многу сложен акцентски систем.

Технологиите за препознавање и синтеза на говор на српски јазик денес широко се користат во системите за диктирање, автоматска транскрипција и гласовни апарати, наведуваат од компанијата, која развила неколку важни решенија во оваа област. Меѓу најважните системи за диктирање е МЕДИКТА (MEDICTA), наменет за автоматска транскрипција на медицински наоди со поддршка за медицинска терминологија на латински јазик, како и ЈУРИСДИКТА (IURISDICTA), систем приспособен за диктирање правни документи. Овие решенија се имплементирани во голем број институции, вклучувајќи ги Институтот за онкологија на Војводина, Институтот за белодробни заболувања на Војводина, ПИО-фондот на Република Србија, Военомедицинската академија и Институтот за кардиоваскуларни заболувања на Дедиње.

Системот ТРАНСКРИПТА (TRANSCRIPTA) е развиен за општа транскрипција на говор, која овозможува транскрипција на состаноци, радио и телевизиски емисии, седници и други аудиоснимки со висока точност и можност за раздвојување на говорниците. Овој систем се користи, меѓу другото, во Министерството за одбрана на Република Србија, НИС, Радио-телевизија Војводина и други државни институции. Технологиите за препознавање говор се применуваат и во повикувачките центри, каде што корисниците можат да добиваат информации и да извршуваат одредени активности преку гласовна комуникација. Од друга страна, синтезата на говор се користи во информатички системи, како што е системот на Железници на Србија, како и во повикувачките центри на државните институции. Од особено значење е озвучувањето на интернет-презентациите и веб-страниците на институции како Владата на Република Србија, е-Управа на Република Србија, Радио-телевизија Србија и други медиуми и државни организации. Значаен придонес, истакнува „Алфанум“, е системот анРидер (anReader), наменет за слепи и слабовидни лица за самостојно користење компјутер, кој е одобрен како официјално помагало на Републичкиот фонд за здравствено осигурување и е инсталиран на повеќе од 1.000 кориснички компјутери. Покрај тоа, технологиите за синтеза и препознавање говор се користат и за автоматско создавање мултимедијални наставни материјали, генерирање аудиокниги, забавни апликации и системи за такси-служби, нагласуваат од компанијата.

Значи, постои реална побарувачка за локални ВИ-решенија, но во свет во кој големите системи ги голтаат малите, се поставува прашањето дали постојат деловни, па дури и културни придобивки од вложувањето во ВИ-технологии што ги поддржуваат малите јазици. Од „Алфанум“ велат дека вложувањето во малите јазици носи опипливи деловни придобивки и ги проширува културните ефекти што долгорочно го зајакнуваат екосистемот. Квалитетниот систем на говорни технологии за секој јазик прави низа услужни производи да бидат подостапни за пошироката популација, особено за постарите и помалку дигитално писмени корисници. Подобрувањето на корисничкото искуство придонесува за активна лојалност на корисниците, со свест за зачувување на сопствениот јазик и локалниот идентитет.

„На тој начин малите јазици стануваат рамноправен дел од глобалниот ВИ-простор во ерата на општата дигитализација. Затоа вложувањето во ВИ-технологии што ги поддржуваат малите јазици не е само техничко прашање туку и стратешко вложување во пазарот и идентитетот – истовремено носи профит и ја зачувува јазичната разновидност. Зашто големите јазични модели можат да функционираат без локални ресурси, но само до одредена граница. Иако на прв поглед обезбедуваат основни функционалности, како што се генерирање текст, толкување и преведување, овие модели само до одреден степен го разбираат културниот контекст на комуникацијата. Затоа, на пример, природните изрази, локалните референци и посуптилните нијанси на значењето, кои им се интуитивни на изворните говорници, се губат во генерираниот текст, па дури и кога е граматички и правописно исправен, резултатот често дејствува генерички.“

Кога станува збор за развојот на национален јазичен модел, од „Алфанум“ сметаат дека во таа инфраструктура државните и јавните институции треба да обезбедат финансирање и рамка, како и пристап до јавни податоци, академската заедница треба да обезбеди стручност во развојот на ресурсите и евалуацијата на квалитетот, додека приватните компании треба да обезбедат поддршка за развојот на системите и нивната брза интеграција во реални производи. Притоа, и државните и јавните институции треба активно да го поттикнуваат користењето на развиените системи во јавниот сектор.

Борбата е постојана

Затоа борбата на малите јазици мора да биде континуирана, и тоа не само за културен опстанок туку и за нивното место во дигиталната иднина што ја обликува вештачката интелигенција. Во свет во кој алгоритмите сè повеќе го одредуваат начинот на кој учиме, комуницираме и создаваме, прашањето на јазикот станува прашање на моќ, видливост и право на сопствен идентитет. Ако српскиот и другите мали јазици останат надвор од развојот на современите ВИ-системи, ризикот не е само технолошко заостанување туку и постепено исчезнување на локалните специфики, културните обрасци и знаењата од дигиталниот простор. Затоа развојот на домашни ВИ-модели не е луксуз ниту прашање на престиж, туку обид малите јазици да останат живи и рамноправни во свет со кој сè повеќе ќе управуваат машините. А клучот за успехот би требало да биде во соработката меѓу државата, академската заедница, културните институции и приватниот сектор. Можат ли сите тие елементи да најдат заеднички јазик?