Вештачката интелигенција ќе седне на курс по македонски јазик

Уште од 50-тите години на минатиот век вештачката интелигенција (ВИ) - идејата дека машините можат да ја реплицираат човечката интелигенција за да одговорат на прашања и да решаваат проблеми - е област што го фасцинира научниот свет.

Со оглед на брзиот напредок на моќта на компјутерите и способноста за складирање и обработка на огромни количества податоци, ВИ сега стана вообичаена во повеќето секојдневни искуства, што е очигледно преку користењето на паметните телефони, поврзаните домашни уреди, интелигентните функции за возење (вклучувајќи ги и автономните автомобили) и четботовите.

Но кај сите овие функции, целосната полза од нив најмногу ја имаат корисниците од англиското говорно подрачје бидејќи моделите за ВИ се примарно обучувани со податоци на англиски јазик. Во овој момент вашиот паметен асистент тешко дека точно ќе ве разбере доколку го прашате нешто на македонски, особено доколку вашето прашање е поставено во тесен локален контекст.

Четботовите ЧетГПТ (ChatGPT) на „Опен еј-ај“ (OpenAI), Клод (Claude) на „Антропик“ (Anthropic) и другите популарни модели знаат македонски до некое ниво, но со оглед на тоа што македонскиот е мал јазик (англ. low-resource language), тој претставува само капка во океанот за нивниот тренинг, па често знаат да го помешаат со слични јазици, како српскиот или бугарскиот, а со оглед на тоа што низ нивната обука минале милијарди зборови (доминантно англиски), зборовите релевантни за македонската култура (во локален контекст) нема да им бидат премногу важни.

Тргнувајќи од тоа како стојат работите во моментот, ова практично значи дека за квалитетно корисничко искуство во македонското говорно подрачје најдобро би било да се обучи модел на македонски јазик, кој е запознаен со локалните случувања, настани и контексти. Добра вест - ваков обид штотуку започна. Никола Трајков, инженер за машинско учење во компанијата „Тингс солвер“ (Things Solver), каде што го води тимот за испорака, неодамна на Линкдин (Linkedin) најави дека стартува со работа на првиот голем јазичен модел (англ. Large Language Model / LLM) на македонски јазик. 

Како што вели и самиот, проектот е во „ептен рана фаза“, но првата верзија покажува многу ветувачки резултати и работи доста добро со оглед на краткиот период на обука. 

Тој ни откри дека станува збор за истражувачки проект, целосно финансиран и развиван лично од него (но по објавата на Линкдин добил пораки од неколку ентузијасти што можеби ќе се приклучат).

Идејата е инспирирана од желбата да се научи нешто ново и да се придонесе за развој на локалната МЛ (англ. machine learning) заедница, како и на македонскиот јазик. Дополнителна инспирација му се и некои примери од соседството, кои веќе работат на слични проекти, на пример Алекса Гордиќ во Србија и бугарскиот институт ИНСАИТ (INSAIT).

„Верувам дека проектите како овој се исклучително важни, особено за јазиците како што е македонскиот, кои не ги зборуваат толку многу луѓе. Развивајќи технологија за вештачка интелигенција на македонски јазик, не само што го чуваме и промовираме нашето културно и јазично наследство туку обезбедуваме и пристап до најсовремена технологија за сите оние што го зборуваат македонскиот јазик“, објаснува Трајков.

Што значи голем јазичен модел?

Терминот LLM (голем јазичен модел) стана многу актуелен со подемот на четботовите, а во суштина означува невронски мрежи што се тренирани на огромни количества текст.

Овие модели користат техника на длабоко учење (англ. deep learning) за да ја разберат содржината, а потоа да извршуваат задачи како што се сумирање и генерирање нова содржина, и прават предвидувања врз основа на нивната обука.

„Во својата суштина овие модели преку милијарди параметри, кои се нагодуваат во текот на обуката, учат концепти и апстракции од јазикот и како да го моделираат, со една главна цел: да го предвидат следниот токен (токен е збор или дел од збор)“, вели Трајков.

Никола Трајков Приватна архива

Ваквите модели обично може да се обучуваат на повеќе од еден петабајт податоци. Колку за илустрација, документ од еден гигабајт може да содржи приближно 180 милиони збора. Еден петабајт може да содржи податоци еквивалентни на еден милион гигабајти.

Опсежниот процес на обука на големите јазични модели им овозможува на апликациите и платформите да разберат и генерираат содржина што вклучува текст, аудио, слики и синтетички податоци. Најпопуларните LLM се модели за општа намена што се претходно обучени, а потоа фино нагодени за да задоволат специфични потреби.

Големите јазични модели ги дополнуваат и подобруваат апликациите за вештачка интелигенција и тие станаа достапни за секого преку алатки како што е ЧетГПТ. 

Иницијална верзија во следните неколку недели

„Во ниеден случај не сакам да кажам дека може да развиеме подобар модел од светските гиганти, тоа е невозможно без милијарди евра буџет и стотици експерти. Но можеме да пробаме да приспособиме некој 'open source' помал модел, што ќе се снаоѓа подобро на македонски, затоа што македонскиот јазик и култура ќе му бидат главниот фокус. Тоа е и фокусот на овој проект, дали можеме да го приспособиме, во овој случај, Мистрал 7Б (Mistral-7B) на македонски“, вели Трајков. 

Инаку, Мистрал 7Б е модел на француската компанија „Мистрал еј-ај“ (Mistral AI), кој, како што посочува Трајков, моментално е еден од најдобрите модели во неговата категорија и за кој оригиналниот код е слободно достапен.

Обуката на големиот јазичен модел на македонски се прави со помош на јавно достапни информации од интернет и ќе се одвива во неколку фази. 

„Прво оди фазата на преттренирање (pretraining), каде што моделот само го учи јазикот. Втората фаза е т.н. fine tuning, односно приспособување за следење инструкции, и во оваа фаза всушност го учиме моделот како да го искористи своето знаење. Комерцијализација на производот засега не е предвидена и планот е крајниот модел на македонски јазик да биде со отворен код за некомерцијални цели за да може кој било да продолжи да истражува со него“, истакнува нашиот соговорник, кој додава дека нема поставено конкретни рокови за проектот, но се надева дека иницијалната верзија ќе биде подготвена што порано, дури можеби и во следниве неколку недели. 

Сфери на примена на големиот јазичен модел

Големите јазични модели може да се користат за да се извршат многу задачи што вообичаено би им одземале многу време на луѓето, како што се генерирање текст, превод, резиме на содржина, препишување, класификација и анализа на ставови. Се разбира, нивната најпозната примена во моментот е со четботовите, кои им овозможуваат на клиентите да поставуваат прашања и да бараат помош без дополнително чекање.

Конечно, LLM ја зголемуваат и ја забрзуваат човечката продуктивност и може да им помогнат на луѓето да надминат некои секојдневни проблеми, како на пример креативна блокада.

„Ваков тип на модели може да се применат во многу различни области, од образование (на пример да ни помогнат да разбереме одреден концепт или да научиме нешто ново брзо и ефикасно), до бизнис-средина, каде што можат да ни помогнат со тоа што ќе ги извршуваат здодевните и репетитивни задачи наместо нас, ослободувајќи нè да се фокусираме на покреативни и поинтересни задачи“, вели Трајков.

Depositphotos

Чекор кон регулација на ВИ и во Македонија

Системите базирани на ВИ веќе работат со различни производи и имаат потенцијал да ги револуционизираат индустриите. Но заменувањето на човечкото расудување со машинско учење носи ризици. Дури и ако крајната грижа, системи со вештачка интелигенција со способност за брзо учење што се обидуваат да го уништат човештвото, остане во доменот на фикцијата, веќе постои загриженост дека ботови што ја вршат работата на луѓето може да шират дезинформации, да ја засилат пристрасноста, да го оштетат интегритетот на тестовите и да ја нарушат приватноста на луѓето. Токму поради овие причини развојот на вештачката интелигенција отвори и многу прашања за безбедноста на технологијата и повици за нејзина регулација.

Дури и „Гугл“ (Google), „Мајкрософт“ (Microsoft), „Ај-би-ем“ (IBM) и „Опен еј-ај“ ги охрабрија законодавците да спроведат федерален надзор над вештачката интелигенција, за кој велат дека е неопходен за да се гарантира безбедноста.

Во тој контекст, го запрашавме Трајков како проектот ќе се справи со етичките грижи поврзани со приватноста на податоците, пристрасноста и правичноста и дали воопшто кај нас има некои правни одредби што треба да се земат предвид при развојот на големиот јазичен модел.

Тој посочува дека не само кај нас туку и низ целиот свет моментално сме во фаза каде што индустријата и развојот се пред регулативата, но ситуацијата релативно брзо се менува.

„Овој проект е на некој начин и поттик да почнеме да разговараме за овие работи и во Македонија. Во однос на приватноста на податоците, главниот дел од работата е во чистењето и подготвувањето на иницијалните сетови со податоци. Има одредени автоматизирани процеси и алатки што се користат за да се идентификуваат чувствителни податоци и да се отстранат, но, како и сè друго, не може да кажеме дека се 100 отсто точни, така што ова останува поле на кое активно се работи. Слична е ситуацијата и со пристрасноста и правичноста, ова е проблем на кој сè уште активно се работи и нема конечно решение (се пробува со балансирање на сетовите, со дополнително приспособување преку фидбек од луѓе итн.)“, објаснува тој, додавајќи дека во овој процес единствено е важно да се постигне правиот баланс меѓу потребата за регулација и иновативноста.

Трајков исто така нагласува дека проектот за голем јазичен модел на македонски засега конкретно има една задача, а тоа е да ја размрда македонската истражувачка заедница и да поттикне понатамошен развој. 

Тој вели и дека секоја заинтересирана компанија, експерт или ентузијаст што би сакал да помогне во развојот е добредојден, па слободно пишете му на Линкдин.