Вработените во Гугл се сомневаат во способностите на новиот Џемини 4

Гугл (Google), дел од Алфабет (Alphabet Inc.), почна да го воведува Џемини 4 Аргон, својот долгоочекуван водечки модел на вештачка интелигенција, но компанијата се соочува со внатрешен скептицизам за тоа колку добро функционира во клучни области, како што е програмирањето.

Гугл го претстави моделот во средата пред мала група доверливи партнери за сајбербезбедност и соопшти дека ќе го прошири пристапот по дополнителни тестирања, почнувајќи од претплатниците што плаќаат. Компанијата соопшти дека Џемини 4 постигнал водечки резултати на неколку референтни тестови, меѓу кои и подобар резултат од моделот Астра на Опен еј-ај (OpenAI) на тест што ги мери безбедносните вештини.

Но некои упатени лица велат дека тие показатели не ја даваат целосната слика. Иако Џемини 4 постигнал добри резултати на референтните тестови што широко се користат за оценување на ефикасноста на моделите, тој се покажува послабо кога вработените навистина го користат во работата, според лица со непосреден увид во работата на моделот. Моделот има тешкотии со извршувањето одредени програмерски задачи, велат лицата, кои побарале анонимност за да зборуваат за внатрешно прашање.

Акциите на Алфабет пораснаа за околу 1,7 отсто во тргувањето по затворањето на берзата по објавата на компанијата. Кон крајот на редовното тргување, тие загубија дел од претходните добивки во средата, откако Блумберг објави дека вработените се скептични во врска со моделот.

Гугл во последно време вложува големи напори да развие модели што можат да им конкурираат на Опен еј-ај и на Антропик (Anthropic PBC). Компанијата планирала во јуни да објави друга верзија, наречена Џемини 3.5 Про, но се откажала од тоа, велат лицата.

Гугл соопшти дека би било неточно да се каже дека Џемини 4 постигнува послаби резултати во области како програмирањето. Компанијата го упати Блумберг на изјавите што минатата недела ги даде Корај Кавукчуоглу, раководителот на Гугл Дипмајнд (Google DeepMind), кој рече дека е охрабрен од резултатите на моделот.

„Имам целосна доверба во тимот“, рече Кавукчуоглу на конференција организирана од технолошкиот информативен портал Информејшн (The Information). „За мене е сигурно дека секогаш ќе бидеме на чело на развојот.“

Во Гугл постојат различни мислења. Некои вработени сметаат дека моделите Фејбл на Антропик и Астра на Опен Еј-Ај се подобруваат побрзо од Џемини. Тие веруваат дека Џемини 4, дури и во својата најдобра верзија, и натаму ќе заостанува зад тие модели во некои области. Други вработени сметаат дека претстојната верзија ги достигнала водечките лаборатории за ВИ.

Вработен во Гугл запознаен со развојот на моделот рече дека во компанијата постои „широк консензус“ дека Џемини 4 е меѓу најнапредните модели. Тој рече дека компанијата спровела ригорозни тестирања на моделите и негираше дека тие имаат тешкотии со неуредни програмерски задачи од реалниот свет.

На Гугл му е неопходен успехот на Џемини 4. Верзии на моделот се основа на речиси секој производ што компанијата го продава, од одговорите генерирани со ВИ на врвот на резултатите од пребарувањето, главниот извор на профит на Гугл, до Мапс, Џимејл и Хром. Секој од тие производи има повеќе од милијарда корисници, што е предност во дистрибуцијата што ја немаат некои од конкурентите на компанијата.

Но Опен Еј-Ај и Антропик сè повеќе се насочуваат од продажба на модели кон создавање сопствени производи, вклучувајќи и агенти за програмирање. Ако не успее да понуди најсовремен модел, Гугл би можел да им даде на конкурентите повеќе време да ги убедат потрошувачите, програмерите и компаниите дека иднината на пребарувањето и софтверот треба да се заснова на нивните платформи.

Во одговор на прашањата на Блумберг, Гугл соопшти дека, иако неговиот последен модел Про беше објавен во февруари, компанијата оттогаш бележи раст кај своите производи со ВИ, вклучувајќи ја верзијата на Џемини за компании, како и апликацијата со четбот за потрошувачи и режимот со ВИ во пребарувањето на Гугл. Последните два производа надминаа милијарда корисници.

Џемини 3

Минатиот ноември Гугл го претстави Џемини 3, добро прифатен модел што нашироко се сметаше за пресвртница во напорите на компанијата да држи чекор со Опен Еј-Ај и Антропик. Гугл најави нова верзија наречена Џемини 3.5 Про на својата конференција Ај/О во мај и вети дека ќе го објави моделот следниот месец. Но тој рок помина, а компанијата во меѓувреме се откажа од 3.5 Про, според лица запознаени со случајот.

Покрај тоа што ги попречи амбициите на Гугл во областа на ВИ, одлуката веројатно ја чинела компанијата многу време и пари. Циклусите на тренирање за создавање таков модел може да бараат трошоци до 400 милиони долари, посочува Мандип Синг, аналитичар во Блумберг Интелиџенс (Bloomberg Intelligence). Ангажирањето високо платени истражувачи за ВИ би можело дополнително да ги зголеми трошоците.

Сега Гугл се соочува со различни предизвици со Џемини 4. Неговите способности за програмирање се нееднакви, според лица запознаени со внатрешните оценки на моделот. Џемини не е особено вешт во дизајнирањето на корисничкиот интерфејс, кој ги обликува изгледот и чувството при користењето на апликациите и веб-страниците, рече едно лице. Тоа е потенцијално сериозен неуспех бидејќи Гугл има тешкотии да се натпреварува на исклучително динамичниот пазар на алатки за програмирање со ВИ.

Покрај тоа, станува збор за многу голем модел, според лице запознаено со неговиот развој. Големите модели обично се скапи за користење, што потенцијално би можело да изврши притисок врз профитните маржи на Гугл.

„Бенчмаксинг“

Експертите велат дека Гугл можеби трпи последици од тенденцијата во индустријата да се фокусира на референтните тестови - феномен познат како „бенчмаксинг“, кога инженерите повеќе се концентрираат на постигнување добар резултат отколку на создавање производ што добро ја извршува работата. Лабораториите за ВИ имаат тенденција да го прават тоа бидејќи клиентите често ги оценуваат моделите според нивните резултати на референтните тестови. Се чини дека Џемини 4 е засегнат од овој процес, велат две лица запознаени со моделот.

Едвин Чен, основачот на стартапот за ВИ Срџ еј-ај (Surge AI), рече дека потпирањето на референтните тестови може да ги наведе лабораториите да се фокусираат на создавање модели што пишуваат код на одреден програмски јазик, наместо на создавање апликации што се лесни за користење или добро дизајнирани.

„Аналогијата би била: ‘О, да, моето дете постигна навистина добар резултат на тестот САТ’ - но резултатот на САТ не се преточува во успешност во реалниот свет“, рече Чен. „Тоа е исклучително штетен проблем.“

Џемини 4 има и силни страни, според лице запознаено со случајот, кое рече дека моделот се издвојува во разбирањето влезни податоци што не се само текст, како што е извлекувањето метаподатоци од видео. Лицето ги посочи и безбедноста на моделот, сајбербезбедноста и способноста да комуницира јасно и природно.

Фрустрацијата во Гугл е опиплива. Истражувачи интервјуирани за претходен текст на Блумберг ја обвинија разгранетата бирократија што се обидува да ја вгради технологијата во речиси сè што создава Гугл и рекоа дека променливите насоки и приоритети го отежнале фокусирањето на усогласена стратегија.

Во меѓувреме, низа истакнати истражувачи за ВИ го напуштија Гугл, меѓу кои легендарниот инженер Џеф Дин, нобеловецот Џон Џампер и Ноам Шазир, кој помогна во создавањето на технологијата врз која се заснова голем дел од подемот на ВИ. Во август, Демис Хасабис, кој долго време ги водеше истражувањата на компанијата во областа на ВИ, ја презеде новата улога на претседател и му го препушти секојдневното оперативно раководење со Дипмајнд на Кавукчуоглу, свој долгогодишен близок соработник.

Гугл во средата соопшти дека Џемини 4 е создаден за долги, сложени задачи во софтверското инженерство, финансиите, правото и сајбербезбедноста. Може да создава подолги одговори од својот претходник, соопшти Гугл - до еден милион токени, или приближно 750.000 зборови, одеднаш.

Додека компанијата работи на тоа да ги достигне конкурентите, тие продолжуваат забрзано да напредуваат и покрај разговорите за забавување на развојот на некои од најнапредните модели по низа инциденти во кои агенти со ВИ упаднаа во надворешни организации. Претходно овој месец, Мета (Meta Platforms Inc.) го објави Мјуз, агент со ВИ за кој рече дека може да извршува секојдневни задачи како купување преку интернет и закажување термини. Апликацијата брзо се искачи на врвот на листите за преземања.

-Со помош на Едвард Ладлоу