Колико је тачна вештачка интелигенција? [Видео и квиз]

Кратак одговор: Вештачка интелигенција може бити веома прецизна у уским, добро дефинисаним задацима са јасним основним чињеницама, али „тачност“ није јединствена оцена којој можете универзално веровати. Она важи само када се задатак, подаци и метрика поклапају са оперативним окружењем; када се улази померају или задаци постану отворени, грешке и самоуверене халуцинације се повећавају.

Кључне закључке:

Усклађеност са задатком: Прецизно дефинишите посао тако да се „тачно“ и „погрешно“ могу проверити.

Избор метрике: Ускладите метрике евалуације са стварним последицама, а не са традицијом или погодношћу.

Тестирање стварности: Користите репрезентативне, бучне податке и тестове стреса ван дистрибуције.

Калибрација: Мерење да ли се поузданост поклапа са исправношћу, посебно за прагове.

Праћење животног циклуса: Континуирано поново процењујте како се корисници, подаци и окружења мењају током времена.

Чланци које бисте можда желели да прочитате након овог:

🔗 Како корак по корак научити вештачку интелигенцију
План за почетнике за самоуверен почетак учења вештачке интелигенције.

🔗 Како вештачка интелигенција открива аномалије у подацима
Објашњава методе које вештачка интелигенција користи за аутоматско уочавање необичних образаца.

🔗 Зашто вештачка интелигенција може бити лоша за друштво
Покрива ризике попут пристрасности, утицаја на радна места и забринутости за приватност.

🔗 Шта је скуп података о вештачкој интелигенцији и зашто је важан
Дефинише скупове података и како они тренирају и процењују моделе вештачке интелигенције.

1) Дакле… Колико је тачна вештачка интелигенција?🧠✅

Вештачка интелигенција може бити изузетно прецизна у уским, добро дефинисаним задацима - посебно када је „тачан одговор“ недвосмислен и лако га је проценити.

Али у задацима отвореног типа (посебно генеративној вештачкој интелигенцији попут четботова), „тачност“ брзо постаје клизава јер:

• може бити више прихватљивих одговора

• излаз може бити течан, али није заснован на чињеницама

• модел може бити подешен за вибрације „корисности“, а не за строгу исправност

• свет се мења, а системи могу заостајати за стварношћу

Користан ментални модел: тачност није својство које „имате“. То је својство које „зарађујете“ за одређени задатак, у одређеном окружењу, са одређеним подешавањем мерења. Зато озбиљне смернице третирају евалуацију као активност животног циклуса - а не као једнократни тренутак на табели резултата. [1]

2) Тачност није једна ствар - то је цела шаролика породица 👨👩👧👦📏

Када људи кажу „тачност“, могу мислити на било шта од овога (а често мисле на два одједном, а да тога нису ни свесни):

• Исправност: да ли је произвело исправну ознаку / одговор?

• Прецизност наспрам присећања: да ли је избегавао лажне аларме или је све ухватио?

• Калибрација: када пише „90% сам сигуран“, да ли је заправо тачно ~90% времена? [3]

• Робусност: да ли и даље функционише када се улази мало промене (шум, ново фразирање, нови извори, нова демографија)?

• Поузданост: да ли се понаша доследно под очекиваним условима?

• Истиноћа / чињеничност (генеративна вештачка интелигенција): да ли је то измишљање (халуцинирање) самоувереним тоном? [2]

То је такође разлог зашто оквири усмерени на поверење не третирају „тачност“ као једини херојски показатељ. Они говоре о валидности, поузданости, безбедности, транспарентности, робусности, праведности и још много чему као о пакету - јер можете „оптимизовати“ једно, а случајно покварити друго. [1]

3) Шта чини добру верзију мерења „Колико је тачна вештачка интелигенција?“ 🧪🔍

Ево контролне листе „добре верзије“ (оне коју људи прескачу… а затим се касније кају):

✅ Јасна дефиниција задатка (тј. учинити га тестираним)

• „Сумирај“ је нејасно.

• „Сумирај у 5 тачака, наведи 3 конкретна броја из извора и не измишљај цитате“ је проверљиво.

✅ Репрезентативни подаци са тестова (тј. престаните са оцењивањем у лаком режиму)

Ако је ваш тестни скуп превише чист, тачност ће изгледати лажно добра. Прави корисници доносе грешке у куцању, чудне граничне случајеве и енергију типа „Ово сам написао на телефону у 2 ујутру“.

✅ Метрика која одговара ризику

Погрешна класификација мема није исто што и погрешна класификација медицинског упозорења. Не бирате метрике на основу традиције - бирате их на основу последица. [1]

✅ Тестирање ван дистрибуције (тј.: „шта се дешава када се појави стварност?“)

Пробајте чудне фразе, двосмислене уносе, контрадикторне подстицаје, нове категорије, нове временске периоде. Ово је важно јер померање дистрибуције класичан начин на који се модели појављују у продукцији. [4]

✅ Континуирана евалуација (тј. тачност није функција „подеси и заборави“)

Системи се мењају. Корисници се мењају. Подаци се мењају. Ваш „одличан“ модел тихо деградира - осим ако га не мерите континуирано. [1]

Ситан образац из стварног света који ћете препознати: тимови често испоручују резултате са јаком „демо тачношћу“, а затим открију да њихов прави начин неуспеха нису „ погрешни одговори“... то су „погрешни одговори достављени са поверењем, у великом обиму“. То је проблем дизајна евалуације, а не само проблем модела.

4) Где је вештачка интелигенција обично веома прецизна (и зашто) 📈🛠️

Вештачка интелигенција обично блиста када је проблем:

• уски

• добро обележен

• стабилно током времена

• слично дистрибуцији обуке

• лако се аутоматски бодује

Примери:

• Филтрирање нежељене поште

• Издвајање докумената у конзистентним распоредима

• Петље рангирања/препорука са мноштвом повратних сигнала

• Многи задаци класификације вида у контролисаним условима

Досадна суперсила која стоји иза многих од ових победа: јасна истина + мноштво релевантних примера. Није гламурозно - изузетно ефикасно.

5) Где тачност вештачке интелигенције често пада 😬🧯

То је део који људи осећају у својим костима.

Халуцинације у генеративној вештачкој интелигенцији 🗣️🌪️

Мастер менталног учења (LLM) може произвести вероватан, али нечињеничан садржај - и управо тај „вероватан“ део је разлог зашто је опасан. То је један од разлога зашто генеративно смернице за ризик вештачке интелигенције толико наглашавају утемељење, документацију и мерење, а не демонстрације засноване на вибрацијама. [2]

Промена дистрибуције 🧳➡️🏠

Модел трениран у једном окружењу може се спотакнути у другом: другачији кориснички језик, другачији каталог производа, различите регионалне норме, другачији временски период. Референтни тестови попут WILDS-а постоје у основи да би викали: „перформансе у дистрибуцији могу драматично преценити перформансе у стварном свету.“ [4]

Подстицаји који награђују самоуверено погађање 🏆🤥

Неке поставке случајно награђују понашање „увек одговарај“ уместо „одговори само када знаш“. Тако системи уче да звуче исправно уместо да буду у праву. Зато евалуација мора да укључи понашање уздржавања/несигурности - не само стопу сирових одговора. [2]

Инциденти из стварног света и оперативни кварови 🚨

Чак и јак модел може да закаже као систем: лоше преузимање, застарели подаци, покварене заштитне ограде или ток рада који тихо усмерава модел заобилазећи безбедносне провере. Модерно вођење тачност схвата као део шире поузданости система, а не само као оцену модела. [1]

6) Потцењена супермоћ: калибрација (тј. „знање онога што не знате“) 🎚️🧠

Чак и када два модела имају исту „тачност“, један може бити много безбеднији јер:

• изражава неизвесност на одговарајући начин

• избегава претерано самоуверене погрешне одговоре

• даје вероватноће које се поклапају са стварношћу

Калибрација није само академска - то је оно што чини поверење делотворним. Класичан налаз у модерним неуронским мрежама је да резултат поверења може бити погрешно усклађен са истинском тачношћу, осим ако га експлицитно не калибришете или не измерите. [3]

Ако ваш цевовод користи прагове попут „аутоматско одобрење изнад 0,9“, калибрација је разлика између „аутоматизације“ и „аутоматизованог хаоса“

7) Како се процењује тачност вештачке интелигенције за различите типове вештачке интелигенције 🧩📚

За класичне моделе предвиђања (класификација/регресија) 📊

Уобичајене метрике:

• Тачност, прецизност, присећање, F1

• ROC-AUC / PR-AUC (често боље за проблеме са неуравнотеженошћу)

• Провере калибрације (криве поузданости, размишљање у стилу очекиваних грешака калибрације) [3]

За језичке моделе и асистенте 💬

Евалуација постаје вишедимензионална:

• исправност (где задатак има услов истинитости)

• праћење инструкција

• безбедност и понашање одбијања (добра одбијања су чудно тешка)

• чињенично утемељење / дисциплина цитирања (када је то потребно за ваш случај употребе)

• робусност у свим упитима и стиловима корисника

Један од великих доприноса „холистичког“ евалуационог размишљања јесте експлицитно изношење поенте: потребне су вам вишеструке метрике у вишеструким сценаријима, јер су компромиси стварни. [5]

За системе изграђене на LLM-овима (токови рада, агенти, претраживање) 🧰

Сада процењујете цео цевовод:

• квалитет претраживања (да ли је преузео исправне информације?)

• логика алата (да ли је пратио процес?)

• квалитет излаза (да ли је исправан и користан?)

• заштитне ограде (да ли је то избегло ризично понашање?)

• праћење (да ли сте уочили кварове у пракси?) [1]

Слаба карика било где може учинити да цео систем изгледа „нетачно“, чак и ако је основни модел пристојан.

8) Табела упоређивања: практични начини за процену „Колико је тачна вештачка интелигенција?“ 🧾⚖️

Признање о необичности форматирања: „Бесплатно“ овде много значи јер су стварни трошкови често људи-сати, а не лиценце 😅

9) Како учинити вештачку интелигенцију прецизнијом (практичне полуге) 🔧✨

Бољи подаци и бољи тестови 📦🧪

• Прошири граничне случајеве

• Уравнотежите ретке, али критичне сценарије

• Задржите „златни сет“ који представља стварни бол корисника (и стално га ажурирајте)

Припрема за чињеничне задатке 📚🔍

Ако вам је потребна чињенична поузданост, користите системе који црпе информације из поузданих докумената и одговарају на основу њих. Много генеративних смерница за ризике у вези са вештачком интелигенцијом фокусира се на документацију, порекло и подешавања евалуације која смањују измишљени садржај, уместо да се само надају да ће се модел „понашати исправно“. [2]

Јаче петље евалуације 🔁

• Покрени евалуације за сваку значајну промену

• Пазите на регресије

• Тест оптерећења за чудне упите и злонамерне уносе

Подстичите калибрисано понашање 🙏

• Немојте престрого кажњавати „Не знам“

• Процените квалитет уздржавања, не само стопу одговора

• Третирајте самопоуздање као нешто што мерите и потврђујете, а не као нешто што прихватате на основу вибрација [3]

10) Брза провера: када треба веровати тачности вештачке интелигенције? 🧭🤔

Више верујте када:

• задатак је узак и поновљив

• излази се могу аутоматски верификовати

• систем се прати и ажурира

• самопоуздање је калибрисано и може се уздржати [3]

Мање верујте када:

• Улози су високи, а последице стварне

• Задатак је отвореног типа („реци ми све о…“) 😵💫

• нема уземљења, нема корака верификације, нема људског прегледа

• Систем се по подразумеваним подешавањима понаша самоуверено [2]

Мало погрешна метафора: ослањање на непроверену вештачку интелигенцију за доношење важнијих одлука је као јести суши који је стајао на сунцу... можда је у реду, али ваш стомак преузима ризик за који се нисте пријавили.

11) Завршне напомене и кратак резиме 🧃✅

Дакле, колико је тачна вештачка интелигенција?
Вештачка интелигенција може бити невероватно тачна - али само у односу на дефинисани задатак, метод мерења и окружење у којем је примењена. А за генеративну вештачку интелигенцију, „тачност“ се често мање односи на један резултат, а више на поуздан дизајн система: уземљење, калибрација, покривеност, праћење и искрена евалуација. [1][2][5]

Кратак резиме 🎯

• „Тачност“ није један резултат - то је исправност, калибрација, робусност, поузданост и (за генеративну вештачку интелигенцију) истинитост. [1][2][3]

• Референтне вредности помажу, али евалуација случајева употребе вас одржава искреним. [5]

• Ако вам је потребна чињенична поузданост, додајте утемељење + кораке верификације + процену уздржавања. [2]

• Евалуација животног циклуса је приступ за одрасле... чак и ако је мање узбудљива од снимка екрана ранг-листе. [1]

Пример из стварног света: Мерење асистента за подршку и тријажу са вештачком интелигенцијом

Сценарио

Замислите да мала SaaS компанија жели да користи вештачку интелигенцију за сортирање долазних захтева за подршку у четири реда:

Наплата

Проблеми са пријављивањем

Извештаји о грешкама

Захтеви за функције

Компанија не дозвољава вештачкој интелигенцији да директно одговара купцима. Њен посао је ужи: прочитати тикет, изабрати прави ред, дати оцену поузданости и означити све што је неизвесно за људски преглед.

То чини проблем тачности много лакшим за тестирање. Постоји јасан „исправан“ ред, човек може да прегледа грешке, а тим може да измери да ли вештачка интелигенција помаже уместо да само звучи корисно.

Шта је потребно асистенту

Да би ово правилно тестирао, тим припрема:

Означени тестни сет од 100 стварних или реалистичних тикета за подршку

Тачан ред за сваку карту, о коме је договорен човек који прегледа

Кратка политика која објашњава шта спада у сваки ред

Правило да асистент мора да каже „потребан је људски преглед“ када је поузданост ниска

Једноставан лист за праћење са: ИД-ом карте, редом чекања са вештачком интелигенцијом, редом чекања са људима, оценом поузданости, исходом прегледа и утрошеним временом

Пример упутства

Ви сте асистент за подршку и тријажу. Прочитајте поруку клијента и доделите је једном реду чекања: Наплата, Проблеми са пријавом, Извештаји о грешкама, Захтеви за функције или Потребан је људски преглед.

Користите одељак „Наплата“ за фактуре, повраћај новца, неуспешна плаћања, промене плана и питања у вези са претплатом.

Користите „Проблеми са пријављивањем“ за ресетовање лозинке, приступ налогу, двофакторску аутентификацију, закључане налоге или проблеме са верификацијом е-поште.

Користите извештаје о грешкама за неисправне функције, поруке о грешкама, недостајуће податке, падове система или понашање које се не поклапа са документацијом производа.

Користите захтеве за функције када купац тражи нову могућност, интеграцију, подешавање или побољшање тока посла.

Ако је порука двосмислена, садржи више од једног проблема или би могла утицати на безбедност или приватност, изаберите Потребан је људски преглед.

Враћање: ред чекања, поузданост од 0 до 100, образложење од једне реченице и да ли човек треба да га провери.

Како га тестирати

Почните са малим „златним сетом“ пре него што верујете систему у производњи.

На пример:

20 рачуна за наплату

20 пријавних тикета

20 извештаја о грешкама

20 захтева за функције

20 замршених или двосмислених карата

Затим покрените асистента на свих 100 тикета и упоредите његов изабрани ред са редом који је одобрио човек.

Корисне провере укључују:

Укупна тачност: колико је карата отишло у исправан ред?

Прецизност по реду чекања: када вештачка интелигенција каже „Наплата“, колико често врши наплату?

Подсећање по реду: колико је стварних рачуна за обрачун ухватило?

Квалитет ескалације: да ли је исправно послао замршене тикете на људски преглед?

Калибрација: када је писало 90% поузданости или више, да ли је то било тачно већину времена?

Резултат

Илустративан резултат: на основу мерења времена 100 пробних тикета пре и после коришћења овог тока рада.

Пре коришћења асистента, вођа подршке је проводио око 2 минута и 30 секунди по тикету читајући и ручно усмеравајући тикете. За 100 тикета, то је било отприлике 250 минута рада на тријажи.

Након коришћења асистента, руководилац подршке је само прегледао избор реда чекања вештачке интелигенције и проверавао случајеве ниске поузданости. Време прегледа је смањено на око 55 секунди по тикету, или отприлике 92 минута за 100 тикета.

То је процењена уштеда од 158 минута на 100 захтева, или око 63% мање времена за тријажу.

Тачност на фиктивном тест сету од 100 карата изгледала је овако:

Укупна тачност реда: 87/100 тачних карата

Тикети са високом поузданошћу изнад 85%: 61 тикет

Тачност на картама са високом поузданошћу: 58/61 тачно

Карте послате на људски преглед: 18 карата

Двосмислени тикети су исправно ескалирани: 15/20

Важан детаљ није само тачност од 87%. Безбеднији резултат је то што је асистент био прецизнији када је био самоуверен и проследио је многе нејасне случајеве човеку уместо да погађа. То је разлика између корисне аутоматизације и самоуверене бесмислице.

Шта може поћи по злу

Најчешћа грешка је тестирање само чистих примера. Прави тикети су замршени. Корисник може написати: „Два пута ми је наплаћено и сада не могу да се пријавим.“ То може бити проблем са наплатом, проблемима са пријавом или потребан је људски преглед, у зависности од процеса компаније.

Остали ризици укључују:

Коришћење старих карата које више не одговарају производу

Дозвољавање вештачкој интелигенцији да измишља правила политике која нису у приручнику за подршку

Третирање резултата поузданости као поузданих без провере калибрације

Мерење само укупне тачности и превиђање лоших перформанси на једном реду

Кажњавање „Потребна је људска провера“ толико строго да асистент почне да погађа

Добар тест би требало да награди исправну ескалацију. За многе пословне токове рада, „нисам сигуран“ није неуспех. То је безбедносна функција.

Практична информација

Најбољи начин да одговорите на питање „Колико је тачна вештачка интелигенција?“ јесте да престанете да га постављате апстрактно. Изаберите један задатак, направите мали скуп тестова, дефинишите шта се рачуна као тачно, мерите грешке по категоријама и проверите да ли вештачка интелигенција зна када да врати задатак особи. То вам даје конкретан број тачности који можете побољшати - не само углачани референтни резултат.

Честа питања

Тачност вештачке интелигенције у практичној примени

Вештачка интелигенција може бити изузетно прецизна када је задатак узак, добро дефинисан и повезан са јасним подацима које можете оценити. У производној употреби, „тачност“ зависи од тога да ли ваши подаци о евалуацији одражавају бучне корисничке уносе и услове са којима ће се ваш систем суочити на терену. Како задаци постају отворенији (као што су четботови), грешке и самоуверене халуцинације се појављују чешће, осим ако не додате уземљење, верификацију и праћење.

Зашто „тачност“ није један резултат коме можете веровати

Људи користе „тачност“ у смислу различитих ствари: исправност, прецизност наспрам присности, калибрација, робусност и поузданост. Модел може изгледати одлично на чистом тестном скупу, а затим се спотакнути када се промене фразе, подаци померају или се улози промене. Евалуација усмерена на поверење користи више метрика и сценарија, уместо да један број третира као универзалну пресуду.

Најбољи начин за мерење тачности вештачке интелигенције за одређени задатак

Почните тако што ћете дефинисати задатак тако да се „тачно“ и „погрешно“ могу тестирати, а не бити нејасни. Користите репрезентативне, бучне тест податке који одражавају стварне кориснике и граничне случајеве. Изаберите метрике које одговарају последицама, посебно за неуравнотежене или високоризичне одлуке. Затим додајте тестове стреса ван дистрибуције и наставите да их поново процењујете током времена како се ваше окружење развија.

Како прецизност и тачност облика подсећања у пракси

Прецизност и поновно откривање се пресликавају на различите трошкове квара: прецизност наглашава избегавање лажних узбуна, док поновно откривање наглашава хватање свега. Ако филтрирате спам, неколико промашаја може бити прихватљиво, али лажно позитивни резултати могу фрустрирати кориснике. У другим условима, пропуштање ретких, али критичних случајева је важније од додатних заставица. Права равнотежа зависи од тога шта „погрешно“ кошта у вашем радном току.

Шта је калибрација и зашто је важна за тачност

Калибрација проверава да ли се поузданост модела подудара са стварношћу - када пише „90% сигурно“, да ли је тачно око 90% времена? Ово је важно кад год подесите прагове попут аутоматског одобрења изнад 0,9. Два модела могу имати сличну тачност, али боље калибрисани је безбеднији јер смањује превише самоуверене погрешне одговоре и подржава паметније понашање уздржавања.

Генеративна тачност вештачке интелигенције и зашто се халуцинације дешавају

Генеративна вештачка интелигенција може да произведе течан, веродостојан текст чак и када није заснован на чињеницама. Тачност је теже утврдити јер многи упити омогућавају вишеструке прихватљиве одговоре, а модели се могу оптимизовати за „корисност“ уместо за строгу исправност. Халуцинације постају посебно ризичне када излази стижу са високом поузданошћу. За чињеничне случајеве употребе, заснивање на поузданим документима плус кораци верификације помажу у смањењу измишљеног садржаја.

Тестирање улаза за померање дистрибуције и вандистрибуције

Бенчмаркови у дистрибуцији могу преценити перформансе када се свет промени. Тестирајте са необичним фразирањем, грешкама у куцању, двосмисленим уносима, новим временским периодима и новим категоријама да бисте видели где систем пада. Бенчмаркови попут WILDS-а су изграђени око ове идеје: перформансе могу нагло пасти када се подаци промене. Третирајте тестирање оптерећења као кључни део евалуације, а не као нешто што је лепо имати.

Временом, повећање прецизности система вештачке интелигенције

Побољшајте податке и тестове проширивањем граничних случајева, балансирањем ретких, али критичних сценарија и одржавањем „златног сета“ који одражава стварни проблем корисника. За чињеничне задатке, додајте уземљење и верификацију уместо да се надате да ће се модел понашати исправно. Покрените евалуацију сваке значајне промене, пазите на регресије и пратите дрифт у продукцији. Такође, процените уздржавање како се „не знам“ не би кажњавало и довело до самоувереног погађања.

Референце

[1] NIST AI RMF 1.0 (NIST AI 100-1): Практични оквир за идентификацију, процену и управљање ризицима вештачке интелигенције током целог животног циклуса. прочитајте више
[2] NIST Generative AI Profile (NIST AI 600-1): Пратећи профил за AI RMF фокусиран на разматрања ризика специфична за генеративне вештачке интелигенције системе. прочитајте више
[3] Guo et al. (2017) - Калибрација модерних неуронских мрежа: Основни рад који показује како се модерне неуронске мреже могу погрешно калибрисати и како се калибрација може побољшати. прочитајте више
[4] Koh et al. (2021) - WILDS бенчмарк: Пакет бенчмаркова дизајниран за тестирање перформанси модела у условима промена дистрибуције у стварном свету. прочитајте више
[5] Liang et al. (2023) - HELM (Холистичка евалуација језичких модела): Оквир за евалуацију језичких модела у различитим сценаријима и метрикама како би се открили стварни компромиси. прочитајте више

Пронађите најновију вештачку интелигенцију у званичној продавници вештачке интелигенције

О нама