Детекција аномалија је тихи херој операција са подацима - детектор дима који шапуће пре него што се ствари запале.
Једноставно речено: вештачка интелигенција учи како изгледа „приближно нормално“, даје новим догађајима оцену аномалије , а затим одлучује да ли да позове човека (или да аутоматски блокира ствар) на основу прага . Ђаво је у томе како дефинишете „приближно нормално“ када су ваши подаци сезонски, неуредни, лутају и повремено вас лажу. [1]
Чланци које бисте можда желели да прочитате након овог:
🔗 Зашто вештачка интелигенција може бити штетна за друштво
Испитује етичке, економске и друштвене ризике широког усвајања вештачке интелигенције.
🔗 Колико воде системи вештачке интелигенције заправо користе.
Објашњава хлађење дата центара, захтеве за обуком и утицај воде на животну средину.
🔗 Шта је скуп података вештачке интелигенције и зашто је важан.
Дефинише скупове података, означавање, изворе и њихову улогу у перформансама модела.
🔗 Како вештачка интелигенција предвиђа трендове из сложених података.
Обухвата препознавање образаца, моделе машинског учења и употребу у предвиђањима у стварном свету.
„Како вештачка интелигенција открива аномалије?“
Добар одговор треба да уради више од пуког набрајања алгоритама. Требало би да објасни механику и како она изгледа када се примени на стварне, несавршене податке. Најбоља објашњења:
-
Прикажите основне састојке: карактеристике , основне вредности , резултате и прагове . [1]
-
Контрастне практичне породице: удаљеност, густина, једна класа, изолација, вероватноћа, реконструкција. [1]
-
Обрада карактеристика временских серија: „нормално“ зависи од доба дана, дана у недељи, издања и празника. [1]
-
Третирајте евалуацију као право ограничење: лажни аларми нису само досадни - они поткопавају поверење. [4]
-
Укључите интерпретабилност + људско учешће, јер „чудно је“ није основни узрок. [5]
Основна механика: Основне линије, Резултати, Прагови 🧠
Већина система аномалија - отмених или не - своди се на три покретна дела:
1) Репрезентација (тј. шта модел види )
Сирови сигнали ретко су довољни. Или пројектујете карактеристике (покретне статистике, односе, кашњења, сезонске делте) или учите репрезентације (уграђивања, подпросторе, реконструкције). [1]
2) Бодовање (тј. колико је ово „чудно“?)
Уобичајене идеје за бодовање укључују:
-
На основу удаљености : далеко од комшија = сумњиво. [1]
-
На основу густине : ниска локална густина = сумњиво (LOF је типичан пример). [1]
-
Границе једне класе : научите „нормално“, означите шта је ван њега. [1]
-
Пробабилистички : мала вероватноћа према прилагођеном моделу = сумњиво. [1]
-
Грешка реконструкције : ако модел трениран на нормалном нивоу не може да га реконструише, вероватно је погрешан. [1]
3) Праг (тј. када звонити)
Прагови могу бити фиксни, квантилни, по сегменту или осетљиви на трошкове - али треба да буду калибрисани према буџетима за упозорења и трошковима накнадног развоја, а не према вибрацијама. [4]
Један веома практичан детаљ: scikit-learn детектори аутсајдера/новине откривају сирове резултате , а затим примењују праг (често контролисан претпоставком о контаминацији) да би претворили резултате у одлуке о аутсајдерима/аутсајдерима. [2]
Брзе дефиниције које спречавају бол касније 🧯
Две разлике које вас штеде од суптилних грешака:
-
Детекција аномалија : ваши подаци за обуку могу већ да садрже аномалије; алгоритам ипак покушава да моделира „густу нормалну област“.
-
Детекција новости : претпоставља се да су подаци за обуку чисти; процењујете да ли нова запажања уклапају у научени нормалан образац. [2]
Такође: детекција новости се често схвата као класификација једне класе - моделирање нормалног јер су абнормални примери ретки или недефинисани. [1]
Ненадзирани радни коњи које ћете заиста користити 🧰
Када су ознаке оскудне (што је у основи увек), ово су алати који се појављују у стварним цевоводима:
-
Изолациона шума : јака подразумевана вредност у многим табеларним случајевима, широко коришћена у пракси и имплементирана у scikit-learn. [2]
-
Једнокласна SVM : може бити ефикасна, али је осетљива на подешавање и претпоставке; scikit-learn експлицитно истиче потребу за пажљивим подешавањем хиперпараметара. [2]
-
Локални фактор аутсајдера (LOF) : класично бодовање засновано на густини; одлично када „нормално“ није уредна мрља. [1]
Практична превара коју тимови поново откривају сваке недеље: LOF се понаша различито у зависности од тога да ли радите детекцију одступања на скупу за обуку у односу на детекцију новости на новим подацима - scikit-learn чак захтева novelty=True да би се безбедно постигли невидљиви поени. [2]
Робусна основа која и даље функционише када су подаци нестабилни 🪓
Ако сте у фазону „само нам треба нешто што нас неће одвести у заборав“, робусна статистика је потцењена.
Модификовани z-скор користи медијану и MAD (апсолутно одступање медијане) да би смањио осетљивост на екстремне вредности. NIST-ов EDA приручник документује модификовани облик z-скора и наводи уобичајено коришћено правило „потенцијалног аутсајдера“ при апсолутној вредности изнад 3,5 . [3]
Ово неће решити сваки проблем аномалија - али је често јака прва линија одбране, посебно за метрике са буком и праћење у раној фази. [3]
Реалност временских серија: „Нормално“ зависи од тога када ⏱️📈
Аномалије временских серија су компликоване јер је контекст цела поента: може се очекивати скок у подне; исти скок у 3 сата ујутру може значити да нешто гори. Многи практични системи стога моделирају нормалност користећи временски свесне карактеристике (кашњења, сезонске делте, покретни прозори) и бодују одступања у односу на очекивани образац. [1]
Ако се сећате само једног правила: сегментирајте своју основну вредност (сат/дан/регион/ниво услуге) пре него што половину саобраћаја прогласите „аномалном“. [1]
Евалуација: Замка ретких догађаја 🧪
Детекција аномалија је често „тражење игле у пласту сена“, што чини евалуацију чудном:
-
ROC криве могу изгледати варљиво добро када су позитивни резултати ретки.
-
Прикази прецизног подсећања су често информативнији за неуравнотежена подешавања јер се фокусирају на перформансе позитивне класе. [4]
-
Оперативно, потребан вам је и буџет за упозорења : колико упозорења на сат људи заправо могу да изврше тријажу без смиривања беса? [4]
Тестирање уназад кроз покретне прозоре помаже вам да уочите класичан начин отказа: „ради одлично... на дистрибуцији од прошлог месеца.“ [1]
Интерпретабилност и узрок: Покажите свој рад 🪄
Упозоравање без објашњења је као добијање мистериозне разгледнице. Корисно, али фрустрирајуће.
Алати за интерпретабилност могу помоћи тако што ће указати на то које карактеристике су највише допринеле резултату аномалије или дати објашњења у стилу „шта би требало да се промени да би ово изгледало нормално?“. „Интерпретабилно машинско учење “ је солидан, критички водич за уобичајене методе (укључујући атрибуције у SHAP стилу) и њихова ограничења. [5]
Циљ није само удобност заинтересованих страна - то је бржа тријажа и мање поновљених инцидената.
Распоређивање, дрифт и повратне петље 🚀
Модели не живе у слајдовима. Они живе у цевоводима.
Уобичајена прича о „првом месецу у продукцији“: детектор углавном означава имплементације, групне послове и недостајуће податке… што је и даље корисно јер вас приморава да раздвојите „инциденте квалитета података“ од „пословних аномалија“.
У пракси:
-
Пратите померање и поново тренирајте/калибрирајте како се понашање мења. [1]
-
Забележите уносе резултата + верзију модела како бисте могли да репродукујете зашто је нешто страничено. [5]
-
Прикупљање људских повратних информација (корисна упозорења у односу на бучна упозорења) ради подешавања прагова и сегмената током времена. [4]
Безбедносни угао: IDS и аналитика понашања 🛡️
Безбедносни тимови често комбинују идеје о аномалијама са детекцијом заснованом на правилима: основне вредности за „нормално понашање хоста“, плус потписи и политике за познате лоше обрасце. NIST-ов SP 800-94 (Final) остаје широко цитирани оквир за разматрања система за детекцију и спречавање упада; такође се напомиње да нацрт „Rev. 1“ из 2012. године никада није постао коначан и касније је повучен. [3]
Превод: користите машинско учење где год вам помаже, али немојте одбацити досадна правила - она су досадна зато што функционишу.
Табела за поређење: Популарне методе на први поглед 📊
| Алат / Метод | Најбоље за | Зашто то функционише (у пракси) |
|---|---|---|
| Робусни / модификовани z-скорови | Једноставне метрике, брзе основне вредности | Јак први пролаз када вам је потребно „довољно добро“ и мање лажних узбуна. [3] |
| Изолована шума | Табеларне, мешовите карактеристике | Солидна подразумевана имплементација и широко коришћена у пракси. [2] |
| Једнокласни SVM | Компактни „нормални“ региони | Детекција новости заснована на границама; подешавање је веома важно. [2] |
| Фактор локалних аутсајдера | Многоструко сличне нормале | Контраст густине у односу на суседе уочава локалну необичност. [1] |
| Грешка у реконструкцији (нпр., у стилу аутоенкодера) | Високодимензионални обрасци | Тренирајте на нормалном нивоу; велике грешке у реконструкцији могу указивати на одступања. [1] |
Шифра: почните са робусним основним линијама + досадном методом без надзора, а затим додајте сложеност само тамо где се исплати.
Мини приручник: Од нуле до упозорења 🧭
-
Дефинишите „чудно“ оперативно (латенција, ризик од преваре, неисправност процесора, ризик од залиха).
-
Почните са основним нивоом (робусна статистика или сегментирани прагови). [3]
-
Изаберите један ненадгледани модел као први пролаз (Изолациона шума / LOF / Једнокласна SVM). [2]
-
Поставите прагове са буџетом за упозорење и процените размишљањем у стилу односа с јавношћу ако су позитивни резултати ретки. [4]
-
Додајте објашњења + евидентирање како би свако упозорење било репродуцибилно и могло да се отклони грешке. [5]
-
Тестирање уназад, испорука, учење, рекалибрација - померање је нормално. [1]
Ово апсолутно можете да урадите за недељу дана... под претпоставком да ваше временске ознаке нису залепљене селотејпом и надом. 😅
Завршне напомене - Предугачко, нисам прочитао/ла 🧾
Вештачка интелигенција открива аномалије учењем практичне слике „нормалног“, бодовањем одступања и означавањем онога што прелази праг. Најбољи системи не побеђују тиме што су блистави, већ тиме што су калибрисани : сегментиране основне линије, буџети упозорења, интерпретабилни излази и повратна петља која претвара бучне аларме у поуздан сигнал. [1]
Референце
-
Пиментел и др. (2014) - Преглед детекције новости (PDF, Универзитет у Оксфорду) прочитајте више
-
scikit-learn Документација - Детекција новости и одступања прочитајте више
-
NIST/SEMATECH е-приручник - Детекција аутлијера прочитајте више и NIST CSRC - SP 800-94 (коначна вредност): Водич за системе за детекцију и спречавање упада (IDPS) прочитајте више
-
Саито и Ремсмајер (2015) - График прецизности и подсећања је информативнији од ROC графикона приликом процене бинарних класификатора на неуравнотеженим скуповима података (PLOS ONE) прочитајте више
-
Молнар - Интерпретабилно машинско учење (веб књига) прочитајте више