Шта је неуронска мрежа у вештачкој интелигенцији?

Шта је неуронска мрежа у вештачкој интелигенцији?

Неуронске мреже звуче мистериозно док не престану. Ако сте се икада питали шта је неуронска мрежа у вештачкој интелигенцији? И да ли је то само математика са отменим шеширом, на правом сте месту. Држаћемо се практичних ствари, убацити мале заобилазне путеве и да - неколико емоџија. Отићи ћете знајући шта су ови системи, зашто раде, где не успевају и како да о њима говорите без оклевања.

Чланци које бисте можда желели да прочитате након овог:

🔗 Шта је пристрасност вештачке интелигенције
Разумевање пристрасности у системима вештачке интелигенције и стратегије за обезбеђивање правичности.

🔗 Шта је предиктивна вештачка интелигенција
Како предиктивна вештачка интелигенција користи обрасце за предвиђање будућих исхода.

🔗 Шта је тренер за вештачку интелигенцију
Истраживање улоге и одговорности стручњака који обучавају вештачку интелигенцију.

🔗 Шта је рачунарски вид у вештачкој интелигенцији
Како вештачка интелигенција интерпретира и анализира визуелне податке путем рачунарског вида.

Шта је неуронска мрежа у вештачкој интелигенцији? Одговор за 10 секунди ⏱️

Неуронска мрежа је скуп једноставних рачунских јединица названих неурони који прослеђују бројеве, прилагођавају јачину својих веза током обуке и постепено уче обрасце у подацима. Када чујете дубоко учење , то обично значи неуронска мрежа са много наслаганих слојева, која аутоматски учи функције уместо да их кодирате ручно. Другим речима: мноштво ситних математичких делова, паметно распоређених, тренираних на подацима док не постану корисни [1].

Шта чини неуронску мрежу корисном? ✅

  • Моћ репрезентације : Са правом архитектуром и величином, мреже могу апроксимирати изузетно сложене функције (видети Универзалну теорему апроксимације) [4].

  • Учење од почетка до краја : Уместо ручног пројектовања карактеристика, модел их открива [1].

  • Генерализација : Добро регуларизована мрежа не само да памти - она ​​ради на новим, невиђеним подацима [1].

  • Скалабилност : Већи скупови података плус већи модели често побољшавају резултате… до практичних ограничења као што су квалитет рачунања и података [1].

  • Преносивост : Карактеристике научене у једном задатку могу помоћи другом (трансфер учења и фино подешавање) [1].

Мала белешка са терена (пример сценарија): Мали тим за класификацију производа замењује ручно израђене функције компактном CNN-ом, додаје једноставна побољшања (окретање/исецање) и посматра како се грешке у валидацији смањују - не зато што је мрежа „магична“, већ зато што је научила корисније функције директно из пиксела.

„Шта је неуронска мрежа у вештачкој интелигенцији?“ на једноставном енглеском, са сумњивом метафором 🍞

Замислите линију у пекари. Састојци улазе, радници дотерују рецепт, дегустатори се жале, а тим поново ажурира рецепт. У мрежи, улази пролазе кроз слојеве, функција губитака градира излаз, а градијенти подешавају тежине да би следећи пут биле боље. Није савршено као метафора - хлеб није диференцијабилан - али се лепи [1].

Анатомија неуронске мреже 🧩

  • Неурони : Мали калкулатори који примењују пондерисану суму и функцију активације.

  • Тежине и пристрасности : Подесиви дугмићи који дефинишу како се сигнали комбинују.

  • Слојеви : Улазни слој прима податке, скривени слојеви их трансформишу, излазни слој прави предвиђање.

  • Функције активације : Нелинеарни обрти попут ReLU, сигмоида, tanh и softmax чине учење флексибилним.

  • Функција губитка : Резултат који показује колико је предвиђање погрешно (унакрсна ентропија за класификацију, MSE за регресију).

  • Оптимизатор : Алгоритми попут SGD-а или Adam-а користе градијенте за ажурирање тежина.

  • Регуларизација : Технике попут испуштања или опадања тежине како би се спречило прекомерно прилагођавање модела.

Ако желите формални третман (али и даље читљив), отворени уџбеник Дубоко учење покрива цео стек: основе математике, оптимизацију и генерализацију [1].

Функције активације, укратко али корисно ⚡

  • ReLU : Нула за негативне вредности, линеарно за позитивне. Једноставно, брзо, ефикасно.

  • Сигмоид : Смањује вредности између 0 и 1 - корисно, али може довести до засићења.

  • Танх : Као сигмоид, али симетричан око нуле.

  • Софтмакс : Претвара сирове резултате у вероватноће у свим класама.

Не морате да памтите сваки облик криве - довољно је да знате компромисе и уобичајене подразумеване вредности [1, 2].

Како се учење заправо дешава: уз помоћ, али не и застрашујуће 🔁

  1. Пролаз унапред : Подаци теку слој по слој да би се произвела предвиђања.

  2. Израчунај губитак : Упореди предвиђање са истином.

  3. Повратно ширење : Израчунајте градијенте губитка у односу на сваку тежину користећи ланчано правило.

  4. Ажурирање : Оптимизатор мало мења тежине.

  5. Понављање : Много епоха. Модел постепено учи.

За практични увид са визуелним приказима и објашњењима у вези са кодом, погледајте класичне CS231n белешке о повратном пропу и оптимизацији [2].

Главне породице неуронских мрежа, на први поглед 🏡

  • Мреже са директним преносом података (MLP) : Најједноставнија врста. Подаци се крећу само напред.

  • Конволуционе неуронске мреже (КНМ) : Одличне за слике захваљујући просторним филтерима који детектују ивице, текстуре, облике [2].

  • Рекурентне неуронске мреже (RNN) и њихове варијанте : Направљене за секвенце попут текста или временских серија одржавањем реда [1].

  • Трансформерси : Користите пажњу да моделирате односе између позиција у низу одједном; доминантно у језику и шире [3].

  • Графовске неуронске мреже (ГНН) : Оперишу на чворовима и ивицама графа - корисно за молекуле, друштвене мреже, препоруке [1].

  • Аутоенкодери и VAE : Научите компресоване репрезентације и генеришите варијације [1].

  • Генеративни модели : Од GAN мрежа до дифузионих модела, користе се за слике, звук, чак и код [1].

Белешке CS231n су посебно корисне за CNN-ове, док је рад Transformer-а примарни извор за моделе засноване на пажњи [2, 3].

Табела за поређење: уобичајене врсте неуронских мрежа, за кога су намењене, вибрације трошкова и зашто функционишу 📊

Алат / Тип Публика Приближно скупо Зашто то функционише
Унапредна повратна информација (MLP) Почетници, аналитичари Ниско-средње Једноставне, флексибилне, пристојне основне линије
Си-Ен-Ен Тимови за визију Средњи Локални обрасци + дељење параметара
РНН / ЛСТМ / ГРУ Људи из секвенце Средњи Временска меморија... бележи редослед
Трансформатор НЛП, мултимодални Средње-високо Пажња се усмерава на релевантне односе
ГНН Научници, recsys Средњи Пренос порука преко графова открива структуру
Аутоенкодер / VAE Истраживачи Ниско-средње Учи компресоване репрезентације
ГАН / Дифузија Креативне лабораторије Средње-високо Супротставничка или итеративна магија за уклањање шума

Напомене: цена се одвија у зависности од рачунарства и времена; потрошња варира. Један или два телефона су намерно причљиви.

„Шта је неуронска мрежа у вештачкој интелигенцији?“ у односу на класичне алгоритме машинског учења ⚖️

  • Инжењеринг карактеристика : Класично машинско учење се често ослања на ручне карактеристике. Неуронске мреже аутоматски уче карактеристике - велика победа за сложене податке [1].

  • Глад за подацима : Мреже често блистају са више података; мали број података може фаворизовати једноставније моделе [1].

  • Рачунарство : Мреже воле акцелераторе попут графичких процесора [1].

  • Плафон перформанси : За неструктуриране податке (слике, звук, текст), дубоке мреже имају тенденцију да доминирају [1, 2].

Ток рада обуке који заправо функционише у пракси 🛠️

  1. Дефинишите циљ : Класификација, регресија, рангирање, генерисање - изаберите губитак који одговара.

  2. Обрада података : Подела на обуку/валидацију/тестирање. Нормализација карактеристика. Балансирање класа. За слике, размотрите аугментацију као што су окретање, исецање, мали шум.

  3. Избор архитектуре : Почните једноставно. Додајте капацитет само када је потребно.

  4. Петља обуке : Групирање података. Пролазак унапред. Израчунавање губитка. Повратно покретање. Ажурирање. Забележавање метрика.

  5. Регулисање : Напуштање, губитак тежине, рано заустављање.

  6. Процена : Користите скуп за валидацију за хиперпараметре. Припремите скуп за тестирање за коначну проверу.

  7. Пажљиво шаљите : Пратите померање, проверите пристрасност, планирајте враћање уназад.

За свеобухватне, ка програмирању оријентисане туторијале са чврстом теоријом, отворени уџбеник и белешке о CS231n су поуздана сидра [1, 2].

Претерано прилагођавање, генерализација и остале грешке 👀

  • Прекомерно прилагођавање : Модел памти необичности тренинга. Поправите то са више података, јачом регуларизацијом или једноставнијим архитектурама.

  • Недовољно прилагођавање : Модел је превише једноставан или је тренинг превише плашљив. Повећајте капацитет или тренирајте дуже.

  • Цурење података : Информације из тестног скупа се ушуњају у тренинг. Троструко проверите своје поделе.

  • Лоша калибрација : Модел који је поуздан, али погрешан је опасан. Размотрите калибрацију или другачије пондерисање губитака.

  • Промена дистрибуције : Подаци из стварног света се крећу. Пратите и прилагођавајте се.

За теорију која стоји иза генерализације и регуларизације, ослоните се на стандардне референце [1, 2].

Безбедност, интерпретабилност и одговорно распоређивање 🧭

Неуронске мреже могу доносити одлуке са високим улогом. Није довољно да добро функционишу на ранг листи. Потребни су вам кораци управљања, мерења и ублажавања током целог животног циклуса. Оквир за управљање ризицима у вези са вештачком интелигенцијом NIST-а описује практичне функције - УПРАВЉАЊЕ, МАПИРАЊЕ, МЕРЕЊЕ, УПРАВЉАЊЕ - како би се помогло тимовима да интегришу управљање ризицима у дизајн и имплементацију [5].

Неколико брзих подстицаја:

  • Провере пристрасности : Процените по демографским слојевима где је то прикладно и законито.

  • Интерпретабилност : Користите технике попут истакнутости или атрибуције карактеристика. Оне су несавршене, али корисне.

  • Праћење : Подесите упозорења за изненадне падове метрика или померање података.

  • Људски надзор : Обавештавајте људе о одлукама које имају велики утицај. Без херојства, само хигијена.

Често постављана питања која сте тајно имали 🙋

Да ли је неуронска мрежа у основи мозак?

Инспирисано мозгом, да - али поједностављено. Неурони у мрежама су математичке функције; биолошки неурони су живе ћелије са сложеном динамиком. Сличне вибрације, веома различита физика [1].

Колико слојева ми је потребно?

Почните полако. Ако нисте довољно опремљени, додајте ширину или дубину. Ако сте превише опремљени, регулишите или смањите капацитет. Не постоји магични број; постоје само криве валидације и стрпљење [1].

Да ли ми је увек потребна графичка картица (GPU)?

Не увек. Мали модели на скромним подацима могу се тренирати на процесорима, али за слике, велике текстуалне моделе или велике скупове података, акцелератори штеде много времена [1].

Зашто људи кажу да је пажња моћна?

Зато што пажња омогућава моделима да се фокусирају на најрелевантније делове уноса без строгог редоследа. Она обухвата глобалне односе, што је веома важно за језичке и мултимодалне задатке [3].

Да ли се „Шта је неуронска мрежа у вештачкој интелигенцији?“ разликује од „шта је дубоко учење“?

Дубоко учење је шири приступ који користи дубоке неуронске мреже. Дакле, питање „ Шта је неуронска мрежа у вештачкој интелигенцији?“ је као питање о главном лику; дубоко учење је цео филм [1].

Практични, помало тврдоглави савети 💡

  • дајте предност једноставним основним линијама . Чак и мали вишеслојни перцептрон може вам рећи да ли се подаци могу научити.

  • Одржавајте свој цевовод података репродуктивним . Ако га не можете поново покренути, не можете му веровати.

  • Брзина учења је важнија него што мислите. Пробајте распоред. Загревање може помоћи.

  • компромиси у вези са величином серије . Веће серије стабилизују градијенте, али могу имати другачији генерални ефекат.

  • Када сте збуњени, нацртајте криве губитка и норме тежине . Били бисте изненађени колико често се одговор налази на графиконима.

  • Документујте претпоставке. Будуће - ви брзо заборављате ствари [1, 2].

Дубински заобилазни пут: улога података, или зашто „смеће унутра“ и даље значи „смеће напољу“ 🗑️➡️✨

Неуронске мреже не поправљају магично погрешне податке. Искривљене ознаке, грешке у анотацијама или уско узорковање ће се одразити на модел. Уредите, ревидирајте и проширите. А ако нисте сигурни да ли вам је потребно више података или бољи модел, одговор је често досадно једноставан: обоје - али почните са квалитетом података [1].

„Шта је неуронска мрежа у вештачкој интелигенцији?“ - кратке дефиниције које можете поново користити 🧾

  • Неуронска мрежа је слојевити апроксиматор функција који учи сложене обрасце подешавањем тежина помоћу градијентних сигнала [1, 2].

  • То је систем који трансформише улазе у излазе кроз узастопне нелинеарне кораке, обучен да минимизира губитак [1].

  • То је флексибилан приступ моделирању који захтева много података и који напредује на неструктурираним улазима попут слика, текста и звука [1, 2, 3].

Предугачко, нисам прочитао/ла и завршне напомене 🎯

Ако вас неко пита Шта је неуронска мрежа у вештачкој интелигенцији?, ево кратког одговора: неуронска мрежа је скуп једноставних јединица које корак по корак трансформишу податке, учећи трансформацију минимизирањем губитака и пратећи градијенте. Моћне су јер се скалирају, аутоматски уче карактеристике и могу представљати веома сложене функције [1, 4]. Ризичне су ако занемарите квалитет података, управљање или праћење [5]. И нису магија. Само математика, рачунарство и добар инжењеринг - са додатком укуса.

Додатна литература, пажљиво одабрана (додаци без цитата)

Референце

[1] Гудфелоу, И., Бенђо, Ј. и Курвил, А. Дубоко учење . MIT Press. Бесплатна онлајн верзија: прочитајте више

[2] Станфорд CS231n. Конволуционе неуронске мреже за визуелно препознавање (белешке са курса): прочитајте више

[3] Васвани, А., Шазир, Н., Пармар, Н. и др. (2017). Пажња је све што вам треба . NeurIPS. arXiv: прочитајте више

[4] Цибенко, Г. (1989). Апроксимација суперпозицијама сигмоидне функције . Математика управљања, сигнали и системи , 2, 303–314. Спрингер: прочитајте више

[5] NIST. Оквир за управљање ризицима вештачке интелигенције (AI RMF) : прочитајте више

Пронађите најновију вештачку интелигенцију у званичној продавници вештачке интелигенције

О нама

Назад на блог