Кратак одговор: Да бисте оптимизовали вештачку интелигенцију (AI) моделе, изаберите једно примарно ограничење (латенција, трошак, меморија, квалитет, стабилност или пропусност), а затим забележите поуздану основну вредност пре него што било шта промените. Прво уклоните уска грла у цевоводу, а затим примените добитке ниског ризика попут мешовите прецизности и групирања; ако се квалитет одржи, пређите на алате за компајлер/време извршавања и тек онда смањите величину модела путем квантизације или дестилације када је потребно.
Кључне закључке:
Ограничење : Изаберите једну или две циљне метрике; оптимизација је пејзаж компромиса, а не бесплатних победа.
Мерење : Профилишите стварна оптерећења са p50/p95/p99, пропусним оптерећењем, искоришћењем и врховима меморије.
Цевовод : Поправите токенизацију, учитаваче података, претходну обраду и груписање пре него што додирнете модел.
Послуживање : Користите кеширање, намерно групирање, подешавање конкурентности и пажљиво пратите латенцију репа.
Заштитне ограде : Покрећите златне упите, метрике задатака и насумичне провере након сваке промене перформанси.
🔗 Како ефикасно проценити вештачке интелигенције моделе
Кључни критеријуми и кораци за праведно и поуздано процењивање модела.
🔗 Како мерити перформансе вештачке интелигенције помоћу стварних метрика
Користите бенчмаркове, латенцију, трошкове и сигнале квалитета за поређење.
🔗 Како тестирати вештачку интелигенцију моделе пре производње
Практични ток рада тестирања: поделе података, стресни случајеви и праћење.
🔗 Како користити вештачку интелигенцију за креирање садржаја
Претворите идеје у нацрте брже помоћу структурираних упутстава и итерације.
1) Шта „Оптимизуј“ значи у пракси (јер га свако користи другачије) 🧠
Када људи кажу „оптимизујте модел вештачке интелигенције“, они би могли да мисле на:
-
Убрзајте (мања латенција)
-
Учините то јефтинијим (мање сати рада GPU-а, мања потрошња на облак)
-
Смањите га (заузимање меморије, распоређивање на рубу мреже)
-
Учините га прецизнијим (побољшање квалитета, мање халуцинација)
-
Учините га стабилнијим (мање варијансе, мање кварова у производњи)
-
Олакшајте сервирање (пропусност, групирање, предвидљиве перформансе)
Ево једне благо досадне истине: не можете све ово максимизирати одједном. Оптимизација је као стискање балона - гурнете једну страну унутра, а друга страна искаче. Не увек, али довољно често да би требало да планирате компромисе.
Дакле, пре него што било шта додирнете, изаберите своје примарно ограничење :
-
Ако пружате услуге корисницима уживо, битни су вам латенција p95 ( перцентили AWS CloudWatch-а ) и перформансе репа ( најбоља пракса за „латенцију репа“ ) 📉
-
Ако тренирате, битно вам је време потребно за постизање квалитета и искоришћеност графичке картице 🔥
-
Ако инсталирате на уређаје, битни су вам RAM меморија и напајање 🔋
2) Како изгледа добра верзија оптимизације вештачке интелигенције ✅
Добра верзија оптимизације није само „примени квантизацију и моли се“. То је систем. Најбоље поставке обично имају:
-
Основна линија којој верујете.
Ако не можете да репродукујете своје тренутне резултате, не можете знати да сте било шта побољшали. Једноставно… али људи то прескачу. Онда се упуштају у спиралу. -
Јасна циљна метрика
„Брже“ је нејасна. „Смањити латенцију p95 са 900ms на 300ms уз исти резултат квалитета“ је прави циљ. -
Заштитне ограде за квалитет
Свака победа у перформансама ризикује тихи пад квалитета. Потребни су вам тестови, евалуације или барем пакет за процену здравог разума. -
Свест о хардверу
„Брзи“ модел на једном графичком процесору може да се покреће на другом. Процесори су свој посебан тип хаоса. -
Итеративне промене, а не нагло преписивање.
Када промените пет ствари одједном и перформансе се побољшају, не знате зашто. Што је... узнемирујуће.
Оптимизација би требало да се осећа као штимовање гитаре - мала подешавања, пажљиво слушајте, понављајте 🎸. Ако се осећа као жонглирање ножевима, нешто није у реду.
3) Табела поређења: Популарне опције за оптимизацију вештачке интелигенције 📊
Испод је кратка и помало неуредна табела за поређење уобичајених алата/приступа за оптимизацију. Не, није сасвим „фер“ - ни стварни живот није.
| Алат / Опција | Публика | Цена | Зашто то функционише |
|---|---|---|---|
PyTorch torch.compile ( PyTorch документација ) |
Људи из PyTorch-а | Бесплатно | Снимање графова + трикови компајлера могу смањити трошкове… понекад је то магија ✨ |
| ONNX Runtime ( ONNX Runtime документација ) | Тимови за распоређивање | Слободно | Јаке оптимизације инференције, широка подршка, добро за стандардизовано приказивање |
| TensorRT ( NVIDIA TensorRT документација ) | Распоређивање NVIDIA-е | Плаћени вибрације (често у пакету) | Агресивна фузија језгра + прецизно руковање, веома брзо када кликне |
| DeepSpeed ( ZeRO документација ) | Тимови за обуку | Бесплатно | Оптимизације меморије + пропусности (ZeRO итд.). Може се осећати као млазни мотор |
| FSDP (PyTorch) ( PyTorch FSDP документација ) | Тимови за обуку | Бесплатно | Параметри/градијенти шардова, чине велике моделе мање застрашујућим |
| квантизација битова и бајтова ( bitsandbytes ) | Мајстори мастер права | Бесплатно | Мала тежина битова, огромна уштеда меморије - квалитет зависи, али уф 😬 |
| Дестилација ( Хинтон и др., 2015 ) | Тимови производа | „Временски трошкови“ | Модел мањег студента наслеђује понашање, обично најбољи повраћај инвестиције дугорочно |
| Орезивање ( PyTorch туторијал за орезивање ) | Истраживање + производња | Бесплатно | Уклања мртву тежину. Боље функционише у комбинацији са преобуком |
| Бљесак пажње / спојена зрна ( FlashAttention папир ) | Љубитељи перформанса | Бесплатно | Бржа пажња, боље памћење. Права победа за трансформере |
| Тритон Инференцијски Сервер ( Динамичко Батирање ) | Операције/инфраструктура | Бесплатно | Производно опслуживање, групирање, вишемоделски цевоводи - делује као предузеће |
Признање о необичности форматирања: „Цена“ је неуредна јер вас отворени код и даље може коштати викенд дебаговања, што је... цена. 😵💫
4) Почните са мерењем: Профилишите као да то мислите озбиљно 🔍
Ако радите само једну ствар из целог овог водича, урадите ово: правилно мерите.
У мом сопственом тестирању, највећи „продори у оптимизацији“ дошли су открићем нечега срамотно једноставног попут:
-
учитавач података који исцрпљује графички процесор
-
Уско грло претходне обраде процесора
-
мале величине пакета које узрокују додатне трошкове при покретању језгра
-
спора токенизација (токенизатори могу бити тихи зликовци)
-
фрагментација меморије ( белешке о алокатору меморије у PyTorch CUDA )
-
једнослојно доминирање рачунарства
Шта мерити (минимални сет)
-
Латенција (p50, p95, p99) ( SRE на перцентилима латенције )
-
Пропусност (токени/сек, захтеви/сек)
-
Искоришћеност графичког процесора (рачунарство + меморија)
-
Врхунци VRAM-а / RAM-а
-
Цена по 1000 токена (или по инференцији)
Практични начин размишљања о профилисању
-
Напишите један сценарио који вас занима (не игрушку која вас занима).
-
Забележите све у малом „дневнику перформанси“.
Да, досадно је... али вас штеди да се касније не критикујете.
(Ако желите конкретан алат за почетак: PyTorch Profiler ( torch.profiler docs ) и Nsight Systems ( NVIDIA Nsight Systems ) су уобичајени осумњичени.)
5) Оптимизација података + обуке: Тиха суперсила 📦🚀
Људи су опседнути архитектуром модела и заборављају на процес рада. У међувремену, процес рада тихо троши половину графичког процесора.
Лаке победе које се брзо појављују
-
Користите мешовиту прецизност (FP16/BF16 где је стабилно) ( PyTorch AMP / torch.amp )
Обично брже, често добро - али пазите на нумеричке неточности. -
Акумулација градијента када је величина серије ограничена ( 🤗 Водич за убрзање )
Одржава оптимизацију стабилном без експлозије меморије. -
Градијентно контролно одређивање ( torch.utils.checkpoint )
Замењује израчунавање за меморију - чини веће контексте могућим. -
Ефикасна токенизација ( 🤗 Токенизатори )
Токенизација може постати уско грло у великим размерама. Није гламурозна; важна је. -
Подешавање учитавача података
Више радника, закачена меморија, претходно учитавање - неупадљиво али ефикасно 😴➡️💪 ( Водич за подешавање перформанси PyTorch-а )
Параметарски ефикасно фино подешавање
Ако фино подешавате велике моделе, PEFT методе (као што су адаптери у LoRA стилу) могу значајно смањити трошкове обуке, а да притом остану изненађујуће јаке ( 🤗 Трансформерс PEFT водич , LoRA рад ). Ово је један од оних тренутака „зашто ово нисмо урадили раније?“.
6) Оптимизација на нивоу архитектуре: Правилно прилагођавање величине модела 🧩
Понекад је најбољи начин за оптимизацију… престати да користите модел који је превелик за посао. Знам, светогрђе 😄.
Позовите на основу неколико основних ствари:
-
Одлучите да ли вам је потребан комплетан општи обавештајни сертификат или специјалиста.
-
Држите контекстни прозор онолико великим колико је потребно, не већим.
-
Користите модел обучен за посао који је пред вама (класификациони модели за класификациони рад и тако даље).
Практичне стратегије за правилно одређивање величине
-
Пребаците се на мању окосницу за већину захтева,
а затим усмерите „тешке упите“ на већи модел. -
Користите двостепено подешавање.
Брзо правите нацрте модела, јачи модел проверава или уређује.
То је као да пишете са пријатељем који је избирљив - досадно, али ефикасно. -
Смањите дужину излаза.
Излазни токени коштају новца и времена. Ако ваш модел лута, ви плаћате за лутање.
Видео сам како тимови драматично смањују трошкове наметањем краћих резултата. Делује ситно. Функционише.
7) Компајлер + оптимизација графова: Одакле долази брзина 🏎️
Ово је слој „натерајте рачунар да ради паметније рачунарске ствари“.
Уобичајене технике:
-
Фузија оператора (комбиновање језгара) ( NVIDIA TensorRT „фузија слојева“ )
-
Константно савијање (претходно израчунавање фиксних вредности) ( ONNX оптимизације графова током извршавања )
-
Избор језгра прилагођен хардверу
-
Снимање графова ради смањења оптерећења Пајтона ( преглед
torch.compile-а)
Једноставно речено: ваш модел може бити брз математички, али спор оперативно. Компилатори исправљају део тога.
Практичне напомене (тј. ожиљци)
-
Ове оптимизације могу бити осетљиве на промене облика модела.
-
Неки модели много убрзавају, неки се једва померају.
-
Понекад добијеш убрзање и загонетну грешку - као да се гремлин уселио 🧌
Ипак, када функционише, то је једна од најчистијих победа.
8) Квантизација, орезивање, дестилација: Мање без плакања (превише) 🪓📉
Ово је део који људи желе... јер звучи као бесплатан наступ. Може бити, али морате то третирати као операцију.
Квантизација (тежине/активације ниже прецизности)
-
Одлично за брзину закључивања и памћење
-
Ризик: пад квалитета, посебно у граничним случајевима
-
Најбоља пракса: процените на стварном тестном скупу, а не на вибрацијама
Уобичајени укуси о којима ћете чути:
-
INT8 (често чврст) ( TensorRT квантизовани типови )
-
INT4 / нискобитни (огромне уштеде, ризик квалитета расте) ( квантизација битова и бајтова k-бита )
-
Мешовита квантитација (није свему потребна иста прецизност)
Орезивање (уклањање параметара)
-
Уклања „неважне“ тежине или структуре ( PyTorch водич за орезивање )
-
Обично је потребна преквалификација да би се повратио квалитет
-
Ради боље него што људи мисле... када се ради пажљиво
Дестилација (ученик учи од наставника)
Ово је моја омиљена дугорочна полуга. Дестилација може произвести мањи модел који се понаша слично и често је стабилнији од екстремне квантизације ( Дестилација знања у неуронској мрежи ).
Несавршена метафора: дестилација је као када се компликована супа сипа кроз филтер и добије... мања супа. Супа не функционише тако, али схватате поенту 🍲.
9) Сервирање и закључивање: Права зона борбе 🧯
Можете „оптимизовати“ модел, а и даље га лоше опслуживати. Опслуживање је место где латенција и трошкови постају стварни.
Сервирање победа које су битне
-
Групно групирање
побољшава пропусност. Али повећава латенцију ако се претера. Уравнотежите то. ( Тритон динамичко групирање ) -
Кеширање
Кеширање промпта и поновна употреба KV-кеша могу бити огромни за понављајуће контексте. ( Објашњење KV кеша ) -
Стриминг излаз
Корисници сматрају да је бржи чак и ако је укупно време слично. Перцепција је битна 🙂. -
Смањење оптерећења токен по токену.
Неки стекови обављају додатни посао по токену. Смањите то оптерећење и освојићете велику добит.
Пазите на латенцију репа
Ваш просек може изгледати сјајно, док је ваш p99 катастрофа. Корисници, нажалост, живе у репу. ( „Латенција репа“ и зашто просеци лажу )
10) Оптимизација свесна хардвера: Ускладите модел са машином 🧰🖥️
Оптимизација без познавања хардвера је као подешавање тркачког аутомобила без провере гума. Наравно, можете то да урадите, али је мало глупо.
Разматрања графичке картице (GPU)
-
Пропусни опсег меморије је често ограничавајући фактор, а не сирови рачунарски капацитети
-
Веће величине серија могу помоћи, све док не престану
-
Фузија језгра и оптимизација пажње су огромне за трансформаторе ( FlashAttention: IO-svesna тачна пажња )
Разматрања процесора
-
Нити, векторизација и локалност меморије су веома важни
-
Трошкови токенизације могу доминирати ( 🤗 „Брзи“ токенизатори )
-
Можда ће вам бити потребне другачије стратегије квантизације него на ГПУ-у
Разматрања за Edge/мобилне уређаје
-
Меморијски отисак постаје приоритет број један
-
Варијација латенције је важна јер су уређаји… променљиви
-
Мањи, специјализовани модели често побеђују велике опште моделе
11) Квалитетне заштитне ограде: Немојте се „оптимизовати“ да постанете грешка 🧪
Свака победа у брзој игри треба да прати провера квалитета. У супротном ћете славити, слати поруку, а затим добити поруку попут „зашто асистент одједном прича као пират?“ 🏴☠️
Прагматичне заштитне ограде:
-
Златни упити (фиксни скуп упита које увек тестирате)
-
Метрике задатка (тачност, F1, BLEU, шта год одговара)
-
Људске провере на лицу места (да, озбиљно)
-
Прагови регресије („дозвољен пад не већи од X%)
Такође пратите начине отказа:
-
померање форматирања
-
промене у понашању одбијања
-
учесталост халуцинација
-
инфлација дужине одговора
Оптимизација може променити понашање на изненађујуће начине. Необично. Иритантно. Предвидљиво, гледајући уназад.
12) Контролна листа: Како оптимизовати вештачке интелигенције моделе корак по корак ✅🤖
Ако желите јасан редослед операција за Како оптимизовати вештачке интелигенције моделе , ево тока рада који обично помаже људима да остану здрави:
-
Дефинишите успех.
Изаберите 1-2 основне метрике (латенција, трошкови, пропусност, квалитет). -
Мерење основног
профила стварних оптерећења, бележење p50/p95, меморије, трошкова. ( PyTorch Profiler ) -
Отклоните уска грла у цевоводу
Учитавање података, токенизација, претходна обрада, груписање. -
Примените победе у рачунарству са ниским ризиком,
мешовиту прецизност, оптимизације језгра, боље групирање. -
Испробајте оптимизације компајлера/времена извршавања:
снимање графова, времена извршавања инференције, фузију оператора. ( туторијалза torch.compile, ONNX документација за извршавање ) -
Смањите трошкове модела.
Пажљиво квантификујте, дестилујте ако можете, орезујте ако је потребно. -
Подешавање сервиса
, кеширање, конкурентност, тестирање оптерећења, исправке латенције репа. -
Валидирајте квалитет.
Покрените регресионе тестове и упоредите резултате један поред другог. -
Понављајте.
Мале измене, јасне белешке, понављајте. Неупадљиво - ефикасно.
И да, ово је и даље Како оптимизовати вештачке интелигенције моделе чак и ако више личи на „Како престати да газите по грабуљама“. Иста ствар.
13) Уобичајене грешке (да их не бисте понављали као сви ми) 🙃
-
Оптимизација пре мерења.
Изгубићете време. А онда ћете самоуверено оптимизовати погрешну ствар... -
Јурење за једним референтним
показатељем Референтни показатељи лажу изостављањем. Ваше радно оптерећење је истина. -
Игнорисање меморије
Проблеми са меморијом узрокују успоравања, падове и подрхтавање. ( Разумевање коришћења CUDA меморије у PyTorch-у ) -
Прерано преквантисање. Квантирање са
малим бројем битова може бити невероватно, али прво почните са безбеднијим корацима. -
Нема плана за враћање на претходно стање.
Ако не можете брзо да вратите на претходно стање, свако имплементирање постаје стресно. Стрес ствара грешке.
Завршне напомене: Људски начин оптимизације 😌⚡
Оптимизација вештачке интелигенције модела није једнократни трик. То је слојевит процес: мерење, поправљање цевовода, коришћење компајлера и времена извршавања, подешавање сервирања, а затим смањење модела квантизацијом или дестилацијом ако је потребно. Радите то корак по корак, држите се квалитетних ограничења и не верујте „осећа се брже“ као метрици (ваши осећаји су дивни, ваши осећаји нису профилер).
Ако желите најкраћу храну за понети:
-
Прво измери 🔍
-
Следеће оптимизујте цевовод 🧵
-
Затим оптимизујте модел 🧠
-
Затим оптимизујте приказивање 🏗️
-
Увек проверавајте квалитет ✅
И ако вам помаже, подсетите се: циљ није „савршен модел“. Циљ је модел који је брз, приступачан и довољно поуздан да можете да спавате ноћу... већину ноћи 😴.
Честа питања
Шта оптимизација вештачке интелигенције значи у пракси
„Оптимизација“ обично значи побољшање једног примарног ограничења: латенције, трошкова, меморијског отиска, тачности, стабилности или пропусног опсега. Тежак део су компромиси - померање једне области може утицати на другу. Практичан приступ је одабир јасног циља (као што је латенција p95 или време потребно за квалитет) и оптимизација према њему. Без циља, лако је „побољшати се“, а ипак изгубити.
Како оптимизовати вештачку интелигенцију модела без тихог угрожавања квалитета
Третирајте сваку промену брзине или трошкова као потенцијалну тиху регресију. Користите заштитне ограде као што су златни упити, метрике задатака и брзе људске провере на лицу места. Поставите јасан праг за прихватљиво одступање квалитета и упоређујте резултате један поред другог. Ово спречава да се „брже је“ претвори у „зашто је изненада постало чудно у продукцији?“ након што испоручите производ.
Шта треба измерити пре него што почнете са оптимизацијом
Почните са перцентилима латенције (p50, p95, p99), пропусним опсегом (токени/сек или захтеви/сек), искоришћењем графичког процесора (GPU) и вршном VRAM/RAM меморијом. Пратите трошкове по инференцији или по 1k токена ако су трошкови ограничење. Направите профил стварног сценарија који опслужујете, а не играчку. Вођење малог „дневника учинка“ помаже вам да избегнете погађање и понављање грешака.
Брзе победе са ниским ризиком за побољшање учинка на тренингу
Мешовита прецизност (FP16/BF16) је често најбржа прва полуга, али пазите на нумеричке необичности. Ако је величина серије ограничена, акумулација градијента може стабилизовати оптимизацију без трошења меморије. Градијентно контролно одређивање жртвује додатно израчунавање за мање меморије, омогућавајући веће контексте. Не занемарујте токенизацију и подешавање учитавача података - они могу тихо исцрпити GPU.
Када користити torch.compile, ONNX Runtime или TensorRT
Ови алати циљају оперативне трошкове: снимање графова, фузију језгра и оптимизацију графова током извршавања. Могу да пруже чиста убрзања инференције, али резултати варирају у зависности од облика модела и хардвера. Нека подешавања делују као магија; друга се једва померају. Очекујте осетљивост на промене облика и повремене „гремлинске“ грешке - мерите пре и после на вашем стварном радном оптерећењу.
Да ли се квантизација исплати и како избећи претеривање
Квантизација може смањити меморију и убрзати закључивање, посебно са INT8, али квалитет може попустити на граничним случајевима. Опције са нижим бројем битова (као што је INT4/k-bit) доносе веће уштеде уз већи ризик. Најбезбеднија навика је процена на стварном тестном скупу и упоређивање резултата, а не интуиције. Прво почните са безбеднијим корацима, а затим идите на мању прецизност само ако је потребно.
Разлика између орезивања и дестилације за смањење величине модела
Резимење уклања параметре „мртве тежине“ и често захтева поновно тренирање да би се поправио квалитет, посебно када се ради агресивно. Дестилација тренира мањи модел ученика да имитира понашање већег наставника и може бити бољи дугорочни повраћај улагања од екстремне квантизације. Ако желите мањи модел који се понаша слично и остаје стабилан, дестилација је често чистији пут.
Како смањити трошкове закључивања и кашњење кроз побољшања сервирања
Послуживање је место где оптимизација постаје опипљива: групирање повећава пропусност, али може утицати на латенцију ако се претера, зато га пажљиво подесите. Кеширање (брзо кеширање и поновна употреба KV-кеша) може бити огромно када се контексти понављају. Стримовање излаза побољшава перципирану брзину чак и ако је укупно време слично. Такође, обратите пажњу на оптерећење по токенима у вашем стеку - мали рад по токену се брзо акумулира.
Зашто је латенција репа толико важна при оптимизацији вештачке интелигенције (AI) модела
Просеци могу изгледати сјајно док је p99 катастрофа, а корисници имају тенденцију да живе у „репу“. Латенција репа често долази од подрхтавања: фрагментације меморије, скокова у претходној обради процесора, успоравања токенизације или лошег понашања у груписању. Зато водич наглашава процентиле и стварна оптерећења. Ако оптимизујете само p50, и даље можете пружити искуство које „насумично делује споро“
Референце
-
Amazon Web Services (AWS) - AWS CloudWatch перцентили (дефиниције статистике) - docs.aws.amazon.com
-
Google - Реп у великој мери (најбоља пракса за латенцију репа) - sre.google
-
Google - Циљеви нивоа услуге (SRE књига) - процентили латенције - sre.google
-
PyTorch - torch.compile - docs.pytorch.org
-
PyTorch - FullyShardedDataParallel (FSDP) - docs.pytorch.org
-
ПиТорцх - ПиТорцх Профилер - доцс.питорцх.орг
-
PyTorch - CUDA семантика: управљање меморијом (белешке о CUDA алокатору меморије) - docs.pytorch.org
-
PyTorch - Аутоматска мешовита прецизност (torch.amp / AMP) - docs.pytorch.org
-
ПајТорч - torch.utils.checkpoint - docs.pytorch.org
-
PyTorch - Водич за подешавање перформанси - docs.pytorch.org
-
PyTorch - Водич за орезивање - docs.pytorch.org
-
PyTorch - Разумевање коришћења CUDA меморије у PyTorch-у - docs.pytorch.org
-
PyTorch - туторијал / преглед за torch.compile - docs.pytorch.org
-
ONNX Runtime - ONNX Runtime документација - onnxruntime.ai
-
NVIDIA - Документација за TensorRT - docs.nvidia.com
-
NVIDIA - TensorRT квантизовани типови - docs.nvidia.com
-
NVIDIA - Nsight Systems - developer.nvidia.com
-
NVIDIA - Triton Inference Server - динамичко групирање - docs.nvidia.com
-
DeepSpeed - Документација за ZeRO фазу 3 - deepspeed.readthedocs.io
-
битсандбајтс (битсандбајтс-фондација) - битсандбајтс - github.com
-
Загрљајно лице - Убрзај: Водич за акумулацију градијента - huggingface.co
-
Hugging Face - Документација за токенизаторе - huggingface.co
-
Загрљајно лице - Трансформерси: PEFT водич - huggingface.co
-
Загрљено лице - Трансформерси: КВ објашњење кеша - huggingface.co
-
Hugging Face - Трансформерси: „Брзи“ токенизатори (класе токенизатора) - huggingface.co
-
arXiv - Дестилација знања у неуронској мрежи (Хинтон и др., 2015) - arxiv.org
-
arXiv - LoRA: Адаптација модела великих језика ниског ранга - arxiv.org
-
arXiv - FlashAttention: Брза и меморијски ефикасна тачна пажња са IO-свешћу - arxiv.org