Колико енергије користи вештачка интелигенција?

Одговор: Вештачка интелигенција може да користи врло мало струје за једноставан текстуални задатак, али много више када су упутства дугачка, излази мултимодални или системи раде у великим размерама. Обука је обично главни почетни енергетски ударац, док свакодневно закључивање постаје значајно како се захтеви акумулирају.

Кључне закључке:

Контекст : Дефинишите задатак, модел, хардвер и размеру пре него што наведете било какву процену енергије.

Обука : Третирајте обуку модела као главни почетни енергетски догађај приликом планирања буџета.

Закључивање : Пажљиво пратите поновљено закључивање, јер се мали трошкови по захтеву брзо акумулирају у великим размерама.

Инфраструктура : У сваку реалну процену укључите хлађење, складиштење, мреже и неактивне капацитете.

Ефикасност : Користите мање моделе, краће упите, кеширање и групирање да бисте смањили потрошњу енергије.

Чланци које бисте можда желели да прочитате након овог:

🔗 Како вештачка интелигенција утиче на животну средину
Објашњава угљенични отисак, потрошњу енергије и компромисе у погледу одрживости које пружа вештачка интелигенција.

🔗 Да ли је вештачка интелигенција лоша за животну средину?
Открива скривене еколошке трошкове вештачке интелигенције и центара података.

🔗 Да ли је вештачка интелигенција добра или лоша? За и против
Уравнотежен поглед на користи, ризике, етику и стварне утицаје вештачке интелигенције.

🔗 Шта је вештачка интелигенција? Једноставан водич
Научите основе вештачке интелигенције, кључне појмове и свакодневне примере за неколико минута.

Зашто је ово питање важније него што људи мисле 🔍

Потрошња енергије вештачком интелигенцијом није само тема разговора о животној средини. Она се дотиче неколико веома реалних ствари:

• Трошкови струје - посебно за предузећа која користе много захтева за вештачку интелигенцију

• Утицај на угљеник - у зависности од извора напајања иза сервера

• Напрезање хардвера - моћни чипови троше озбиљну снагу

• Скалирање одлука - једна јефтина промови може се претворити у милионе скупих

• Дизајн производа - ефикасност је често боља карактеристика него што људи схватају ( Google Cloud , Green AI )

Много људи пита „Колико енергије користи вештачка интелигенција?“ јер желе драматичан број. Нешто огромно. Нешто што ће се појавити на насловним странама. Али боље питање је следеће: О каквој врсти употребе вештачке интелигенције говоримо? Јер то мења све. ( IEA )

Један предлог за аутоматско довршавање? Прилично мали.
Обука граничног модела на масивним кластерима? Много, много већи.
Стално укључен ток рада вештачке интелигенције у предузећу који дотиче милионе корисника? Да, то се брзо акумулира... као што се пенији претварају у кирију. ( DOE , Google Cloud )

Колико енергије користи вештачка интелигенција? Кратак одговор ⚡

Ево практичне верзије.

Вештачка интелигенција може да користи било где, од малог дела ват-сата за лаган задатак, до огромних количина електричне енергије за обуку и распоређивање великих размера. Тај распон звучи комично широко јер јесте широк. ( Google Cloud , Strubell et al. )

Једноставно речено:

• Једноставни задаци закључивања - често релативно скромни на бази појединачних употреба

• Дуги разговори, велики излази, генерисање слика, генерисање видеа - приметно више енергије

• Обука великих модела - шампион у тешкој категорији потрошње енергије

• Коришћење вештачке интелигенције у великим размерама цео дан - где „мало по захтеву“ постаје „велики укупни рачун“ ( Google Cloud , DOE )

Добро правило је следеће:

• Тренинг је огроман почетни енергетски догађај 🏭

• Закључак је текући рачун за комуналне услуге 💡 ( Strubell et al. , Google Research )

Дакле, када неко пита: Колико енергије користи вештачка интелигенција?, директан одговор је: „Не једна количина - већ довољно да ефикасност буде важна и довољно да обим промени целу причу.“ ( IEA , Зелена вештачка интелигенција )

Знам да то није тако привлачно као што људи желе. Али је истина.

Шта чини добру верзију процене енергије помоћу вештачке интелигенције? 🧠

Добра процена није само драматичан број бачен на графикону. Практична процена укључује контекст. У супротном, то је као мерење магле вагом у купатилу. Довољно близу да звучи импресивно, али не довољно близу да би се веровало. ( IEA , Google Cloud )

Пристојна процена енергије вештачке интелигенције треба да укључује:

• Тип задатка - текст, слика, аудио, видео, обука, фино подешавање

• Величина модела - већим моделима је обично потребно више рачунарских ресурса

• Коришћени хардвер - нису сви чипови подједнако ефикасни

• Дужина сесије - кратки упити и дуги вишестепени токови рада се веома разликују

• Потрошња - системи у стању мировања и даље троше енергију

• Хлађење и инфраструктура - сервер није цео трошак

• Локација и енергетски микс - електрична енергија није свуда подједнако чиста ( Google Cloud , IEA )

Зато се две особе могу свађати око потрошње електричне енергије коју користи вештачка интелигенција, а да обе звуче самоуверено док говоре о потпуно различитим стварима. Једна особа мисли на један одговор четбота. Друга мисли на огромну вежбу. Обоје кажу „вештачка интелигенција“ и одједном разговор склизне из колосека 😅

Табела упоређивања - најбољи начини за процену потрошње енергије вештачке интелигенције 📊

Ево практичне табеле за свакога ко покушава да одговори на питање, а да га не претвори у перформанс.

Алат или метод	Најбоља публика	Цена	Зашто то функционише
Једноставна процена на основу правила	Радознали читаоци, студенти	Бесплатно	Брзо, лако, мало нејасно - али довољно добро за груба поређења
Ватметар на страни уређаја	Самостални градитељи, хобисти	Ниско	Мери стварну вучу машине, која је освежавајуће конкретна
Контролна табла за телеметрију ГПУ-а	Инжењери, тимови машинског учења	Средњи	Бољи детаљи о задацима који захтевају много рачунарства, мада могу пропустити већи објекат додатне опреме
Обрачун у облаку + евиденција коришћења	Стартапови, оперативни тимови	Средње до високо	Повезује коришћење вештачке интелигенције са стварном потрошњом - није савршено, али је и даље прилично вредно
Извештавање о енергији у дата центру	Тимови предузећа	Високо	Омогућава ширу оперативну видљивост, хлађење и инфраструктура почињу да се појављују овде
Процена потпуног животног циклуса	Тимови за одрживост, велике организације	Високо, понекад болно	Најбоље за озбиљну анализу јер иде даље од самог чипа... али је споро и помало зверско

Не постоји савршена метода. То је благо фрустрирајући део. Али постоје нивои вредности. И обично, нешто што је употребљиво је боље од савршеног. ( Google Cloud )

Највећи фактор није магија - то је рачунарство и хардвер 🖥️🔥

Када људи замишљају потрошњу енергије помоћу вештачке интелигенције, често замишљају сам модел као нешто што троши енергију. Али модел је софтверска логика која се извршава на хардверу. Хардвер је место где се појављује рачун за струју. ( Strubell et al. , Google Cloud )

Највеће променљиве обично укључују:

• Тип графичког процесора или акцелератора

• Колико чипова се користи

• Колико дуго остају активни

• Учитавање меморије

• Величина серије и проток

• Да ли је систем добро оптимизован или се све само форсира грубом методом ( Google Cloud , квантизација, групирање и стратегије сервирања у LLM-у за коришћење енергије )

Високо оптимизован систем може да обави више посла са мање енергије. Немарни систем може да троши струју са задивљујућом самопоуздањем. Знате како је - неке поставке су тркачки аутомобили, неке су колица за куповину са ракетама залепљеним селотејпом 🚀🛒

И да, величина модела је битна. Већи модели обично захтевају више меморије и више израчунавања, посебно када генеришу дугачке излазе или обрађују сложено резоновање. Али трикови ефикасности могу променити слику: ( Зелена вештачка интелигенција , квантизација, групирање и стратегије сервирања у LLM-у )

• квантизација

• боље рутирање

• мањи специјализовани модели

• кеширање

• серијског обликовања

• паметније заказивање хардвера ( квантизација, групирање и стратегије сервирања у LLM-у за коришћење енергије )

Дакле, питање није само „Колико је модел велики?“, већ и „Колико интелигентно се води?“

Обука наспрам закључивања - то су различите животиње 🐘🐇

Ово је подела која збуњује скоро све.

Обука

Обука је када модел учи обрасце из огромних скупова података. То може да укључује много чипова који раде дуже време, обрађујући огромне количине података. Ова фаза је гладна енергије. Понекад изузетно. ( Струбел и др. )

Енергија тренинга зависи од:

• величина модела

• величина скупа података

• број тренинг трчања

• неуспешни експерименти

• фино подешавање пасова

• ефикасност хардвера

• хлађење изнад главе ( Strubell et al. , Google Research )

А ево дела који људи често пропуштају - јавност често замишља један велики тренинг, урађен једном, крај приче. У пракси, развој може укључивати поновљена тестирања, подешавање, поновну обуку, евалуацију и све прозаичне, али скупе итерације око главног догађаја. ( Strubell et al. , Green AI )

Закључивање

Инференција је модел који одговара на стварне захтеве корисника. Један захтев можда не изгледа много. Али инференција се дешава изнова и изнова. Милионима пута. Понекад милијардама. ( Google Research , DOE )

Енергија закључивања расте са:

• дужина промпта

• дужина излаза

• број корисника

• захтеви за латенцију

• мултимодалне карактеристике

• очекивања времена непрекидног рада

• Безбедносни кораци и кораци пост-обраде ( Google Cloud , квантизација, групирање и стратегије сервирања у LLM-у за коришћење енергије )

Дакле, тренинг је земљотрес. Закључивање је плима. Једно је драматично, једно је упорно, и оба могу мало преобликовати обалу. Можда је то необична метафора, али се држи заједно... мање-више.

Скривени трошкови енергије које људи заборављају 😬

Када неко процењује потрошњу енергије вештачке интелигенције гледајући само чип, обично потцењује потрошњу. Не увек катастрофално, али довољно да буде важно. ( Google Cloud , IEA )

Ево скривених делова:

Хлађење ❄️

Сервери генеришу топлоту. Моћан хардвер за вештачку интелигенцију генерише много топлоте. Хлађење није опционо. Сваки ват потрошен на рачунање обично захтева већу потрошњу енергије само да би се температуре одржале на разумној температури. ( IEA , Google Cloud )

Кретање података 🌐

Премештање података између складишта, меморије и мрежа такође захтева енергију. Вештачка интелигенција не само да „размишља“. Она такође стално премешта информације. ( IEA )

Капацитет у празном ходу 💤

Системи направљени за вршну потражњу не раде увек при вршној потражњи. Неактивна или недовољно искоришћена инфраструктура и даље троши електричну енергију. ( Google Cloud )

Редундантност и поузданост 🧱

Резервне копије, системи за пребацивање у случају отказа, дуплирани региони, безбедносни слојеви - све је то вредно, све је део веће енергетске слике. ( IEA )

Складиште 📦

Подаци за обуку, уграђивања, логови, контролне тачке, генерисани излази - све се то негде налази. Складиштење је јефтиније од рачунарства, наравно, али није бесплатно у енергетском смислу. ( IEA )

Зато се на питање „ Колико енергије користи вештачка интелигенција?“ не може добро одговорити гледајући само један бенчмарк графикон. Цео стек је важан. ( Google Cloud , IEA )

Зашто један вештачки интелигентни упит може бити ситан - а следећи може бити чудовиште 📝➡️🎬

Нису сви захтеви једнаки. Кратак захтев за преписивање реченице није упоредив са захтевом за дугу анализу, вишестепену сесију кодирања или генерисање слике високе резолуције. ( Google Cloud )

Ствари које имају тенденцију да повећају потрошњу енергије по интеракцији:

• Дужи контекстни прозори

• Дужи одговори

• Кораци за коришћење и преузимање алата

• Вишеструки пролази за образложење или валидацију

• Генерисање слика, звука или видеа

• Већа конкурентност

• Циљеви ниже латенције ( Google Cloud , квантизација, групирање и стратегије сервирања у LLM-у за коришћење енергије )

Лаган текстуални одговор може бити релативно јефтин. Огроман мултимодални ток рада може бити, па, не јефтин. То је помало као наручивање кафе наспрам кетеринга за венчање. Оба се технички рачунају као „услуга хране“. Једно није као друго ☕🎉

Ово је посебно важно за производне тимове. Функција која делује безопасно при малој употреби може постати скупа у великим размерама ако свака корисничка сесија постане дужа, богатија и захтева више рачунарских ресурса. ( DOE , Google Cloud )

Потрошачка вештачка интелигенција и пословна вештачка интелигенција нису иста ствар 🏢📱

Просечна особа која лежерно користи вештачку интелигенцију могла би претпоставити да су њихови повремени упити велики проблем. Обично се ту не крије главна енергетска прича. ( Google Cloud )

Коришћење у предузећима мења математику:

• хиљаде запослених

• увек укључени копилоти

• аутоматизована обрада докумената

• сумирање позива

• анализа слике

• алати за преглед кода

• позадински агенти који стално раде

Ту укупна потрошња енергије почиње да буде веома важна. Не зато што је свака акција апокалиптична, већ зато што је понављање мултипликатор. ( DOE , IEA )

У мојим сопственим тестирањима и прегледима тока рада, ту се људи изненаде. Фокусирају се на назив модела или блиставу демонстрацију и игноришу количину. Количина је често прави покретач - или спасоносна милост, у зависности од тога да ли наплаћујете купцима или плаћате рачун за комуналне услуге 😅

За потрошаче, утицај може деловати апстрактно. За предузећа, он веома брзо постаје конкретан:

• већи рачуни за инфраструктуру

• већи притисак за оптимизацију

• већа потреба за мањим моделима где год је то могуће

• интерно извештавање о одрживости

• више пажње на кеширање и рутирање ( Google Cloud , Green AI )

Како смањити потрошњу енергије помоћу вештачке интелигенције, а да се притом не одрекнемо вештачке интелигенције 🌱

Овај део је важан јер циљ није „престати са коришћењем вештачке интелигенције“. Обично то није реално, па чак ни неопходно. Боље коришћење је паметнији пут.

Ево највећих полуга:

1. Користите најмањи модел који обавља посао

Није сваком задатку потребна опција велике тежине. Лакши модел за класификацију или сумирање може брзо смањити отпад. ( Зелена вештачка интелигенција , Google Cloud )

2. Скратите упите и излазе

Опширнији унос, опширнији износ. Додатни токени значе додатно израчунавање. Понекад је скраћивање промпта најлакша победа. ( Квантизација, групирање и стратегије сервирања у LLM-у , Google Cloud )

3. Кеширајте поновљене резултате

Ако се исти упит стално појављује, немојте га поново генерисати сваки пут. Ово је готово очигледно, али се ипак превиђа. ( Google Cloud )

4. Групни послови када је то могуће

Извршавање задатака у серијама може побољшати искоришћење и смањити отпад. ( Квантизација, групирање и стратегије сервирања у LLM-у за коришћење енергије )

5. Интелигентно усмеравајте задатке

Користите велике моделе само када опадне поверење или се повећа сложеност задатка. ( Зелена вештачка интелигенција , Google Cloud )

6. Оптимизујте инфраструктуру

Боље заказивање, бољи хардвер, боља стратегија хлађења - прозаичне ствари, огромна исплата. ( Google Cloud , DOE )

7. Измерите пре него што претпоставите

Много тимова мисли да знају куда иде снага. Онда мере, и ево га - скупи део се налази негде другде. ( Google Cloud )

Ефикасан рад није гламурозан. Ретко добија аплауз. Али је један од најбољих начина да се вештачка интелигенција учини приступачнијом и одбрањивијом у великим размерама 👍

Уобичајени митови о коришћењу електричне енергије помоћу вештачке интелигенције 🚫

Хајде да разјаснимо неколико митова јер се ова тема брзо запетљава.

Мит 1 - Сваки упит вештачке интелигенције је изузетно расипнички

Не нужно. Неки су скромни. Обим и тип задатка су веома важни. ( Google Cloud )

Мит 2 - Обука је једино што је важно

Не. Инференција може доминирати током времена када је употреба огромна. ( Google Research , DOE )

Мит 3 - Већи модел увек значи бољи исход

Понекад да, понекад апсолутно не. Много задатака се добро обавља са мањим системима. ( Зелена вештачка интелигенција )

Мит 4 - Потрошња енергије аутоматски једнака је утицају на угљеник

Не баш. Угљеник такође зависи од извора енергије. ( IEA , Strubell et al. )

Мит 5 - Можете добити један универзални број за коришћење енергије помоћу вештачке интелигенције

Не можеш, барем не у облику који остаје смислен. Или можеш, али ће бити толико просечно да престаје да буде вредно. ( IEA )

Зато је питање „Колико енергије користи вештачка интелигенција?“ паметно - али само ако сте спремни за слојевит одговор уместо слогана.

Дакле... колико енергије заиста користи вештачка интелигенција? 🤔

Ево утемељеног закључка.

Вештачка интелигенција користи:

• мало , за неке једноставне задатке

• много више , за тешку мултимодалну производњу

• веома велика количина , за обуку модела великих размера

• огромна количина укупно , када се милиони захтева нагомилају током времена ( Google Cloud , DOE )

То је облик тога.

Кључно је да се цео проблем не сведе на један застрашујући број или једно одбацивање слегања раменима. Потрошња енергије од стране вештачке интелигенције је стварна. Важна је. Може се побољшати. А најбољи начин да се о томе говори јесте у контексту, а не театрално. ( IEA , Зелена вештачка интелигенција )

Велики део јавне дискусије колеба се између крајности - „ВИ је у основи бесплатна“ с једне стране, „ВИ је електрична апокалипса“ с друге стране. Стварност је обичнија, што је чини информативнијом. То је системски проблем. Хардвер, софтвер, употреба, скала, хлађење, избор дизајна. Прозаично? Мало. Важно? Веома. ( IEA , Google Cloud )

Кључне закључке ⚡🧾

Ако сте овде дошли са питањем: Колико енергије користи вештачка интелигенција?, ево закључка:

• Не постоји универзални број

• Тренинг обично троши највише енергије у почетку

• Закључивање постаје главни фактор на великим размерама

• Величина модела, хардвер, радно оптерећење и хлађење су битни

• Мале оптимизације могу направити изненађујуће велику разлику

• Најпаметније питање није само „колико“, већ и „за који задатак, на ком систему, у којој размери?“ ( IEA , Google Cloud )

Дакле, да, вештачка интелигенција користи праву енергију. Довољно да заслужи пажњу. Довољно да оправда бољи инжењеринг. Али не на цртани, једнобројни начин.

Честа питања

Колико енергије вештачка интелигенција троши за један упит?

Не постоји универзални број за један упит, јер потрошња енергије зависи од модела, хардвера, дужине упита, дужине излаза и било какве додатне употребе алата. Кратак текстуални одговор може бити релативно скроман, док дугачак мултимодални задатак може потрошити знатно више. Најзначајнији одговор није једна слика из насловне стране, већ контекст који окружује задатак.

Зашто се процене коришћења снаге вештачке интелигенције толико разликују?

Процене варирају јер људи често упоређују веома различите ствари под једном ознаком вештачке интелигенције. Једна процена може описивати лаган одговор четбота, док друга може покривати генерисање слика, видео или обуку модела великих размера. Да би процена била смислена, потребан јој је контекст као што су тип задатка, величина модела, хардвер, искоришћење, хлађење и локација.

Да ли је већи трошак енергије обука вештачке интелигенције или свакодневно коришћење вештачке интелигенције?

Обука је обично велики почетни енергетски догађај, јер може да укључи много чипова који раде током дужег периода на огромним скуповима података. Инференција је текући трошак који се појављује сваки пут када корисници шаљу захтеве, а у великим размерама може постати веома велики. У пракси, оба су важна, иако су важна на различите начине.

Шта чини један захтев за вештачку интелигенцију много енергетски интензивнијим од другог?

Дужи контекстуални прозори, дужи излази, поновљени пролази резоновања, позиви алата, кораци претраживања и мултимодално генерисање имају тенденцију да повећају потрошњу енергије по интеракцији. Циљеви латенције су такође важни, јер захтеви за бржим одговором могу смањити ефикасност. Мали захтев за преписивање и дуг ток рада кодирања или слике једноставно се не могу поредити.

Које скривене трошкове енергије људи превиђају када питају колико енергије користи вештачка интелигенција?

Многи људи се фокусирају само на чип, али занемарују хлађење, кретање података, складиштење, капацитет у стању мировања и системе поузданости као што су резервне копије или региони за прелазак у случају отказа. Ови слојеви подршке могу значајно променити укупни енергетски отисак. Зато сам бенчмарк ретко приказује потпуну слику потрошње енергије.

Да ли већи вештачки интелигентни модел увек троши више енергије?

Већи модели обично захтевају више рачунарске снаге и меморије, посебно за дугачке или сложене излазе, па често троше више енергије. Али већи не значи аутоматски и бољи за сваки задатак, а оптимизација може значајно променити слику. Мањи специјализовани модели, квантизација, групирање, кеширање и паметније рутирање могу побољшати ефикасност.

Да ли је потрошачка вештачка интелигенција главни енергетски проблем или је пословна вештачка интелигенција већи проблем?

Повремена употреба од стране потрошача може се нагомилати, али већа прича о потрошњи енергије често се појављује у пословним имплементацијама. Стално укључени копилоти, обрада докумената, сумирање позива, преглед кода и позадински агенти стварају сталну потражњу међу великим корисничким базама. Проблем је обично мање у једној драматичној акцији, а више у одрживом обиму током времена.

Колико енергије вештачка интелигенција користи када се укључе центри података и хлађење?

Када се укључи шири систем, одговор постаје реалнији и обично је већи него што сугеришу процене засноване само на чиповима. Центрима података је потребна снага не само за израчунавање, већ и за хлађење, умрежавање, складиштење и одржавање резервних капацитета. Зато су дизајн инфраструктуре и ефикасност објеката готово једнако важни као и дизајн модела.

Који је најпрактичнији начин за мерење потрошње енергије вештачке интелигенције у стварном радном процесу?

Најбоља метода зависи од тога ко мери и у коју сврху. Грубо правило може помоћи код брзих поређења, док ватметри, телеметрија ГПУ-а, евиденције обрачуна у облаку и извештавање из дата центра пружају све бољи оперативни увид. За озбиљан рад на одрживости, потпунији поглед на животни циклус је још бољи, иако је спорији и захтевнији.

Како тимови могу смањити потрошњу енергије вештачке интелигенције, а да се притом не одрекну корисних вештачких функција?

Највећи добици обично долазе од коришћења најмањег модела који и даље обавља посао, скраћивања упита и излаза, кеширања поновљених резултата, групирања рада и усмеравања само тежих задатака на веће моделе. Оптимизација инфраструктуре је такође важна, посебно заказивање и ефикасност хардвера. У многим процесима, мерење прво помаже у спречавању тимова да оптимизују погрешну ствар.

Референце

1. Међународна агенција за енергију (IEA) - Потражња за енергијом од стране вештачке интелигенције - iea.org

2. Министарство енергетике САД (DOE) - DOE објављује нови извештај којим се процењује повећање потражње за електричном енергијом у центрима података - energy.gov

3. Google Cloud - Мерење утицаја вештачке инференције на животну средину - cloud.google.com

4. Google Research - Добре вести о угљеничном отиску обуке за машинско учење - research.google

5. Google Research - Угљенични отисак обуке за машинско учење ће се изједначити, а затим смањити - research.google

6. arXiv - Зелена вештачка интелигенција - arxiv.org

7. арКсив - Струбелл ет ал. - аркив.орг

8. arXiv - Квантизација, групирање и стратегије сервирања у LLM коришћењу енергије - arxiv.org

Пронађите најновију вештачку интелигенцију у званичној продавници вештачке интелигенције

О нама