Шта је вештачка интелигенција, центар података? [Видео и квиз]

Кратак одговор: Дата центар са вештачком интелигенцијом је високе густине где су напајање, хлађење, материјал и складиштење усмерени ка моделима за обуку и опслуживање, а не серверска соба са додатним графичким процесорима. Чипови добијају славу; зграда одлучује да ли ће радити. Ако слике не могу да оду, преуређење треба обавити у малој ћелији; већина тимова би требало да изнајми простор.

Кључне закључке:

Чипови наспрам грађевинарства: Снага, хлађење, материјал и складиштење одлучују да ли акцелератори раде.

Места, а не палате: Надоградити два регала када подаци не могу да оду; не куповати кампус.

Просек у односу на медијану: На осам покушаја, медијана почиње од почетка; користите 18-часовну средњу вредност.

Отпорност на злоупотребу: Не наводите PUE за два сталака у мешовитој хали.

Илустративни резултати: Осам покретања су мала мапа, а не уштеда производње од 50%.

Чланци које бисте можда желели да прочитате након овог:

🔗 Да ли је вештачка интелигенција поуздана? Видео и квиз
Истражите поузданост вештачке интелигенције кроз занимљив видео и интерактивни квиз.

🔗 Како користити вештачку интелигенцију у свакодневном животу
Откријте практичне начине на које вештачка интелигенција може поједноставити свакодневне задатке и рутине.

🔗 Како користити вештачку интелигенцију на послу
Научите практичне начине коришћења вештачке интелигенције за паметнију продуктивност на радном месту.

🔗 Може ли вештачка интелигенција да размишља сама за себе?
Разумети да ли вештачка интелигенција заиста може самостално да размишља или расуђује.

Како се разликује од „нормалног“ дата центра

Традиционалне хале оптимизују мешовито оптерећење и време рада за много малих услуга. Бринете о редундантности, наравно, и о PUE као концепту - додатној енергији коју зграда сагорева да би испоручила ват рачунарске снаге. Обично се не пројектује сваки ходник око регала који се понаша као преносива фарма грејача.

Вештачка интелигенција мења односе. Густина расте. Мрежа постаје тканина без које тренинг не може да функционише. Складиштење мора да одржава контролне тачке у покрету или акцелератори стоје неактивни, попут тркачких коња у саобраћајној гужви.

Постоји и културна разлика. Ентерпрајз операције размишљају о тикетима и прозорима за промене. АИ операције размишљају о редовима чекања и мучном осећају када чвор касно откаже на дужи рок. Претпостављам да бисте и даље могли да оба зовете „центри података“ јер то и јесу. Ознака само скрива водоводне инсталације.

Није морална ранг листа. Различите машине, исто породично име.

Графички процесори, акцелератори и сталак који троши енергију

Прошетајте традиционалним подигнутим подом и полице изгледају готово учтиво. Прошетајте редом са вештачком интелигенцијом и изгледаће као да желе да прогутају зграду.

Истакнути хардвер није паметни процесор. То је акцелераторски апарат: графички процесори или други вештачки интелигентни чипови, упаковани у сервере, затим рекове, па редове који деле структуру високог пропусног опсега. ГПУ међусобно повезују чипове у нешто што може да се претвара да је један џиновски акцелератор; структура кластера ради исти трик на нивоу реда. Паралелно тренирање функционише само ако те везе остану дебеле и предвидљиве. Изгубите то и ваш „кластер“ је гомила скупих радних станица које деле поштански број.

Снага прати чипове. Не гломазан канцеларијски PDU. Мегавати ИТ оптерећења када се хала напуни - нећу измишљати број. Густина по регу је обрт у причи. Мање регова. Сваки од њих је мала пећ. Ограничавајући фактор је често подстаница, а не листа жеља за графичким процесорима. Знате како је: набавка жели више акцелератора; комунално предузеће жели дуг разговор и веома велики чек.

Једна помало глупа метафора које се не могу отреси: вешала је гладна животиња. Можете узгајати бржу. И даље је морате хранити и и даље морате да је ублажите врућином. Прескочите било коју од њих и постаје веома скупа тежина за папире.

Проблем са струју, топлотом и хлађењем

Струја унутра. Грејање напоље. То је цела религија.

Регали високе густине испуштају топлоту на начин на који ваздух никада није био замољен да се носи са тим. Можете јаче појачати ваздух - измењивачи топлоте на задњим вратима, топлији пролази, паметно задржавање - и то функционише до одређене тачке. Онда се појављује течност:

• Директно хлађење на чип

• Петље расхладне течности које чине да просторија са постројењима изгледа као хемијска фабрика

• Уроњеност у неколико дизајна, што и даље запањује људе који мисле да вода и сервери не би требало да деле реченицу

Ништа од овога није гламурозно. Све је то производ, јер је акцелератор који смањује гас онај за који сте већ платили и не можете га у потпуности користити.

PUE је и даље важан. То је однос, а не личност. Оператори га јуре јер је сваки ват потрошен на вентилаторе и пумпе ват који није отишао на графички процесор. Нећу навести „типичну“ цифру; клима и начин на који повлачите границу је померају, а лажна прецизност је гора него никаква. Вода је такође у причи. Неке биљке сркају. Неке гутају. Испаравајуће хлађење је ефикасно све док река или суша не учине то политичким.

Умрежавање: зашто је тканина важна колико и чипови

Људи фотографишу графичке процесоре. Требало би да фотографишу и прекидаче.

Обука је разговор. Хиљаде акцелератора размењују градијенте, параметре, фрагменте модела, у блиској синхронизацији. Ако се структура поквари, цео посао чека на најспорији скок. Зато су сале за вештачку интелигенцију опседнуте умрежавањем са великим пропусним опсегом, малом латенцијом и топологијама које се не преполовљују када веза откаже. Ствари попут InfiniBand-а, ​​Ethernet у истој улози, GPU међусобне везе унутар кутије, каблови који морају бити исправни из првог покушаја.

Закључивање је другачија тема разговора. Сервисирање модела води рачуна о латенцији репа - спором одговору, а не о просечном. Групно наспрам рада у реалном времену дели личност. Кластер за обуку жели дебело, колективно кретање „сви према свима“. Сервисна флота жели много мањих захтева и изолацију, без гужве у балансеру оптерећења.

Промашај, док сам већ овде: људи третирају мрежу као водовод, а чипове као ресторан. У овој згради водовод је ресторан. Пропустите то и купићете кухињу која не може да прими доставу.

Обука наспрам закључивања: две зграде, понекад буквално

Обука је кампања. Састављате кластер, уносите га подацима, редовно га контролишете, покрећете га сатима или недељама и молите се да структура остане без икаквих догађаја. Преоптерећена пакетима, жељна пропусног опсега, тихо стрпљива - док неки чвор не угризе део посла. Један неисправан акцелератор у чврсто повезаном задатку може зауставити цео хор.

Инференција је излог. Модели су већ обучени, сада одговарају на питања, класификују слике, генеришу текст. Латенција је битна. Мало старији акцелератор близу купца може да победи гламурозни на другом континенту.

Дакле, добијате поделу. Кампуси за обуку јуре моћ, земљиште и густину. Инференцијална места јуре латенцију и присуство. Хибридне дворане такође постоје, јер капитал није бесконачан. Па - не увек две зграде. Понекад једна дворана са сомотским ужетом и две расхладне петље.

Овде се такође раздвајају колокација, хиперскалирани кампуси и локални кампуси. Хиперскалери граде на нивоима који чине да остатак нас изгледа као да слажемо намештај. Коло кампуси продају густину по полицама. Локални кампуси се и даље дешавају када подаци не могу да оду.

Пропусност складиштења, контролне тачке и „хладни“ чипови

Нико не ставља паралелни систем датотека на корице брошуре.

Подаци за обуку морају да стигну довољно брзо да графички процесори не би били превише активни. Контролне тачке морају да се појаве како пад система не би одбацио недељу дана. Тежине модела морају да се учитају пре него што се реплика која се послужује активира. Пропусни опсег складиштења - не само капацитет - је тихо уско грло. Можете потрошити богатство на акцелераторе и исцрпити их пристојним низом дизајнираним за виртуелне машине.

Шаблон је познат: сјајни кластер, ред чекања послова и чекање на улаз/излаз који гледају уназад попут грубе фактуре. Груписање рачунарства без груписања путање података је начин да се добије веома скупо стање мировања. Одржавајте чипове пуним или признајте да сте купили скулптуру.

Софтвер, оркестрација и негламурозни оперативни слој

Хардвер је главна атракција. Планери обављају посао.

Центар података са вештачком интелигенцијом је бескористан ако послови не могу да пронађу графичке процесоре, ако два тима не могу да деле кластер без туче, ако се неуспешни ранг не може заменити, ако фирмвер лута док се структура не поквари у успореном снимку. Оркестрација, видљивост, ограничавање снаге - негламурозни оперативни слој, по коме знате да је важан.

Овај слој ми је слаб. Такође, тамо где погрешно конфигурисана мрежна картица представља проблем са хлађењем током целог поподнева... то се открива на тежи начин.

Када чвор умре усред извршавања

Чвор умире. Прозори за промене се и даље колитирају са извршавањима обуке која не маре за ваш календар. Групно заказујете велике задатке, ограђујете базене за закључивање, пишете књиге задатака за кварове који изгледају као „посао је спор“ док не изгледају као „посао је мртав“. Редундантност је и даље важна - напајање, хлађење, путање, складиштење - али начин отказа је мање уредан од старог слајда са девет минута непрекидног рада. Закључивање: реплика, испразни болесни чвор, настави са одговарањем. Обука жели контролне тачке, а не оптимизам.

Локација, вода, мрежа и комшије

Не бацаш један од ових поред кућице због погледа.

Прикључак на мрежу је често прави процес избора локације. Земљиште је лако у поређењу са трафостаницом и комуналним предузећем које има друге купце. Вода за хлађење, ако је користите, постаје проблем комшија чим падавине постану неугодне. Бука. Визуелна величина. Топлота на граничној огради. Одбори за планирање откривају мишљења о „облаку“ у тренутку када му је потребно поље и река.

Латенција вуче у другом смеру. Инференција воли да буде близу корисника и међусобних веза. Обука се може сакрити на јефтинијим тржиштима енергије и хладнијим климатским условима. Индустрија говори као да постоји једно савршено место. Не постоји. Постоји компромис са саопштењем за штампу.

Преостала топлота и непозвана пећ

Брошуре воле овај део. Усмерите отпадну топлоту у домове, базене, пластенике; то је лепа реченица. Понекад је петља округа истинита. Понекад је кампус на погрешном месту, а топлота и даље одлази у ваздух. Скептичан сам према верзији из брошуре; нисам скептичан према физици.

Коме је потребан (а ко би требало да изнајми)

Већина људи не мора да поседује једну од ових хала.

Тупа листа:

• Хиперскалери, јер је производ флота

• Лабораторије, када је време чекања у реду уско грло или подаци не могу да оду

• Банка, болничка група, влада или произвођач са тајним скупом података - локалним или приватним коло кавезом - може бити рационално, чак и ако је у питању гаф

Сви остали би требало да изнајме простор. Колокација са густином спремном за вештачку интелигенцију. Резервација у облаку. Управљани кластер. Добијате акцелераторе, а да истовремено не постајете оператер електране. Романтика бледи први пут када неко пита ко је дежуран за расхладну петљу у 3 ујутру.

Морам признати да постоји и понос. Поседовање кластера је као поседовање средстава за предвиђање. Онда стигне рачун за струју и понос нестаје.

Чему служи зграда

Дакле, шта је вештачка интелигенција, дата центар? Специјализовани кампус високе густине где су акцелератори, напајање, хлађење, структура и складиштење организовани око модела обуке и опслуживања - није општа ИТ технологија са графичком картицом у углу. Изгледа као складиште. Понаша се као електрана која ради математику.

Ако се ничег другог не сећате: чипови добијају славу; подстаница, расхладна течност и мрежа одлучују да ли су ти чипови били добра идеја. Обука и закључивање могу да деле кров; они и даље желе различите манире. Већина организација би требало да изнајмљује. Неколико њих би требало да гради. Комшије ће приметити у сваком случају.

Облак је увек имао зграду. Ових дана зграда има мишљења.

Пример из стварног света: Ћелија за обуку са два сталака када слике не могу да оду

Сценарио

Томос је руководилац инфраструктуре у компанији Kestrel Precision, произвођачу са 400 запослених у Вест Мидлендсу. Већ имају малу локалну халу: ERP, дељење датотека, виртуелне машине, мешовито насеље са којим је овај чланак почео. Ваздушно хлађење. Обичан Ethernet. SAN који је савршено прилагодљив за канцеларијске дискове.

Тим за машински вид треба да обучи модел инспекције на фабричким фотографијама. Фотографије не могу да напусте локацију. Оне приказују процес који компанија неће ставити на диск у облаку, чак ни на приватни. Решење за набавке је четири сервера са два акцелератора и слајд под називом „наш вештачки дата центар“. Сервери се смештају у два постојећа регала, јер има простора, а простор се чинио као ограничење.

Није. У року од две недеље, графички процесори звуче заузето, а затим се тихо успоравају. Послови се успоравају када контролна тачка дође до SAN-а. Чвор се угаси у једанаест сати и рад је једноставно... нестао. Томос није пропустио да купи чипове. Купио је гомилу скупих радних станица које деле поштански број. Зграда је и даље била пословна хала.

Не треба им кампус, нова трафостаница или река. Потребна им је мала ћелија која се понаша као минијатурни дата центар са вештачком интелигенцијом: снага коју регови могу заправо да држе, топлота која одлази без кувања чипова, тканина коју задатак обуке може да преузме, складиште које може да преузме контролну тачку и рунбук за случај да чвор откаже. Пошто слике не могу да оду, изнајмљивање коло кавеза четрдесет минута удаљености није решење. Накнадна уградња два регала јесте.

Шта је ћелији потребно

• Измерени буџет снаге у том реду, од PDU-а, а не са листе жеља за GPU. Ако резервни капацитет не може да нахрани четири сервера при оптерећењу за тренинг, разговор се ту зауставља и они гледају на гушћи колор, а не на чудо

• Хлађење ваздуха никада није било потребно при овој густини: измењивачи топлоте на задњим вратима ако их сала може поднети, или мали течни круг ако то може да поднесе. Ако ниједно од тога, сервери се не уграђују

• Наменска високопропусна мрежа између четири чвора, а не канцеларијски Ethernet. Ако добављач има само 10 Gb свич у каталогу, то није кластер

• Локално брзо складиштење за контролне тачке и сегменте за обуку, а не за VM SAN

• Планер, интервал контролних тачака и писана путања поновног покретања. Хардвер је главна ствар. Овај слој је посао

• Ограђена кутија за закључивање за фабричку линију, одвојена од ћаскања током обуке, јер сервирање жели латенцију репа и изолацију, а не колектив

• Дозвола за евидентирање напајања, тактова графичке картице (GPU), догађаја ограничења брзине и зидног такта задатака. Ако не могу да их прегледају, фотографисаће графичке картице и пропустити прекидаче

Пример упутства

Томос ово наводи у опису објекта, једноставним језиком:

Не зовите ово кампусом за вештачку интелигенцију. Направите ћелију за обуку са два река у постојећој сали за четири сервера са два акцелератора. Фабричке слике остају на лицу места. Успех је: четири чвора завршавају рецепт за инспекцију и обуку од 12 епоха без термалног притиска, пишу контролну тачку за неколико минута, а не за десетине минута, и настављају са те контролне тачке када намерно уништимо ранг. Хлађење мора да одржава графичке процесоре на њиховим тактовима за обуку. Умрежавање мора бити тканина коју те четири кутије деле, а не путања кроз канцеларијски стек. Складиштење мора да храни чипове. Ако измењивачи топлоте на задњим вратима не одговарају, реците то и станите. Не наводите PUE за два река у мешовитој сали. Тај број би био позориште.

Затим ово ставља у сам посао обуке:

Контролна тачка сваких 30 минута до локалног брзог базена. Ако играч ранга умре, поново почните од последње комплетне контролне тачке. Не чекајте на SAN. Не настављајте тренинг док сатови не падну из врућине. Забележите то и зауставите како бисмо могли да видимо штанд.

Добар сат изгледа овако: свих осам графичких процесора на тактовима за тренинг, датотека контролне тачке је снимљена, задатак је и даље у складу са тим. Лош сат изгледа овако: вентилатори раде пуном паром, тактови су смањени, контролна тачка је исписана на 2% после десет минута, и неко у канцеларији каже „кластер је укључен“. Активан није тренинг.

Како га тестирати

Они пишу тест пре реконструкције, што је и цела поента неповерења у демо верзију.

• Исти рецепт из 12 епоха, истих 120.000 инспекцијских снимака, осам проба

• Време је зидни сат до завршеног рецепта, укључујући свако поновно покретање, мерено од слања задатка до последње контролне тачке епохе 12

• Превазилажење прегревања: Тактови графичког процесора остају на циљу за тренинг током рада. Догађај затварања је неуспех чак и ако се задатак на крају заврши

• Пропусница за складиштење: време писања на контролној тачки, средње и најгоре, из дневника посла

• Прескочимо материјал: посао не чека колективно док је чин здрав. Ако не виде то чекање, инструментација није завршена

• Два од осам трчања намерно губе ранг на фиксној тачки, како би се тестирао пут поновног покретања

• Закључивање је посебан тест од 200 слика од фабричке линије до ограђене кутије за сервирање. Успех у тренингу се не рачуна као успех у сервирању

• Они бележе снагу река из PDU-а у узорцима од 15 минута тако да нико не мора да измишља мегават

Прихватање за називање ћелије „AI-ready“: 8 од 8 рецепата је завршено; 0 од 8 показује термички гас; оба заустављена покретања се настављају; контролне тачке остају за неколико минута. Ако то пропусте, и даље имају серверску собу са фенси графичким картицама.

Резултат

Илустративан резултат, из измишљеног теста од осам покушаја, а не објављена слика Кестрела.

Претпоставке: четири сервера са два акцелератора у два река; један модел инспекције; 120.000 фотографија; осам покретања фиксног рецепта од 12 епоха; зидни сат укључује поновна покретања док се рецепт не заврши; ограничење значи забележени пад времена за обуку; време контролне тачке је писање, а не жеља; напајање река су узорци PDU-а, а не кампус PUE.

Пре реконструкције, графичке картице (GPU) у обичним ваздушно хлађеним рековима на канцеларијском Ethernet-у и VM SAN-у:

• 5 од 8 трчања је завршено из првог покушаја. Средње време на зидном сату међу тих пет: 14 сати

• 3 од 8 су морала поново да почну након застоја око 11 сати (два након што је чвор отказао са застарелом контролном тачком, један након што је контролна тачка попунила SAN). Тренутни поновни покушај, без чекања преко ноћи у сату: 11 изгубљених сати плус други покушај од 14 сати, или 25 сати до завршеног рецепта на та три

• Просечно време потребно за завршетак рецепта за свих осам, укључујући поновна покретања: 18 сати. (Пет са 14, три са 25. Медијана свих осам је и даље 14, што би сакрило поновна покретања. Зато је овде средња вредност основна вредност.)

• Термални гас је регистрован у 7 од 8 покушаја. Средње време на смањеном такту: 3 сата у покушају од 14 сати

• Писање на контролној тачки: медијана 22 минута

• Убијање ранга није био тест који су могли да прођу. Нису имали приручник. Две случајне смрти су биле откриће

• Максимално ИТ оптерећење на два регала током тренинга: око 18 kW. Ред је имао довољно вати. Није имао хлађење нити материјал

Након измењивача топлоте на задњим вратима на та два регала, наменске структуре између четири чвора, малог NVMe базена за контролне тачке, контролних тачака од 30 минута и рунбука за поновно покретање:

• 8 од 8 је завршило из првог покушаја. Средње време на зидном сату: 9 сати

• Термални гас: 0 од 8

• Контролна тачка писања: медијана 90 секунди. Најгоре у сету: 3 минута

• Два намерна убиства ранга су настављена од последње контролне тачке од 30 минута. Додатни зидни сат на те две рунде: око 40 минута свака, укључујући дијагнозу, тако да су те две седеле близу 9 сати и 40 минута. Просек за осам рунди је 9 сати

• Вршно ИТ оптерећење је и даље око 18 kW. Исти чипови. Различите понашање зграде

У овом узорку, просечно време до завршетка рецепта пало је са 18 сати на 9 сати, или по 9 сати по рецепту, 72 сата током осам циклуса. Број завршених из првог покушаја пао је са 5 од 8 на 8 од 8. Број „Throttle“ је пао са 7 од 8 на 0 од 8. Тај последњи број је онај који говори да ли су купили акцелераторе или пресеке за пресовање. Неће назвати промену времена уштедом од 50% у производњи. Осам циклуса је мали, лак сет.

Ове бројке су пример процене засноване на наведеном тесту, малом узорку, једном моделу и једној мешовитој сали. Оне нису PUE, нису кампус мегават, нити доказ да би Кестрел требало да изгради место за обуку на пољу. Преглед дневника је био унутар 9 сати; нису то сакрили. Бројка од 18 kW је заокружено очитавање PDU, а не рачун за комуналне услуге. Нису претворили 72 сата у трошак, јер би фабричка мешана тарифа електричне енергије створила лажни пословни случај.

Провера сервирања је била одвојена и мања: 200 линијских слика до ограђене кутије, све на лицу места. То је закључивање, а не тренинг. Мешање ова два би била грешка хибридне дворане у минијатури.

Шта може поћи по злу

• Набавка стално назива четири сервера „центром података вештачке интелигенције“. Ознака скрива водовод, а следећа куповина је још графичких картица за исти болесни одељак

• Измењивачи на задњим вратима се укључе, а нико не пушта у рад воду. Вентилатори и даље вичу. Сатови и даље откуцавају

• Фабрика је један свич без резервне путање. Једна неуспешна веза и „кластер“ је поново са четири радне станице

• Контролне тачке остају на SAN мрежи јер је NVMe пул био „фаза два“. Фаза два не стиже пре следећег мртвог чвора

• Они наводе PUE за два сталака у мешовитој хали. Клима, границе и остатак ERP реда чине тај однос костимским

• Обука и служба деле материјал. Поплава контролних тачака тера фабричку линију да чека. Латенција репа је производ тамо, а не густина

• Чвор се угаси, а неко га третира као карту за непрекидно радно време уместо поновног покретања контролне тачке. Ентерпрајз операције и операције вештачке интелигенције разговарају једни преко других цело поподне

• Могли су да изнајме кавез, али слике не могу да оду. Заборављајући то ограничење, упуштају се у разговор у облаку који ће морати да опусте

Практична информација

Оно што је AI Data Center, у овом облику, није складиште и није GPU фактура. То је ћелија која омогућава акцелераторима да заврше посао: снага коју могу да држе, топлота која излази, материјал, контролна тачка и неко ко је одговоран када ранг умре. Кестрелу није био потребан кампус. Била су им потребна два стала да престану да се претварају. Већина тимова би требало да изнајми то понашање. Неколико њих, са тајним скупом података и салом која може да поднесе топлоту, требало би да изгради ћелију и одбије клизање.

Честа питања

Шта је AI Data Center?

Рачунарска локација високе густине где су напајање, хлађење, умрежавање и складиштење усмерени ка паралелном обучавању и опслуживању модела, а не ка уредним редовима сервера опште намене. Дизајнирана је тако да огроман број акцелератора може да обучава и опслужује моделе без „топљења“, застоја на мрежи или чекања на диску. Обична пословна хала је мешовито насеље. Хала за вештачку интелигенцију је монокултура чија је јединица вредности акцелератор, као што су графички процесори (GPU) или чипови у TPU стилу. Изгледа као складиште, а понаша се као електрана која ради математику.

По чему се AI дата центар разликује од обичног дата центра?

Традиционалне хале оптимизују се за мешовита радна оптерећења и време непрекидног рада за мноштво малих услуга. Вештачка интелигенција (AI) сајтови мењају односе: густина расте, мрежа постаје материјал без којег посао обуке не може да функционише, а складиштење мора да одржава контролне тачке у покрету или акцелераторе да мирују. Пословне операције размишљају о тикетима и прозорима за промене. Вештачка интелигенција размишља о редовима чекања за послове и осећају муке када чвор касни на дужи рок. И даље бисте могли да позовете оба дата центра. Ознака само скрива водовод.

Зашто центри података са вештачком интелигенцијом користе толико енергије?

Истакнути хардвер није паметни процесор. То је акцелераторски касета: графичке картице (GPU) или други AI чипови, упаковани у сервере, затим у рекове, па у редове који деле високопропусну структуру. Густина по реку је главни обрт: мање рекова, сваки од њих је мала пећ. Мегавати ИТ оптерећења се појављују када се хала напуни, иако се не исплати измишљати типичну бројку. Ограничавајући фактор је често подстаница, а не листа жеља за графичким картицама.

Како се хладе центри података са вештачком интелигенцијом?

Рекови високе густине одводе топлоту на начин на који ваздух никада није био заправо замољен да се носи са њом. Можете јаче појачати проток ваздуха помоћу измењивача топлоте на задњим вратима, топлијих пролаза и паметног задржавања. Затим се појављује течност: директно хлађење на чип, петље расхладне течности и урањање у неколико дизајна. Акцелератор који смањује потрошњу енергије је онај за који сте већ платили и не можете га у потпуности искористити. PUE је и даље важан јер сваки ват потрошен на вентилаторе и пумпе је ват који није отишао на графички процесор. Вода је такође укључена у причу: неке биљке пијуцкају, неке гутају.

Зашто је умрежавање толико важно као и графички процесори?

Обука је разговор: хиљаде акцелератора размењују градијенте, параметре и фрагменте модела у блиској синхронизацији. Ако се структура поквари, цео посао чека на најспорији скок. Зато су сале за вештачку интелигенцију опседнуте умрежавањем високог пропусног опсега, ниском латенцијом, структурама попут InfiniBand-а или Ethernet-ом у истој улози и топологијама које се не преклапају када веза откаже. Инференција води рачуна о латенцији репа, многим мањим захтевима и изолацији. У овој згради, водовод је ресторан.

За шта се користи вештачки центар података: за обуку или закључивање?

Обука је кампања: окупите кластер, унесите податке, редовно га контролишите и радите сатима или недељама. Инференција је излог: модели који су већ обучени, сада одговарају, са латенцијом која је важна. Кампуси за обуку јуре за снагом, земљиштем и густином. Места за инференцију јуре за латенцијом и присуством. Хибридне хале постоје јер капитал није бесконачан, понекад једна хала са две петље хлађења. Нешто старији акцелератор близу купца може да победи гламурозни на другом континенту.

Зашто је складиштење података важно у центру података са вештачком интелигенцијом?

Подаци за обуку морају да стигну довољно брзо да графички процесори не би били превише активни. Контролне тачке морају да се појаве како пад система не би одбацио недељу дана. Тежине модела морају да се учитају пре него што се реплика која се послужује активира. Пропусни опсег складиштења, не само капацитет, је тихо уско грло. Можете потрошити богатство на акцелераторе и исцрпити их пристојним низом дизајнираним за виртуелне машине.

Шта се дешава када чвор умре усред извршавања?

Један мртав акцелератор у чврсто повезаном задатку за обуку може зауставити цео хор. Обуци су потребне контролне тачке, а не оптимизам. Инференција исцрпљује болесни чвор, одржава реплику у сталном контакту и остаје активна. Прозори за промене се и даље колитирају са покретима обуке којима није стало до вашег календара. Редундантност је и даље важна за напајање, хлађење, путање и складиштење, али је режим отказа мање уредан од старог слајда са девет минута непрекидног рада.

Какав је утицај вештачког дата центра на мрежу, воду и комшије?

Прикључак на мрежу је често прави процес избора локације. Земљиште је лако у поређењу са трафостаницом и комуналним предузећем које има друге купце. Вода за хлађење, ако је користите, постаје проблем са комшијама чим падавине постану јаке, заједно са буком, визуелним запремином и топлотом на граничној огради. Обука се може сакрити на јефтинијим тржиштима електричне енергије и хладнијим климатским условима. Инференција воли да буде близу корисника. Не постоји једно савршено место. Постоји компромис са саопштењем за штампу.

Да ли морам да поседујем вештачки дата центар или би требало да га изнајмим?

Већини људи није потребно да поседује једну од ових хала. Хиперскалери граде јер је производ возни парк. Лабораторије граде када је време чекања у реду уско грло или подаци не могу да оду. Банка, болница, влада или произвођач са тајним скупом података могу учинити локални или приватни колокајз рационалним. Сви остали би требало да изнајме: колокацију спремну за вештачку интелигенцију, резервацију у облаку или управљани кластер. Добијате акцелераторе без да постанете оператер електране.

Референце

1. МЕА - www.iea.org

2. ЛБНЛ - datacenters.lbl.gov

3. Зелена мрежа - www.thegreengrid.org

4. ЛБНЛ - datacenters.lbl.gov

5. ЛБНЛ - datacenters.lbl.gov

6. Институт за непрекидно радно време - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Гугл Клауд - docs.cloud.google.com

Пронађите најновију вештачку интелигенцију у званичној продавници вештачке интелигенције

О нама