ServiceNow-ов AutoSynthData претвара кварове агената у злато за обуку

Кратак одговор: ServiceNow CoreAI-јев AutoSynthData претвара неуспехе агената плус успехе наставника у валидиране синтетичке SFT задатке када предузећима треба компетенција у окружењу, а не само широки резултати. Он „санира“ празнине у картице са спецификацијама могућности, множи проверљив рад, а затим проверава квалитет пре финог подешавања. Аутор је известио да су резултати вежби у теретани EnterpriseOps успешни ако се снага наставника, квалитет верификатора и верност окружењу поклапају.

Кључне закључке:

Картице могућности: Санификујте грешке у картице тако да генератори никада не виде оригиналне ИД-ове.

Ревидабилност верификатора: Преферирајте SQL провере коначног стања које одбацују мутиране погрешне исходе.

Тежина: Тренирајте само задатке које циљ ретко решава, а наставник их обично решава.

Људски преглед: Обавите људски преглед политика са високим улозима и неповратних акција пре поновне обуке.

Померање границе: Након SFT-а, поново процените и померите циљну фазу ка преосталим празнинама.

Агенти за вештачку интелигенцију у предузећима ретко не успевају зато што им недостаје опште знање. Не успевају зато што је окружење специфично: политике тикета, необичности шеме, уговори о алатима, базе података са почетним нивоом, чланци знања и међусистемски токови рада који не изгледају као демонстрације из уџбеника. Модел који добро постиже резултате на отвореним тестовима може и даље да се заустави када следећи корак мора да поштује прозор за промене, CMDB однос или верификатор који проверава коначно стање уместо течног ћаскања.

СервисНоу КореАИ / СервисНоу-АИ су објавили АутоСинтеДата како би директно попунили ту празнину. Именовани аутор Есакивел Есакираја описује цевовод који претвара неуспехе циљног агента - заједно са успесима снажнијег наставника - у валидиране синтетичке задатке обуке прилагођене пословним окружењима. Поента није у прикупљању више дневника ћаскања. Поента је умножити напоран, проверљив рад који вежба исту способност под новим условима, тако да надгледано фино подешавање може да затвори рупе специфичне за окружење.

Овај чланак пролази кроз основну идеју, апстракцију задатака, петљу генерисања и контроле квалитета, заједничку архитектуру и резултате које је аутор објавио о EnterpriseOps Gym-у у хибридним и ITSM окружењима. Остаје при ономе што истраживање описује: покретни курикулум синтетичких задатака, а не тврдња да је било које предузеће изненада решено.

Зашто је компетенција у области животне средине боља од широких могућности

Предузећима су потребни агенти који раде у њиховом окружењу - њиховим системима, правилима и стању података. Широке могућности нису исто што и компетенција у окружењу. Агент може знати како управљање ИТ услугама обично функционише, а ипак пропустити локалну политику која забрањује одређене прелазе или алат који ажурира повезану табелу тек након што постоји предусловни запис.

Појединачни неуспеси су информативни, али танки као подаци за обуку. Једна прекинута путања показује слабост; она не пружа десетине блиских ситуација које би научиле модел да се опорави под варијацијама. Тимовима је потребно много нових задатака који другачије вежбају исту способност, остају завршни унутар окружења, делују реалистично када корисник тражи и остају проверљиви у односу на провере исхода.

То је притисак дизајна који стоји иза AutoSynthData. Неуспеси постају сигнали за картице способности. Картице постају генератори нових задатака. Јачи наставник демонстрира успешне путање. Филтери и верификатори одлучују шта улази у надгледани скуп финог подешавања. Након обуке, евалуација помера границу ка преосталим празнинама. Петља је обликована у складу са наставним планом и програмом, а не једнократно избацивање података.

Уоквиривање је важно за практичаре. Ако чувате само неуспешне упите, ризикујете прекомерно прилагођавање тим тачним ентитетима и фразама. Ако генеришете само неограничене синтетичке упите, ризикујете задатке који су немогући, нереални или непроверљиви. AutoSynthData се налази између тих крајности: санира оно што није успело у спецификацију могућности, а затим регенерише задатке који чувају чврсто језгро док мењају површински облик и контролисане димензије.

Облик практичног задатка: систем, промпт, верификатор

Функционалнa апстракција за агентски рад је: задатак једнак је спецификацији система, корисничком упиту и верификатору. Сваки део носи ограничења која одржавају синтетичке податке утемељеним и поузданим.

Спецификација система покрива ограничења, политике и почетно стање - на пример, почетне вредности базе података и чланке знања. Мора остати компатибилна са доступним алатима и стањем. Произвољна ограничења тежине која игноришу уговоре алата или реализам почетних вредности имају тенденцију да стварају крхке задатке који уче погрешну лекцију.

Квалитет корисничког упита има три аспекта. Изводљивост пита да ли постоји валидна путања. Реализам пита да ли би корисник то вероватно захтевао. Тежина пита да ли задатак открива тренутну слабост агента, а не нешто што циљ већ поуздано решава. Упит који је тривијалан за циљ расипа буџет за обуку; упит који је немогућ расипа поверење у евалуацију.

Квалитет верификатора зависи од конзистентности, исправности и потпуности. Превише лабаве и слабе путање пролазе. Превише ограничавајуће на једну путању и валидна алтернативна решења не успевају. Пословна окружења често преферирају провере исхода засноване на SQL-у или стању јер оне оцењују свет након што агент делује, а не тачну путању токена коју је агент прешао.

AutoSynthData се ослања на ову тријаду тако да генерисани рад остаје утемељен. Генератори не измишљају слободно плутајуће квизове. Они производе задатке који се могу извршити у адаптеру окружења и проценити од стране верификатора који воде рачуна о потребним својствима коначног стања.

Од дијагностичке евалуације до картица са спецификацијама могућности

Процес почиње дијагностичком евалуацијом циљног агента и јачег наставника унутар окружења. Упоредна испитивања откривају где циљ не успева, а где наставник успева. Ти контрастни случајеви су сировина за дизајн курикулума.

Затим долази дестилација у саниране картице са спецификацијама могућности. Картица бележи тестирану способност, релевантне алате или облик тока рада, где циљ не успева, а наставник успева, потребна својства коначног стања и димензије које се могу мењати када се измисле нови задаци. Кључно је да генератор не прима оригиналне упите, ентитете, путање или детаље верификатора - само картице.

Та „санитизација“ је намерни потез против преоптерећења. Ако би генератор видео тачне бројеве неуспешних тикета, ИД-ове чланака знања или трагове наставника, био би у искушењу да парафразира исту епизоду. Картице форсирају апстракцију: подучавају способност под контролисаном варијацијом, а не меморисану инстанцу.

Након што картице постоје, систем генерише нове задатке из њих. Наставник затим демонстрира успешне путање за надгледано фино подешавање. Те демонстрације нису савети слободне форме; то су успеси засновани на окружењу који пролазе исту врсту верификације која је важна наставном плану и програму.

Двофазна структурна скала. Циљна фаза се фокусира на језгро проверене узорке око празнина - задатке са највишим сигналом близу места где слаби агент прекида. Фаза множења ствара нове варијанте прихваћених циљева. Умножени узорци не могу даље да засеју рунде множења, што ограничава померање. То правило је мало, али важно: неограничена рекурзивна варијација може да одлута од могућности коју је картица именовала.

Дељени контролер, адаптер окружења и покретна граница

Што се тиче архитектуре, AutoSynthData користи дељени контролер плус адаптер окружења. Контролер оркестрира дијагнозу, картице, генерисање, демонстрације наставника, контроле квалитета и групни преглед. Адаптер повезује те кораке са конкретним пословним „песчаником“ – алатима, стањем, политикама и верификаторима – тако да иста контролна петља може циљати на различите домене без преписивања логике курикулума од нуле.

Након надгледаног финог подешавања, процес се поново процењује. Наставни план и програм се затим креће ка преосталим празнинама: покретна граница, а не статички скуп података. Експерименти описани у раду фокусирају се на надгледано фино подешавање. Иста петља би касније могла да подржи учење са појачањем; тај правац се бележи као планиран, а не као завршен.

За пословне тимове, лекција о архитектури је модуларна. Контролери не би требало да чврсто кодирају шему једне карте. Адаптери би требало да открију довољно стања и верности алата да верификатори могу бити смислени. Наставни план и програм треба да третира резултате евалуације као следећи улаз, а не као једнократну табелу резултата.

EnterpriseOps Gym је окружење у којем је овај приступ илустрован. То је велика клупа за агенте предузећа са око 1.150 задатака које су стручњаци курирали у 8 домена, отприлике 512 алата, око 164 табеле базе података, контејнеризованим извршавањем, верификацијом исхода заснованом на SQL-у, операцијама управљаним политикама, хибридним сценаријима између домена, тестирањем неизводљивости и одбијања и дугорочним стајним путањама. AutoSynthData није представљен као изум те теретане; теретана је полигон за тестирање оптерећења за петљу синтезе.

Контрола квалитета на нивоу узорка која одржава синтетичке задатке поузданим

Генерисање без капија је начин на који подаци синтетичких агента крећу погрешно. AutoSynthData описује контролу квалитета на нивоу узорка са неколико комплементарних провера.

Филтер тежине решавача усмерава скуп ка задацима који су тешки за циљ, а решиви за наставника. Описана конфигурација фаворизује задатке које циљ решава у највише једном од три покушаја, док наставник успева у најмање два од три. Тај опсег је место где надгледане демонстрације могу да науче нешто што слаб модел већ не поседује.

Позитивна верификација захтева да референтна путања прође верификатор. Негативна верификација захтева да мутирани погрешни исходи не успеју. Заједно, они врше притисак и на страну прихватања и на страну одбијања провере. Ако се проверавају само позитивни резултати, дозвољени верификатор може да прихвати „смешно“. Ако се проверавају само негативни резултати, превише строг верификатор може да одбије валидан рад.

Петља критике и поправке, са ограничењем поновних покушаја, покушава да поправи задатке који не успеју да испуне услове, уместо да одмах одбаци сваки замало промашај. Ограничења поновних покушаја су важна: бесконачна поправка може да измисли све вештачкија ограничења само да би се прошла контролна листа.

Мета-преглед на нивоу групе затим прегледа цео скуп ради покривања, разноликости, редундантности и неуспелих циљева. Узорци одржавају појединачне ставке исправним; групни преглед спречава да се наставни план и програм групише око једног уског начина неуспеха или клонира скоро дупликате.

Ове контроле објашњавају зашто цевовод може да проведе сате производећи хиљаде узорака без третирања запремине као замене за уклапање. Брзина се разликује у зависности од домена и величине наставника, али је прича о контроли квалитета доследна: опсег тежине, позитивна и негативна верификација, поправка са ограничењима, а затим мета-преглед.

Сирови кварови наспрам картица наспрам валидираних SFT скупова

Корисно је упоредити за шта је сваки артефакт добар. Сирови евиденциони кварова су дијагностички. Картице могућности су генеративни уговори. Валидирани надгледани скупови финог подешавања су оно на чему се тренира у пракси.

У снимцима Hybrid и ITSM на EnterpriseOps Gym-у, аутори су пријавили да су као циљ користили Gemma-4-26B-A4B-it. Hybrid је упарио тај циљ са Qwen3.8-27B као учитељем и произвео око 2.000 хибридних узорака за отприлике 18 сати, са најбољом контролном тачком у епохи 5. Просечан Pass@1 порастао је за 7,2 процентна поена - око 35 процената релативно - са успехом верификатора који се померио са 63,01 процената на 68,55 процената, затварајући око 59 процената Pass@1 јаза у односу на референтни модел.

ITSM је упарио исту мету са DeepSeek-V4.1-Flash као наставником и произвео око 1.994 узорка за отприлике 66 сати, што је делимично дуже због већег наставника и зато што неке оптимизације цевовода још нису биле на снази. Просечан Pass@1 се померио са 18,77 процената на 27,18 процената.

Ове бројке прочитајте као резултате истраживања компаније о овој теретани за тестиране домене - не као независну репликацију треће стране, нити као универзалну гаранцију предузећа. Добитци се поклапају тамо где се снага наставника, квалитет верификатора и верност окружењу поклапају.

Шта практичари треба да копирају из петље

Чак и ако ваш стек није истраживачки цевовод ServiceNow-а, образац се преноси. Почните са упареном евалуацијом циља сличног производњи и јачег наставника у верном „пешчанику“. Претворите неуспехе контраста у картице могућности које уклањају идентификаторе и путање. Генеришите задатке који варирају дозвољене димензије уз очување потребних својстава коначног стања. Нека наставник демонстрира успехе. Гејтирајте са опсезима тежине, позитивном и негативном верификацијом, ограниченом поправком и прегледом разноликости серија. Фино подесите, поново процените и померите границу.

Обратите посебну пажњу на дизајн верификатора. Провере исхода SQL-а у стилу теретане у EnterpriseOps-у и операције управљане политикама илуструју зашто су рубрике за ћаскање саме по себи слабе за рад са стањем. Ако ваш верификатор не може да разликује мутиране погрешне исходе од исправних коначних, синтетичка скала ће појачати шум.

Такође, поштујте дух правила множења: варијанте прихваћених циљева не би требало бесконачно да засевају нове варијанте без враћања на проверена језгра. Дрифт је тих. Наставни план и програм који полако измишља егзотичнија ограничења и даље може проћи плитке филтере, а оригиналну способност оставити недовољно обученом.

На крају, третирајте хибридни рад између домена као стресан случај прве класе. Свакодневни корисници не остају унутар једног силоса алата. Хибридни задаци, дугорочне путање и тестирање одбијања или неизводљивости су места где се компетентност окружења показује - или гласно не успева.

Упозорења, ограничења и пажљиво читање добитака

Резултати које је пријавио аутор на EnterpriseOps Gym-у су информативни сигнали, а не општа гаранција. Објављени добици хибридног и ITSM-а односе се на те домене и упаривања модела у оквиру описаног подешавања. Други домени, слабији наставници, бучнији верификатори или плића верност окружењу могу смањити или избрисати корист.

Квалитет зависи од три стуба које ниједан маркетиншки сјај не може да прескочи. Снага наставника поставља плафон за демонстрације. Квалитет верификатора поставља поузданост ознака и филтера. Верност окружењу одређује да ли научена понашања преживљавају контакт са производним системима, правилима и стањем података.

Експерименти компаније AutoSynthData наглашавају надгледано фино подешавање. Учење појачањем се наводи као могућа каснија употреба исте петље, планирана, а не испорученица у објављеном раду. Читаоци не би требало да поистовете механизам за податке спреман за наставни план и програм са завршеном тврдњом о обуци учења у учењу.

Читаоци такође не би требало да мешају цевовод синтезе са самом клупом. EnterpriseOps Gym пружа куриране задатке, алате, табеле, контејнеризацију и верификациону структуру. AutoSynthData користи такво окружење да претвори неуспехе у злато за обуку. Тачно одајте признање оба дела: теретана оптерећује агенте; цевовод умножава задатке који се могу научити из дијагностикованих празнина.

Такође нема бесплатног ручка за време проведено на рачунарству и календару унутар „пешчаника“. Хибридна синтеза је завршена реда величине сати за око две хиљаде узорака; ITSM је трајао дуже са већим бројем наставника и ранијим обликом цевовода. Тимови би требало да у буџету имају закључивање наставника, поновне покушаје критике или поправке и поновну евалуацију након сваког корака наставног плана и програма.

Размишљање о курикулуму за тимове пословних агената

Најдубља идеја у AutoSynthData је курикуларна, а не чисто генеративна. Неуспеси дијагностикују. Картице апстрахују. Генерација множи. QC валидира. SFT ажурира циљ. Re-eval помера границу. Тај низ третира побољшање агента као низ лекција заснованих на окружењу уместо једног офлајн дампа трагова.

Размишљање о курикулуму мења начин на који лидери распоређују труд. Уместо да тражите само више карата или више људских напомена, питајте које способности и даље не успевају под варијацијама, да ли те способности имају јасна својства коначног стања и да ли их јачи наставник може поуздано демонстрирати. Ако наставник не може довољно често да успе, синтетичка СФТ ће научити непоузданом понашању. Ако су својства коначног стања нејасна, верификатори ће се свађати са валидним стратегијама.

Такође мења начин на који говорите о успеху. Затварање дела јаза у Pass@1 у односу на референтни модел на Hybrid-у, или подизање ITSM Pass@1 са високих десет на високе двадесет у серијама које су пријавили аутори, представља напредак у измереној компетентности окружења. То није доказ да је сваки ток рада, свака политика или сваки случај одбијања решен. Задржите језик покретне границе: преостале празнине постају следећа Target фаза, а не накнадно размишљање о њима.

За дизајн програма, упарите ову петљу са људским прегледом тамо где су улози високи - безбедносне политике, неповратне акције, регулисани подаци - док истовремено дозвољавате аутоматизованим капијама да обављају контролу на добро дефинисаним проверама стања. Синтетички подаци најбоље функционишу када окружење може да каже да или не са јасноћом сличном SQL-у. Тешко је када је успех субјективан укус.

Белешке о дизајну о тежини, реализму и одбијању

Циљање на тежину заслужује још једну пажњу. Фаворизовање задатака које циљ решава највише у једној трећини времена држи обуку подаље од тривијалности. Захтевање од наставника да буде успешан у најмање две трећине времена држи демонстрације подаље од бацања новчића. Тај распон је практичан компромис између изазова и лакоће учења.

Реализам остаје блажи критеријум, али је и даље неопходан. Корпоративни корисници траже ствари које одговарају њиховим улогама и системима. Генератори вођени само тврдоћом могу да измисле сложене загонетке са више ограничења које ниједан оператер не би тражио. Картице могућности које наводе променљиве димензије помажу, али људи или мета-преглед и даље морају да ухвате надреалне подстицаје.

Тестирање одбијања и неизводљивости, присутно у ширем дизајну EnterpriseOps Gym-а, подсећа тимове да компетенција укључује и одбијање. Цевовод оптимизован само за завршне задатке може недовољно обучавати одбијање. Приликом проширивања петљи у стилу AutoSynthData, укључите картице где је исправно коначно својство безбедно одбијање према политици, а не само успешна мутација стања базе података.

Дугорочне стајне трајекторије подижу још једну дизајнерску ноту. Демо верификације наставника морају остати кохерентне током многих позива алата. Верификатори који проверавају само последњи ред табеле могу пропустити средње прекиде политике. Потпуност у дизајну верификатора значи покривање својстава која заиста дефинишу успех за ту могућност - укључујући ограничења која морају остати тачна током целог процеса, не само на крају.

Завршни резиме

AutoSynthData, од ServiceNow CoreAI / ServiceNow-AI, чији је аутор у јавном чланку Есакивел Есакираја, је процес који претвара неуспехе циљних агената плус успехе наставника у валидиране синтетичке задатке обуке за пословна окружења. Апстрахује неуспехе у дезинфиковане картице са спецификацијама могућности, генерише нове задатке без цурења оригиналних упита или путања, прикупља демонстрације наставника и спроводи контролу квалитета на нивоу узорка и серије пре надгледаног финог подешавања.

Практични ментални модел је задатак као спецификација система, кориснички упит и верификатор - са изводљивошћу, реализмом и тешкоћом у напетости, и са верификаторима који нису ни превише лабави нити везани за једну путању. Фазе „Циљај, па множи“, правило без даљег семена за умножене узорке, дељени контролер плус адаптер окружења и поновна евалуација након SFT-а стварају покретну границу преко преосталих празнина.

На сајту EnterpriseOps Gym, аутор је пријавио хибридне резултате са Gemma-4-26B-A4B-it и Qwen3.8-27B који показују отприлике две хиљаде узорака за око осамнаест сати и значајно повећање Pass@1 и успеха верификатора, чиме се велики део разликује од референтног модела. ITSM са DeepSeek-V4.1-Flash као наставником показује да Pass@1 расте са 18,77 процената на 27,18 процената на око 1.994 узорка током дужег периода. Третирајте те бројке као истражене сигнале на одређеним доменима, зависно од наставника, верификатора и верности окружењу - и задржите учење појачањем као планирано проширење петље, а не као завршену тврдњу.

Ако се сећате једне реченице: пословни агенти се побољшавају када се неуспеси апстрактују, умножавају, верификују лекције унутар система којима морају да раде свакодневно - не када тимови само понављају исту покварену карту.

Практични пример: Проширивање тешких ITSM случајева из замрзнутог скупа кварова у стилу теретане

Сценарио

Тим за пословне платформе у Великој Британији - замислите оперативну групу финансијских услуга средње величине која покреће ITSM у стилу ServiceNow-а са прозорима промена, CMDB односима и прелазима ограниченим политикама - има агента сличног производном који стално наилази на исту класу посла: ажурирања између табела која морају поштовати предуслов за одобрење, претраге чланака знања које су у сукобу са локалним замрзавањима промена и хибридни захтеви који укрштају ITSM у суседне оперативне алате.

Они замрзавају приватни пакет у стилу EnterpriseOps теретане (контејнеризовани песак, провере SQL исхода, табеле са почетним вредностима, правила политике) тако да су резултати упоредиви из недеље у недељу. Дијагностичка покретања показују да циљни агент не успева тамо где јачи наставник успева. Руководство жели више сигнала за обуку без понављања истих бројева тикета и ИД-ова ентитета. AutoSynthData (или еквивалентна петља синтезе из неуспеха ако је истраживачки цевовод затворен у њиховом стеку) је кандидат: претворити неуспехе контраста у дезинфиковане картице са спецификацијама могућности, генерисати нове задатке, прикупити демо верзије наставника, а затим - што је критично - људски прегледати синтетичке трагове пре било какве поновне обуке.

Ништа се не испоручује само од себе на Gym Pass@1. Синтетички подаци се третирају као кандидатски наставни план и програм, а не као бесплатна истина.

Шта је потребно асистенту

• Приступ замрзнутом адаптеру окружења у стилу теретане: алати, почетно стање, политике и SQL (или еквивалентни верификатори засновани на стању).
• Упарени евиденциони записи: неуспеси циљева у поређењу са успесима наставника на истим задацима.
• Шема картице која обухвата могућности, облик алата/тока рада, контраст успеха/неуспеха, потребна својства коначног стања и дозвољене димензије варијација - без оригиналних упита, ентитета, путања или интерних верификатора.
• Правила за чишћење личних података и смерница (ИД-ови тикета, корисничка имена, називи CI, регулисана поља) пре него што било шта напусти изолациони простор или уђе у промпт генератора.
• Ред за људски преглед узоркованих синтетичких задатака и трагова наставника (изводљивост, реализам, поузданост верификатора, случајеви одбијања/неизводљивости).
• Јасни услови заустављања: Циљај, па множи фазе; умножени узорци не засејавају даље рунде множења.

Пример упутства

Водитељ платформе ка оператеру курикулума (или асистенту за оркестрацију који само израђује картице и прегледава пакете - не преквалификује нити промовише моделе):

„Покрените дијагностички Pass@1 тест на замрзнутим ITSM и хибридним пресецима у односу на наш тренутни циљ и одређеног наставника. За сваку разлику где циљ не успе, а наставник успе у најмање два од три покушаја, направите дезинфиковану картицу спецификације способности: наведите способност, наведите релевантне алате, наведите потребна својства коначног стања и наведите контролисане димензије (опсег приоритета, повезана класа CI, заставица прозора за промене, тип сукоба знања). Уклоните бројеве тикета, идентификаторе корисника, имена CI и сирове путање. Генеришите групу нових задатака у фази циља само из тих картица. Нека наставник демонстрира успехе. Примените опсег тежине (циљ ≤1/3, наставник ≥2/3), позитивну и негативну верификацију и ограничену критику/поправку. Направите пакет за преглед од 5% стратификованих узорака плус сваку картицу одбијања/неизводљивости. Не почињите SFT док два рецензента не потпишу пакет и док провере чишћења PII не прођу. Након SFT-а на контролној тачки кандидата, поново процените замрзнути пакет и скуп тачних подударања који никада нисмо користили за генерисање. Известите о покривености класом квара и стопом регресије у односу на претходну контролну тачку производње.“ не може се само по себи промовисати на основу резултата у гимназији

Како га тестирати

1. Закључавање основног нивоа: Забележите стопе успеха Pass@1 и верификатора на замрзнутом пакету према класи квара (редослед предуслова, одбијање прозора за промене, хибридни међуалатни систем, сукоб знања). Чувајте пакет и почетне вредности непроменљивим током циклуса.
2. Ревизија картица: Насумична провера да ли генератори никада не примају оригиналне упите, ентитете или трагове наставника - само картице.
3. Пример контроле квалитета: Потврдите да позитивне путање пролазе верификаторе, а мутирани погрешни исходи не пролазе. Одбаците задатке који су тривијални за циљ или бацање новчића за наставника.
4. Људски преглед: Рецензенти означе сваки узорак као задржи / поправи / одбаци на основу изводљивости, реалистичности и безбедности политике. Пратите међусобни договор рецензената о заједничком подскупу.
5. Тачно подударање у задржавању: Након кандидатског SFT-а, бодујте задржавање стварних (или претходно замрзнутих) задатака који никада нису били улазни подаци за картице или генерисање. Посебно бодујте скоро парафразе задатака за обуку како бисте открили плитко памћење.
6. Регресиона капија: Свака класа квара која се погорша у односу на претходну контролну тачку производње блокира унапређење док се не објасни или не поправи.

Резултат

Не измишљајте овде проценте „bake-off“. Користите план мерења и означите објављене истраживачке податке као ТВРДЊА У ЧЛАНКУ када их цитирате.

План мерења (шта овај тим треба да пријави):

• Покривеност класом неуспеха: удео дијагностикованих класа празнина које су произвеле ≥N прихваћених задатака циљне фазе након контроле квалитета (дефинишите N унапред, нпр. 20 прихваћених задатака по класи).
• Тачно подударање задржавања: Pass@1 / успех верификатора на нетакнутом задржавању пре у односу на после кандидата SFT (исти почетни елементи, исти верификатор).
• Стопа регресије: број класа кварова где Pass@1 пада у односу на претходну контролну тачку производње; блокира ако било која класа критична за безбедност регресира.
• Принос прегледа: задржите / поправите / стопе испадања на пакету за људски преглед; ако стопа испадања скочи, паузирајте. Множите и поправите карте или верификаторе.
• Неуспеси пречишћавања: број узорака који не прођу провере личних података/политика пре одобрења за преглед (циљ: нула не успева да се укључе у SFT скуп).

ТВРДЊА У ЧЛАНКУ (аутор је објавио на EnterpriseOps Gym - није измерени резултат овог тима): Хибридни трчања са Gemma-4-26B-A4B-it као циљем и Qwen3.8-27B као наставником произвела су око 2.000 узорака за отприлике 18 сати, са просечном Pass@1 повећањем од око 7,2 процентна поена и успехом верификатора који се померио са 63,01% на 68,55%. ITSM са DeepSeek-V4.1-Flash као наставником померио је просечну Pass@1 са 18,77% на 27,18% на око 1.994 узорка током дужег периода (~66 сати). Третирајте их као истражене сигнале на одређеним доменима и упаривањима, а не као универзалну гаранцију за продукцијски стек у Великој Британији.

Илустративан облик програма (претпоставке, не измерени добици): Ако тим прихвати ~2.000 узорака проверених контролом квалитета за један ITSM циклус, буџетира закључивање наставника плус преглед на 5% стратификованог узорковања и унапређује само када задржавање не регресује часове критичне за безбедност, „резултат“ који могу да тврде озбиљно је зрелост процеса - ревидирани наставни план и програм, обрађени трагови и упоредиве делте замрзнутих смештаја - а не обећано процентуално повећање.

Шта може поћи по злу

• Третирање синтетизатора као слободне истине: Прескакање људског прегледа или негативне верификације омогућава попустљивим верификаторима да признају смеће у великим размерама.
• Цурење ентитета: Уношење оригиналних ИД-ова карата или трагова наставника у генератор доводи до прекомерног парафразирања; картице постоје да би се то спречило.
• Неограничено множење: Дозвољавање да умножени узорци започну даље рунде удаљава се од именоване могућности.
• Испорука резултата из теретане: Промоција зато што је пропусница замрзнутог пакета порасла док се саобраћај у сенци или производњи погоршао.
• Слаб плафон наставника: Ако наставник не може да пређе опсег успеха ≥2/3, СФТ предаје непоуздане демо верзије.
• Нејасни верификатори: Рубрике за ћаскање уместо провера заснованих на стању оцењују течне погрешне завршне испите као успех.
• Одбијање недовољне обуке: Оптимизација само за комплетивне мутације оставља прозор за промене и одбијање политике крхким.
• PII избегавање: Синтетички упити који поново уводе стварна CI или корисничка имена након плитког чишћења.

Практична информација

Користите петље у стилу AutoSynthData - или еквивалентан образац синтезе из кварова ако ServiceNow CoreAI цевовод није доступан у вашем закупу - да бисте умножили тешке, проверљиве ITSM случајеве из дијагностикованих празнина. Дезинфикујте у картице могућности, проверите са тешкоћом и позитивном/негативном верификацијом, очистите PII и узорке које су прегледали људи пре SFT-а. Мерите покривеност класом кварова, тачно подударање задржавања и стопу регресије. Наведите ЧЛАНАК као ТВРДЊУ бројке о теретани само као спољни истраживачки контекст. Синтетички подаци су гориво за наставни план и програм, а не гаранција: ревидирајте узорке, држите пакет замрзнутим ради фер поређења и никада немојте самостално испоручивати резултате о теретани.

Честа питања

Шта је AutoSynthData и који проблем решава?

AutoSynthData је ServiceNow CoreAI / ServiceNow-AI цевовод, који је описао Есакивел Есакираја, који спаја неуспехе циљног агента заједно са успесима снажнијег наставника у валидиране синтетичке задатке обуке за пословна окружења. Фокусира се на компетенције у окружењу - локалне политике, шеме, алате и стање - уместо на опште знање. Поента је да се умножи тежак, проверљив рад тако да надгледано фино подешавање може да покрије празнине специфичне за окружење уместо да се понавља иста покварена карта.

Зашто се компетенција у области окружења разликује од општег модела способности?

Пословни агенти често се спотичу јер је само окружење специфично: политике тикета, шематичне особености, уговори о алатима, базе података са почетним подацима и међусистемски токови рада. Модел који изгледа добро на отвореним тестовима може се и даље замрзнути у прозору промена, CMDB односу или верификатору који испитује коначно стање. Широке могућности нису исто што и познавање како се ваши системи, правила и стање података понашају под прелазима управљаним политикама.

Који је практични облик задатка који користи AutoSynthData?

Функционалaн облик је задатак једнак системској спецификацији, корисничком упиту и верификатору. Системска спецификација садржи ограничења, политике и почетно стање као што су почетне вредности базе података и чланци знања. Кориснички упити се бодују на основу изводљивости, реализма и тежине. Верификатори се идеално ослањају на провере исхода засноване на SQL-у или стању, тако да оцењују свет након што агент делује, а не само тачну путању токена коју је прешао.

Како дезинфиковане картице са спецификацијама могућности спречавају прекомерно опремање?

Дијагностика упоређује где циљ не успе, а наставник успе, а затим те случајеве дестилује у саниране картице са спецификацијама могућности. Картица бележи облик могућности, алата или тока рада, контраст неуспеха/успеха, потребна својства коначног стања и димензије које могу да варирају. Генератор никада не види оригиналне упите, ентитете, путање или детаље верификатора - само картице - тако да нови задаци притискају језгро без парафразирања научене епизоде.

Које су фазе Циљање и Множење у цевоводу?

Фаза циљања се концентрише на проверене узорке око празнина - задатке са највишим сигналом близу места где слаби агент прекида. Фаза множења ствара нове варијанте прихваћених циљева. Умножени узорци не могу да посеју даље рунде множења, што држи одступање од именоване способности под контролом. Након надгледаног финог подешавања, поновна евалуација помера наставни план и програм ка преосталим празнинама као покретној граници, а не статичној депонији.

Како контрола квалитета на нивоу узорка одржава синтетичке задатке поузданим?

Филтер тежине решавача фаворизује задатке које циљ решава у највише једном од три покушаја, док наставник успе у најмање два од три. Позитивној верификацији је потребна референтна путања да би прошла; негативној верификацији су потребни мутирани погрешни исходи да би неуспела. Петља критике и поправке са ограничењем поновних покушаја покушава да поправи блиске промашаје, а мета-преглед на нивоу групе проверава покривеност, разноликост, редундантност и неуспеле циљеве у целом скупу.

Коју архитектуру користи AutoSynthData у различитим пословним доменима?

Упарује дељени контролер са адаптером окружења. Контролер покреће дијагнозу, картице, генерисање, демонстрације за наставнике, контроле квалитета и групни преглед. Адаптер повезује те кораке у конкретан „песак“ – алате, стање, политике и верификаторе – тако да иста контролна петља може да указује на различите домене без преписивања логике курикулума од нуле.

Шта је EnterpriseOps Gym у овом истраживачком контексту?

EnterpriseOps Gym је велика платформа за истраживање пословања пословних агената која се користи као полигон за тестирање оптерећења, са око 1.150 задатака које су стручњаци курирали у 8 домена, отприлике 512 алата, око 164 табеле базе података, контејнеризованим извршавањем, верификацијом исхода заснованом на SQL-у, операцијама управљаним политикама, хибридним сценаријима и дугорочним стајним путањама. AutoSynthData се не представља као изум те теретане; теретана приказује петљу синтезе у акцији.

Који резултати које је пријавио аутор појављују се за хибридна и ITSM подешавања?

На EnterpriseOps Gym-у, Hybrid са Gemma-4-26B-A4B-it као циљем и Qwen3.8-27B као наставником произвео је око 2.000 узорака за отприлике 18 сати, са просечном Pass@1 повећаном за око 7,2 процентна поена и успехом верификатора који се померио са 63,01% на 68,55%. ITSM са DeepSeek-V4.1-Flash као наставником померио је просечну Pass@1 са 18,77% на 27,18% на око 1.994 узорка током дужег периода. Третирајте их као истражене сигнале на специфичним упаривањима, а не као универзалну гаранцију продукције.

Које грешке тимови треба да избегавају када користе петље за синтезу из грешака?

Не третирајте синтетичке податке као бесплатну истину или прескачите људски преглед и негативну верификацију. Избегавајте уношење оригиналних идентификационих бројева карата или трагова наставника у генератор, дозвољавање да умножени узорци посеју даље рунде или промоцију на Gym Pass@1 самостално док се саобраћај са задржавањем или сенком погоршава. Такође, пазите на слабе наставнике испод опсега успеха, нејасне рубрике за ћаскање уместо провера стања, случајеве одбијања због недовољне обуке и бекство личних података након површног чишћења.

Референце

1. Загрљено лице — AutoSynthData — huggingface.co
2. Теретана EnterpriseOps — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. ГитХаб — ЕнтерпрајзОпс-Теретана — github.com