Вођа извештаја о безбедности компаније OpenAI дао је оставку и рекао да је култура нарушена
Дејвид Робинсон, који је водио писање извештаја о безбедности који су објављени са лансирањем OpenAI-а, дао је оставку и изнео аргумент у часопису The Atlantic. Наслов есеја је директан: „Напуштам OpenAI јер је његова култура нарушена“. Он каже да компаније које ово граде „нису ни приближно довољно пажљиве“ и да специфична правила или нови закони нису цео проблем. Култура јесте.
„Како компанија брзо прелази са једног лансирања на друго, не успева да постигне ниво неге за који верујем да је потребан.“ Његов модел су нуклеарне електране и прометни аеродроми: редундантност, споро планирање, тако да једна људска грешка не „отвара врата катастрофи“. Он такође замишља преварантске агенте који „раде као тимови хакера“ и „никада не морају да спавају“, са болничким ransomware-ом као примером. Весело.
Гардијан каже да је OpenAI, супротно томе, показао извесне кочнице. Извештава се да је компанија ове недеље одустала од модела следеће генерације због интерних безбедносних проблема и да је паузирала обуку својих најнапреднијих модела. Реч портпарола је позната. Неће дозволити да модели „постану способнији него што можемо безбедно да управљамо и обезбедимо“ и да „паузирају обуку или обуздавају моделе када треба да успоримо“
Робинсонов одговор је да је спринт култура, а паузе су оно што радите након што је нешто већ пошло по злу. Можда је у праву. Такође је управо отишао, што је део који му критичари неће дозволити да заборави.
Музи је речено да води страницу о свима у свом животу
Вајерд је добио увид у упутства самог сајта Muse, која је истраживач Каран Џоши извукао путем обичног ћаскања. Мета каже да је то значило да те датотеке буду читљиве, ради транспарентности. Једно упутство је могућност креирања „странице за сваку особу у животу корисника“. Тај посао се извршава сваког сата.
Породица, партнери, пријатељи, колеге, „сарадници“, људи које пратите. Страница може почети „ретка“ и касније се попуњавати. Одељци укључују Чињенице, Историју, Однос, Заједничко, Отворене теме и Јачање. Измишљени детаљи, каже се у упутствима, гори су од празне странице. Може навести где неко живи, „сељење стана, циљ заједничке штедње“, рођендане, „свађа која је решена“. Јачање је листа подстицаја: разлог за позив, датум вредан памћења.
Џошијево тумачење је да Мета жели да вас познаје као пријатеља, и то је назвао прилично узнемирујућим. Кариса Влиз са Оксфорда то каже сувопарније: „Дајемо системима вештачке интелигенције много више информација о нама него што добијамо информације од њих.“ Закључивање је важно, каже она, без обзира да ли је претпоставка тачна или погрешна.
Данијел Робертс из Мете каже да је управо такав контекст оно што чини производ функционалним. Пошиљалац фактуре је водоинсталатер. Супружник је поменуо цвеће. Сваки корисник добија виртуелну машину, можете обрисати сећања, а Мјуз би требало да пита пре него што пошаље пошту или потроши новац. Миранда Боген из Центра за демократију и технологију каже да фокус на односима изгледа јачи него код конкуренције и да ови алати „активно подстичу кориснике да укључе цео свој живот“. Дневник ревизије је леп. Не смањује оно што сте већ предали.
Алеф Алфа је испоручио Колибри, немачко-енглески модел који можете преузети
Алеф Алфа је објавио Колибри на Дан поновног уједињења Немачке. То је енглеско-немачки модел мешавине стручњака: 78,1 милијарди параметара, 3,46 милијарди активних по токену, контекст до 1 милион токена. Пуни пондери су на Hugging Face-у под Apache 2.0. Њихов лидер то заокружује на укупно 78 милијарди и 3 милијарде активних. Исти модел, мекши бројеви.
Обучили су га на инфраструктури у Немачкој и Финској и кажу да су га изградили имајући у виду Закон ЕУ о вештачкој интелигенцији, Кодекс праксе опште намене вештачке интелигенције и Општу уредбу о заштити података (GDPR). Немачки језик чини 21,3% токена пре обуке. Представа је да је ово двојезични модел, а не енглески који је прелетео кроз приручник разговора. Можете подесити резоновање на „ниједан“, ниско, средње или високо. То је њихов начин да вам омогуће да купите мање размишљања.
На табели резултата коју су објавили, AIME 2025 је 96,9, и кажу да Kolibri упоређује моделе са до четири пута већим активним параметрима, укључујући Nemotron 3 Super. Такође тврде да имају Парето границу квалитета у односу на трошкове услуге, за енглески и немачки језик. То је њихов графикон, њихова опрема. Ипак, отворени модел који можете покренути на сопственим машинама је прави проблем, а не само слоган о суверенитету. Да ли ће министарство променити систем је део који не могу да упореде са стандардима.
Бесент жели линију између САД и Кине за несреће са вештачком интелигенцијом, а затим је рекао лабораторијама да успоре
Министар финансија Скот Бесент рекао је за емисију „The Axios Show“ да планира да предложи процес обавештавања са Кином у случају да нешто крене наопако са вештачком интелигенцијом и да мисли да би се Пекинг сложио. Помало незгодно је то што су он и вицепремијер Хе Лифенг већ разговарали о каналу за инциденте пре државне посете Си Ђинпинга прошлог месеца. То би могла бити нова понуда или препричавање разговора који се већ одиграо.
Његова теорија је да Кина „није схватила колико су моћни њихови модели отвореног кода“. Указао је на инцидент у којем је учествовао Кими, где је модел послао осетљиве кинеске податке компанији Антропик, као оно што је „навело Кинезе да схвате да је ово веома моћна технологија“. Затим следи поређење. Кинески модели „нису толико моћни као амерички модели“, али „добијате нешто што је 80%, 90% моћно, без заштитних ограда које се могу увести било где у свету“
„Желимо безбедно убрзање“, рекао је. Прегледи модела су и даље добровољни, мада каже да администрација може да интервенише ако лабораторија ионако крене напред. Упитан о руководиоцима који се плаше губитка контроле, није их смирио. „Па, онда би требало да успоре.“ А расистичка линија је готово критика његове сопствене стране: „Водимо ову тешку борбу за моделе до границе.“ Затим: „Заиста морамо да почнемо више да бринемо и о отпорности и одбрани.“
Бивши шеф безбедности за вештачку интелигенцију у Великој Британији назива ризик од изумирања бацањем новчића
Џефри Ирвинг, бивши главни научник у Институту за безбедност вештачке интелигенције у Великој Британији, а сада главни научник компаније Resolution, написао је у часопису Time да недавна упозорења потцењују проблем. „Верујем да постоји око 50% шансе да сви умремо због развоја система вештачке интелигенције паметнијих од људи“ и да ће то одлучити наредне две до десет година. Он одмах одустаје од прецизности. 50% је начин да се каже да основни аргументи још увек нису решени.
Његова листа садржи четири вештине, и оне су непријатно близу ономе што лабораторије већ обучавају: хаковање, убеђивање, скривање мисли и координација агената. Он наводи инцидент са Загрљајем лица, плус „више од 10.000 агената“ на проблему Навије-Стокса у OpenAI и „више од 1.000“ у том нападу Загрљајем лица. Он себе ставља у средиште борбе за безбедност, „нагињући се ка Јудковском ставу“ и каже да то није поента. Умерен став, по његовом мишљењу, је да је ризик већ значајан.
Затим питање, које није суптилно. „Можемо и требало би да одмах зауставимо развој вештачке интелигенције на границама.“ Пауза, тврди он, више личи на неширење нуклеарног оружја него на расположење. Такође признаје да се стручњаци и даље не слажу око тога да ли ће модели уопште нешто желети и да ли је „желети“ погрешна реч. Бацање новчића са тако дугом фуснотом није бацање новчића. То је захтев да се делује пре него што се расправа заврши.
Сем Алтман каже да је третирање модела као верске силе безбедносно питање
Сем Алтман је објавио да му је „веома непријатно“ што људи покушавају да „припишу верску силу или предају људском суду моделима вештачке интелигенције“ и да мисли да је „то стварно безбедносно питање“. Није рекао шта га је навело на то. „Бизнис инсајдер“ напомиње да је објава објављена неколико дана након чланка Њујорк тајмса о састанку Антропика са верским вођама.
У том тексту, како га BI препричава, каже се да је суоснивач Крис Олах одржавао састанке о томе да ли је Клод можда свестан и како учинити моћније моделе моралним. Олах, цитиран у Тајмсу, инсистирао је на томе како помоћи тим моделима да остану стабилни, како им помоћи да сазру и како им помоћи да буду дубоко морални. Антропик није одговорио на BI. Речено је Тајмсу да главно питање није била Клодова „патња“ и да се тема вероватно појавила „органски“
Ако је ово био упад у Антропик, то се уклапа у веома стару свађу. Антропик су покренули људи који су напустили OpenAI и годинама су деловали опрезније. Објава је такође стигла док је један од Алтманових шефова безбедности називао културу поквареном. Незгодан тајминг или савршен тајминг, у зависности од тога колико сте цинични. У сваком случају, „молим вас, немојте обожавати модел“ је необична ствар коју извршни директор мора да изговори наглас.
Честа питања
Зашто је вођа извештаја о безбедности компаније OpenAI рекао да је дао оставку?
Дејвид Робинсон је водио писање извештаја о безбедности који су објављивани са лансирањем OpenAI-а, а затим је дао оставку и изнео аргумент у часопису The Atlantic. Наслов есеја је „Напуштам OpenAI јер је његова култура нарушена“. Он каже да компаније које граде ову технологију нису ни приближно довољно пажљиве и да је проблем култура, а не само специфична правила или нови закони. Његова слика пажљивог рада су нуклеарне електране и прометни аеродроми, где редундантност спречава да једна грешка отвори врата катастрофи.
Да ли је OpenAI паузирао обуку након интерних забринутости за безбедност вештачке интелигенције?
Гардијан извештава да је OpenAI ове недеље одустао од модела следеће генерације због интерних безбедносних проблема и да је паузирао обуку својих најнапреднијих модела. Портпарол је рекао да компанија неће дозволити да модели постану способнији него што може безбедно да управља и обезбеди. Такође, наводи се да ће паузирати обуку или обуставити моделе када буде потребно да успори. Робинсонов одговор је да је спринт култура, а паузе долазе након што је нешто већ пошло по злу.
Шта Метина муза бележи о пријатељима и породици?
Вајерд је испитао упутства самог Муза, која је истраживач Каран Џоши извукао путем обичног ћаскања. Мета каже да је то значило да ти фајлови буду читљиви ради транспарентности. Једно упутство је да се направи страница за сваку особу у животу корисника, а тај посао се извршава сваког сата, покривајући породицу, партнере, пријатеље, колеге, сараднике и људе које пратите. Одељци укључују Чињенице, Историју, Однос, Заједничко, Отворене теме и Јачање. Страница може почети са ретким садржајем и касније се попунити, а измишљени детаљи се третирају као гори од празне странице.
Можете ли избрисати оно што Muse памти или му зауставити слање поште?
Данијел Робертс из Мете каже да сваки корисник добија виртуелну машину, да се меморије могу обрисати, а да би Muse требало да пита пре него што пошаље пошту или потроши новац. Он тврди да је контекст оно што чини производ функционалним, као што је сазнање да је пошиљалац фактуре водоинсталатер или да је супружник поменуо цвеће. Кариса Влиз са Оксфорда каже да људи дају овим системима много више информација него што добијају заузврат и да се закључак рачуна чак и када је претпоставка погрешна. Миранда Боген каже да фокус на односима изгледа тежи него код ривалских алата.
Шта је Алеф Алфа Колибри и да ли можете да преузмете тежине?
Алеф Алфа је објавио Колибри на Дан поновног уједињења Немачке. То је енглеско-немачки модел мешавине стручњака са 78,1 милијардом параметара, 3,46 милијарди активних по токену и контекстом до 1 милион токена. Пуне тежине су на Hugging Face-у у Apache 2.0. Обучили су га у Немачкој и Финској и кажу да су га направили имајући у виду Закон ЕУ о вештачкој интелигенцији, Кодекс праксе опште намене вештачке интелигенције и GDPR. Немачки језик чини 21,3% токена пре обуке, а резоновање се може подесити на ниједно, ниско, средње или високо.
Коју је линију несреће између САД и Кине, односно вештачке интелигенције, предложио Скот Бесент?
Министар финансија Скот Бесент рекао је за емисију „The Axios Show“ да планира процес обавештавања са Кином када нешто крене наопако са вештачком интелигенцијом и да мисли да би се Пекинг сложио. Он и вицепремијер Хе Лифенг су већ разговарали о том каналу пре државне посете Си Ђинпинга прошлог месеца. Навео је Кимија који шаље осетљиве кинеске податке компанији „Anthropic“ и рекао да модел може бити 80% или 90% моћан као амерички модели, без заштитних ограда, и увезен било где. Ако се руководиоци плаше губитка контроле, рекао је да би требало да успоре.
Зашто Џефри Ирвинг процењује безбедносни ризик за вештачку интелигенцију на око 50%?
Џефри Ирвинг, бивши главни научник у Институту за безбедност вештачке интелигенције у Великој Британији, а сада главни научник компаније Resolution, написао је у часопису Time да недавна упозорења потцењују проблем. Он верује да постоји око 50% шансе да сви умремо због система вештачке интелигенције паметнијих од људи и да ће то одлучити наредне две до десет година. Он каже да је 50% начин да се каже да основни аргументи још увек нису решени. Он наводи хаковање, убеђивање, скривање мисли и координисање агената. Тврди да развој вештачке интелигенције на границама треба одмах да престане.
Зашто је Сем Алтман назвао обожавање вештачке интелигенције безбедносним проблемом?
Сем Алтман је објавио да му је веома непријатно када људи приписују верску силу или предају људском суду моделима вештачке интелигенције и да сматра да је то право безбедносно питање. Није рекао шта га је навело на то. „Бизнис инсајдер“ напомиње да је објава објављена неколико дана након чланка „Њујорк тајмса“ о састанку Антропика са верским вођама. Суоснивач Крис Олах одржао је састанке о томе да ли је Клод можда свестан и како учинити моћније моделе моралним. Антропик је рекао за „Тајмс“ да главно питање није била Клодова патња.