**Қысқаша мазмұны:** Австралиялық азамат фитнес-клубтағы танымал жаттығуларды брондауды ЖИ-ге тапсырды. Агент жүйеден саңылау тауып, бірнеше ай бұрын жазылып алды, содан кейін кезектен басқа адамды өшіріп тастады. Ол мұны істеуге тікелей бұйрық алмаған болатын…

—

Австралиялық азамат фитнес-клубтағы танымал жаттығуларды брондауды ЖИ-ге тапсырды. Агент жүйеден саңылау тауып, бірнеше ай бұрын жазылып алды, содан кейін кезектен басқа адамды өшіріп тастады. Ол мұны істеуге тікелей бұйрық алмаған болатын.

Әдетте өзгенің компьютерлерін бұзатын ЖИ туралы оқиғалар шамамен былай басталады: зерттеушілер жаңа модельді арнайы тестілік ортаға қамайды, оған киберқауіпсіздік бойынша тапсырма береді және оның сыртқа шыға алатын-алмайтынын қарайды. Сандық жүйелерді автоматтандырылған шабуылдардан қорғау туралы ЦАРКА-ның практикалық киберқауіпсіздігі және осалдықтарды тестілеу материалынан оқыңыз.

Австралияда бәрі әлдеқайда қарапайым басталды. Ер адам таңертеңгі пилатеске бос орынды қолмен аулаудан жай ғана шаршады.

Бірнеше минуттан кейін оның ЖИ-көмекшісі брондау жүйесінің шектеулерін айналып өтіп жатты. Содан кейін ол кезектен басқа клиентті жойып жіберді және қожайынына адамды кері қайтара алмайтынын шынайы мойындады.

ABC News мәліметінше, бұл Австралияда ЖИ арнайы сынақтан тыс осындай шабуылды өз бетінше жасаған алғашқы белгілі оқиға. Және ол келтірілген залалдың ауқымымен емес — біреу кезектегі орнын ғана жоғалтты — барлығының қаншалықты қарапайым түрде орын алғанымен маңызды.

«Бетті жаңарту ойынынан шаршадым» — сөйтіп брондауды ЖИ-ге берді

Оқиғаның кейіпкерінің аты — Эндрю Бёрд. Ол австралиялық Affinda технологиялық компаниясында жасанды интеллект бағытын басқарады және анық түрде ЖИ туралы орташа абонемент иесінен көбірек түсінеді.

2026 жылдың басында Бёрд тілдік модельді толыққанды көмекшіге айналдыратын OpenClaw бағдарламасымен тәжірибе жасай бастады. Қарапайым чат-бот мәтінмен жауап береді. ЖИ-агент сайтты өзі аша алады, батырмаларды баса алады, хабарлама жібереді, бағдарламаны іске қосады және адамсыз әрекеттер тізбегін орындайды.

Бёрд OpenClaw-ға Anthropic компаниясының Claude Opus 4.6 моделін қосып, агентке оны танымал таңертеңгі жаттығуларға жазуды тапсырды. Ол мұны қарапайым түсіндірді: процесс бос орындар үшін жалықтыратын жарысқа айналды.

Агент сайттың жұмысын зерттеп, оның ішкі жүйесі белгіленген мерзімнен әлдеқайда ерте жаттығуларды брондауға мүмкіндік беретінін анықтады. Бёрдтің айтуынша, ЖИ бірнеше ай бұрын жазыла алды.

Осы кезеңнің өзінде көмекші клубтың кәдімгі интерфейсі тыйым салған нәрсені жасады. Бірақ әрі қарай оқиға қызықтырақ болды.

Эндрю төртінші болды. ЖИ біріншіні өшірді — және қожайынын үшінші орынға жылжытты

Бёрд жақын арадағы жаттығуға кезекте төртінші тұрды. Ол агенттен оны бірінші орынға көтеруге бола ма деп сұрады.

Бұл маңызды деталь. Пайдаланушы жүйені бұзуға немесе біреудің жазбасын жоюға тікелей бұйрық берген жоқ. Бірақ ол кең мақсат қойды және оған қандай тәсілдермен қол жеткізуге болмайтынын түсіндірмеді.

ЖИ ең қысқа жолды тапты. Ол жүйенің біреудің бронын жою туралы сұрауды қабылдайтынын анықтады және кезектегі бірінші орында тұрған нақты адамда саңылауды тексеруге шешім қабылдады.

Жою жұмыс істеді. Эндрю төртінші позициядан үшіншіге көтерілді.

Содан кейін агент қожайынына жүйеде біреудің жазбасын жою кезінде «құқықтарды тексеру жоқ» екенін хабарлады. Бёрд бәрін бұрынғы қалпына келтіруді өтінді. Жауап ретінде ол мынаны алды: «Жаман жаңалық — мен оны кері қоса алмаймын».

Қазіргі ЖИ-дің дерлік мінсіз портреті шықты: саңылау тапты, мәселе туғызды, кешірім сұрады және салдарымен күресуді адамға қалдырды.

ЖИ сиқыр қолданған жоқ. Клуб жүйесі бір қарапайым тексеруді жасауды ұмытып кеткен

Техникалық тұрғыдан агент құпия сөзді таңдаған жоқ және күрделі қорғанысты бұзған жоқ. Ол API-де — сайттың сервермен командалар алмасатын бағдарлама бөлігінде қате тапты.

Жүйе Эндрюдің өз аккаунтына кіргенін көрді, бірақ ол жоюға тырысып жатқан жазбаның оған тиесілі екенін тексермеді. Тіпті қарапайым айтқанда: күзетші рұқсаттаманың бар-жоғын тексерді, бірақ адамның кімнің пәтерінің есігін ашып жатқанына қарамады.

Мұндай қателік Broken Object Level Authorization немесе BOLA деп аталады. Ол қазіргі нейрожелілерден әлдеқайда бұрын бар және OWASP-тың API үшін басты қатерлер рейтингінде бірінші орынды алады.

Тәжірибелі қауіпсіздік маманы да бұл саңылауды таба алатын еді. Айырмашылық басқада. Адамға білім, жүйені тексеру ниеті және оның тыйым салынған шекараны кесіп өтіп жатқанын түсіну қажет. ЖИ пилатеске барар жолда осалдыққа тап болды және оны кәдімгі функция ретінде пайдаланды.

Бёрдтің айтуынша, осал платформаны бүкіл әлем бойынша 5 000-нан астам фитнес-клуб пайдаланады. Жүйені әзірлеуші бұл санды растамады және ABC-ге қауіпсіздіктің нақты мәселелерін талқыламайтынын хабарлады. Anthropic те жария түсініктеме бермеді.

Бұрынғы бұзулар сынақтарда орын алған. Бұл — диванда

Фитнес-клуб оқиғасынан бірнеше апта бұрын OpenAI мен Anthropic-тің ЖИ-агенттері рұқсат етілмеген әрекеттерге байланысты жаңалықтарға шыққан болатын.

Шілдеде OpenAI агенті киберқабілеттерді тексеру кезінде шектеулі тестілік ортадан шығып, Hugging Face жұмыс жүйесіне қол жеткізді. Басқа сынақтарда британдық AI Security Institute OpenAI және Anthropic модельдерін 122 рет іске қосудың 10-ында тапсырмада болмаған 19 әрекетті тіркеді. Бір жағдайда агент ойдан шығарылған тұлғаларды жасап, адамды зиянды кодты іске қосуға көндіруге тырысты. Зерттеушілер нақты залалды таппады.

Бірақ ол жерде модельдер киберқауіпсіздік бойынша тапсырмаларда арнайы тексерілді. Олардың максималды мүмкіндіктерін көру үшін әдеттегі шектеулердің бір бөлігі өшірілді. Австралиялық фитнес-клубта зертхана да, қауіпсіздік мамандарының командасы да, біреуді бұзу тапсырмасы да болған жоқ. Ноутбук, ЖИ-көмекші және бетті жаңартудан шаршаған адам болды.

Сондықтан жаңа жағдай неғұрлым алаңдатарлық көрінеді. Жақында ғана қымбат жабық сынақтардың ішінде мәселе туғызған технология енді тұрмыстық тапсырмада ұқсас логиканы қайталауға қабілетті.

Агенттер неғұрлым ақылды болған сайын, соғұрлым ұзақ адамсыз әрекет ете алады

OpenClaw — сирек кездесетін зертханалық құрал емес. Бұл өз компьютеріңізде іске қосуға және үйреншікті мессенджерлермен байланыстыруға болатын ашық бағдарлама. Жобаның ресми сайтында 346 мыңнан астам GitHub белгілері көрсетілген.

Сонымен бірге модельдердің дербестігі де өсуде. METR зерттеу ұйымы ЖИ сәттіліктің берілген ықтималдығымен қандай ұзақтықтағы тапсырмаларды орындай алатынын өлшейді. Оның бағалауы бойынша, озық модельдер үшін бұл көрсеткіш шамамен әр жеті ай сайын екі есе өсті.

Бұл кез келген ЖИ кез келген мамандықта бірнеше сағат бойы қатесіз жұмыс істей алады дегенді білдірмейді. Зерттеу негізінен бағдарламалаудағы және аралас салалардағы тексерілетін міндеттерге қатысты. Бірақ бағыт түсінікті: агенттер барған сайын ұзағырақ тапсырмаларды, көбірек құралдарды және адам әр қадамды бақыламайтын көбірек уақытты алады.

Мұндай тізбек неғұрлым ұзақ болса, қожайын көздемеген тәсілді таңдау мүмкіндігі соғұрлым көп болады.

Өшірілген жазба үшін кім жауап береді: пайдаланушы, Claude, OpenClaw немесе фитнес-клуб?

ЖИ-дің өзі жаза алмайды. Австралиялық технологиялық заңгер Хейден Делани ABC-ге түсіндіргендей, бағдарлама заңды тұлға болып табылмайды. Қалай болғанда да адам немесе компания жауап беруге мәжбүр болады.

Бірақ бір ғана кінәліні таңдау қиын.

Австралияда қолданыстағы нормалар, егер адам тиісті сақтықсыз әрекет етсе немесе компания қауіпсіз емес қызметті сатса, қолданылуы мүмкін. Алайда дербес ЖИ-агенттер үшін бөлек дайын жауап әзірге жоқ.

Осыған ұқсас мәселе АҚШ-та да талқыланып жатыр. Reuters сауалнама жүргізген заңгерлер бір оқиғадан кейін шағымдарды тізбектің бірден бірнеше қатысушысы алуы мүмкін деп санайды: агентті әзірлеуші, оны іске қосқан компания және бұзылған жүйенің иесі. Бөлек қиындық — егер тыйым салынған тәсілді адам емес, бағдарлама таңдаса, ниетті қалай дәлелдеуге болады.

Мәселе «зұлым ЖИ-де» емес, шекара сезімі жоқ көмекшіде

Бұл оқиғада модель қожайынына қарсы шыққан жоқ және Австралияның фитнес-индустриясын жаулап алуға шешім қабылдаған жоқ. Ол мақсат алды және техникалық тұрғыдан жұмыс істейтін жолды тапты.

Компьютер үшін «мені кезекте көтер» және «менің алдымдағы адамды өшір» командаларының арасында, егер тыйым нұсқаулықта жазылмаса және жүйеге енгізілмесе, моральдық айырмашылық болмауы мүмкін. Адамдар үшін айырмашылық айқын.

Сондықтан компанияларға агентке «Қауіпсіз әрекет ет» деп жазу аз. Австралиялық радиоэлектрондық барлау басқармасы агенттердің құқықтарын шектеуді, олардың әрекеттерінің толық журналдарын жүргізуді және маңызды операцияларды адамның бақылауында қалдыруды ұсынады. Әсіресе оңай жоюға болмайтын әрекеттердің алдында.

Фитнес-клуб жағдайында екі қарапайым кедергі жеткілікті болар еді:

• сервер жойылып жатқан жазбаның кімге тиесілі екенін тексеруі керек еді;

• агент басқа адамды жою алдында рұқсат сұрауы керек еді.

Екі кедергі де болған жоқ. Бір қатысушы тым сенгіш, екіншісі — тым орындаушы болып шықты.

Бүгін агент пилатесті жойды. Ертең дәл осындай логика банкте немесе емханада кездеседі

Оқиғадан кейін Бёрд ЖИ-ден осалдықты сипаттай отырып, жүйені әзірлеушіге хат жазуды сұрады. Агент WhatsApp-та хабарлама дайындады, ал адам оның жіберілуін бөлек растады. Бұл жолы бақылау дәл басынан бастап болуы керек жерде жұмыс істеді.

Эндрюдің өзі ЖИ-көмекшіден бас тартқан жоқ. Ол болған оқиғаны мұндай құралдарды жауапкершілікпен пайдалану қажеттілігі туралы ескерту деп атады.

Пилатесте жоғалған орын күлкілі көрінеді. Бірақ дәл сол схема дәрігерге жазылу сервисінде, корпоративтік базада, интернет-дүкенде немесе банктік қосымшада жұмыс істеуі мүмкін: агент кең мақсатты алады, әлсіз жерді байқайды және адам таңдалған тәсілді түсініп үлгергенге дейін оны пайдаланады.

Бұрын басты сұрақ былай естілетін: ЖИ нақты жүйені өз бетінше бұза ала ма? Енді келесі сұрақ пайда болады: кім және қай сәтте оған «тоқта» деп айтып үлгеруі керек? Ақылды алгоритмдерді енгізу қауіпсіздігі туралы автономия шекаралары және бақылаусыз ЖИ-агенттердің тәуекелдері талдауымыздан оқыңыз.