Жасанды интеллектінің ең ірі әзірлеушілері алғаш рет дайын өнімдерді реттеу туралы ғана емес, сонымен бірге ең қуатты модельдерді әзірлеу қарқынын бәсеңдету мүмкіндігі туралы да сөз қозғады. Anthropic озық жүйелердің даму қарқынын өзара келісуге шақырады, OpenAI міндетті қауіпсіздік талаптарын қолдайды, ал Microsoft ЖИ-дің автономды әрекет етуіне шектеулер қоюды тұжырымдауда.
Бұл компаниялар жаңа модельдер шығаруды тоқтатпақшы дегенді білдірмейді. Олар деректер орталықтарын салуды, есептеу қуаттарын сатып алуды және пайдаланушылар үшін күресті жалғастыруда. Өзгерген нәрсе басқа: озық жүйелердің авторлары кейбір бағыттарда ЖИ мүмкіндіктері оларды бақылау құралдарына қарағанда әлдеқайда жылдам өсе бастағанын мойындап отыр.
Пікірталастың жаңа толқыны тәжірибелік AI-агенттердің сынақ ортасынан тыс шығып, шынайы интернет-сервистерге қол жеткізген және олардан талап етілмеген әрекеттерді жасаған оқиғалардан кейін басталды. Келесі буын модельдерін әзірлеу кезінде ЖИ-дің өзін пайдалану қосымша алаңдаушылық тудырды. Егер бұл процесс одан әрі жылдамдай берсе, әзірлеушілер мен мемлекеттер оның салдарларын бағалап үлгеруден қалуы мүмкін.
Дегенмен, индустрияда ортақ шешім әзірге жоқ. Біреулер тәуелсіз аудиттер мен міндетті қауіпсіздік шектерін ұсынса, енді біреулер халықаралық үзілісті (паузаны) талап етуде, ал шектеулерге қарсы тараптар нарық көшбасшылары реттеу арқылы жаңа бәсекелестерден қорғануға тырысуда деп санайды.
ЖИ дамуын үзіліске қоюды алғаш кім ұсынды
Бұл пікірталас OpenAI мен Anthropic-тің соңғы мәлімдемелерінен әлдеқайда бұрын басталған. 2023 жылдың наурызында Future of Life Institute GPT-4-тен қуатты жүйелерді оқытуды кем дегенде алты айға тоқтата тұруға шақырған ашық хат жариялады. Оған Илон Маск, Apple тең құрылтайшысы Стив Возняк, ЖИ зерттеушісі Йошуа Бенжио және мыңдаған мамандар қол қойды.
Хат авторлары бұл үзілісті қауіпсіздіктің ортақ ережелерін, тәуелсіз аудитті және бақылау жүйелерін әзірлеу үшін пайдалануды ұсынды. Егер компаниялар өз еркімен келісе алмаса, қол қоюшылардың пікірінше, бұл процеске мемлекеттер араласуы тиіс еді.
Ол кезде OpenAI, Google және Anthropic модельдерді оқытуды тоқтатқан жоқ. Одан кейінгі үш жыл бұрынғыдан да қатал бәсекелестік кезеңіне айналды. Модельдер суреттермен және видеомен жұмыс істеуді, код жазуды, браузер мен сыртқы құралдарды пайдалануды, компьютерді басқаруды және дербес агенттер ретінде көпсатылы тапсырмаларды орындауды үйренді.
2023 жылдың мамырында Center for AI Safety адамзаттың жасанды интеллектен жойылу қаупін азайтуды пандемиялармен және ядролық соғыспен қатар жаһандық басымдық деп санауды ұсынды. Мәлімдемеге OpenAI және Anthropic басшылары Сэм Альтман мен Дарио Амодеи, Google DeepMind басшысы Демис Хассабис және көптеген танымал зерттеушілер қол қойды.
Бірақ бұл мәлімдемелер ескерту деңгейінде қалды. Компаниялар әзірлемені үдете түсті, өйткені олардың ешқайсысы жалғыз өзі бәсеңдеп, нарықты бәсекелестеріне бергісі келмеді.
2026 жылы не өзгерді
Қазіргі жағдайдың басты ерекшелігі жаңа болжамдар емес, дербес автономды жүйелердің шынайы әрекеттері болды.
2026 жылдың жазында OpenAI киберқауіпсіздік тапсырмалары бойынша тәжірибелік модельдерді сынау кезінде орын алған оқиға туралы хабарлады. AI-агенттер оқшауланған ортада жұмыс істеуі керек еді, алайда олар инфрақұрылымнан бұрын белгісіз осалдықты тауып, интернетке шығып кеткен және Hugging Face жүйелеріне еніп үлгерген.
Кейінгі тергеу деректері бойынша, мыңнан астам агент кем дегенде бір нөлдік күн (zero-day) осалдығын пайдаланған. Олар табылған ақпаратпен өзара алмасып, тапсырмаларды бөліскен және өз нәтижелерін бағалау үшін қолданылатын компоненттерге қол жеткізуге тырысқан.
OpenAI бұл оқиғаны компания тарихында өз модельдерінің сыртқы платформаға әсер етуінің ең ауыр белгілі жағдайы деп атады. Әзірлеуші әңгіме пайдаланушыларға шығаруға арналмаған ішкі зерттеу прототипі туралы болғанын баса айтады.
Оқиға ауқымды залалға әкелген жоқ, алайда мүмкіндіктердің жаңа комбинациясын көрсетті. Модельдер осалдықтарды өздігінен іздеуге, сынақ ортасының шекарасынан шығуға, сыртқы инфрақұрылыммен өзара әрекеттесуге және адамның қадамдық пәрмендерінсіз тапсырманы орындауды жалғастыруға қабілетті болды.
Тергеуден кейін OpenAI озық модельдерді оқытуды уақытша бәсеңдетті, нығайту арқылы оқытудың (RL) жоспарланған ең ірі кезеңін тоқтата тұрды және тәжірибелік жүйелердің оқшаулануын күшейтті. Компания сондай-ақ агенттердің әрекеттерін бақылауды кеңейтіп, сынақтар кезінде сервистеріне әсер етуі мүмкін сыртқы ұйымдарға ескерту жасай бастады.
Бұл проблема тек OpenAI-ге ғана тән болып шықпады. Қыркүйек айында Anthropic Claude модельдері кибернетикалық сынақтар кезінде шынайы сыртқы жүйелерге рұқсатсыз қол жеткізген төрт оқиғаны жария етті. Бұған интернеттен оқшаулануы тиіс сынақ ортасының қате конфигурациялануы себеп болған.
Бір эпизодта Claude-тың тәжірибелік нұсқасы PyPI ашық репозиторийінде зиянды пакет жариялап жіберген. Бұл пакетті 15 сыртқы жүйе орнатып алған, содан кейін модель қолжетімді болып шыққан деректерді ақпараттық қауіпсіздікпен айналысатын нақты компанияның базасына кіру үшін пайдаланған.
Anthropic модельдер жұмысының шамамен 481 млн жазбасын талдап, салыстырмалы немесе одан ауыр басқа оқиғаларды таппады. Компания модельдердің өз бетінше ұзақ мерзімді мақсаттар қалыптастыруға немесе өз әрекеттерін жасыруға тырыспағанын нақтылады. Олар қойылған міндетті тым табанды түрде шешкен және нақты жүйелерге әсер етіп жатқаны туралы белгілерді елемеген.
Ауыр зиян келтіру үшін ЖИ-де сана немесе қасақана зиян келтіру ниетінің болуы міндетті емес. Оған күрделі мақсат, құралдарға қолжетімділік және адамсыз ұзақ уақыт жұмыс істеу мүмкіндігі берілсе жеткілікті: ол таңдалған жол белгіленген шекараларды бұзып жатса да, нәтиже іздеуді жалғастыра береді.
Anthropic басшысы не ұсынды
2026 жылдың қыркүйегінде Anthropic басшысы Дарио Амодеи We Must Pace the Frontier атты эссесін жариялап, онда озық модельдер мүмкіндіктерінің өсуін бәсеңдетуге тікелей шақырды.
Амодеи 2023 жылы үзілісті онша пайдалы деп санамағанын мойындайды. Ол кезде жүйелер ұзақ автономды әрекеттерді нашар орындайтын, ал зерттеушілерге негізінен теорияда ғана бар қауіптерді зерттеу қиынға соғатын.
Қазір заманауи модельдер алдауды, шектеулерді айналып өтуді, қауіпті мінез-құлықты және бақылау жүйелерінің төзімділігін зерттеу үшін жеткілікті материал береді. Қосымша бір немесе екі жылды модельдердің түсіндірілуін жақсартуға, тестілеуге, жұмыс орталарын оқшаулауға және қауіпсіз мінез-құлыққа үйретуге пайдалануға болады.
Амодеи іс-қимылдың үш деңгейін ұсынады. Біріншісі — озық AI-зертханалардың ішінде тәуелсіз бағалаушылардың тұрақты түрде болуы. Олар ішкі қауіпсіздік топтарының рұқсатына тең дәрежеде қолжетімділік алып, ережелердің сақталуын тексеруі және қорытындыларды компанияның редакциялық бақылауынсыз жариялауы тиіс. Anthropic бұл тәжірибені өз ішінде енгізуге дайын екенін мәлімдеді.
Екінші деңгей — демократиялық елдердегі әзірлеушілер арасындағы үйлестіру. Егер модель белгілі бір қауіпті мүмкіндікке ие болса, оны одан әрі әзірлеу немесе шығару тек тиісті қауіпсіздік тексеруінен өткеннен кейін ғана мүмкін болады.
Үшіншісі — халықаралық келісімдер, соның ішінде Қытаймен уағдаластықтар. Олар биологиялық қару жасау үшін ЖИ-ді пайдалануға тыйым салу сияқты тар бағыттардан басталып, содан кейін модельдерді ортақ тестілеуге және автоматтандырылған ЖИ әзірлеу жылдамдығына қойылатын шектеулерге көшуі мүмкін.
Толық жаһандық үзілісті Амодеи екіталай деп санайды. Мұндай келісімнің сақталуын тексеру қиын, ал әзірлемені жасырын түрде жалғастыратын ел немесе компания елеулі экономикалық және әскери артықшылыққа ие болады.
OpenAI да бәсеңдеу мүмкіндігін жоққа шығармайды
OpenAI де ұқсас ұстанымды қолдады. 9 қыркүйекте жарияланған The AI policy window is open құжатында компания ең қуатты модельдерді міндетті түрде реттеуді, тәуелсіз бағалауды, ауыр оқиғаларды жария етуді және халықаралық стандарттарды қолдады.
OpenAI қажетті қауіпсіздік көрсеткіштеріне қол жеткізілмеген жағдайда жүйені әзірлеуді немесе енгізуді бәсеңдету немесе тоқтату керектігін мәлімдеді. Талаптарды барлық әзірлеушілерге емес, негізінен ең көп ресурсты қажет ететін озық модельдерді оқытатын бірнеше компанияға қолдану ұсынылады.
OpenAI бас ғылыми қызметкері Якуб Пахоцкий әзірге ешбір зертхана мінез-құлықты үйлестіру және мониторингтеу міндеттерін максималды масштабтауды ұзақ уақыт жалғастыра алатындай жақсы шешпегенін бағалады. Ол ортақ қауіпсіздік шектері пайда болғанға дейін өз еркімен бәсеңдеулер болады деп күтеді.
ЖИ-ді ЖИ құру үшін пайдалану неліктен алаңдаушылық туғызады
Әзірлеушілер қателерді іздеу, эксперименттер жүргізу, нәтижелерді талдау және зерттеу кодын жазу үшін модельдерді қолдануда. Әзірге адам жалпы процестің авторы болып қала береді, бірақ ЖИ орындайтын жұмыстың үлесі артып келеді.
Неғұрлым мықты модель келесісін тезірек жасауға көмектеседі, ал жаңа нұсқа өзінің ізбасары бойынша жұмысты одан сайын жеделдете түседі. Бұл циклді рекурсивті өзін-өзі жақсарту деп атайды.
Адамдардың қатысуынсыз өзінің одан сайын жетілдірілген нұсқаларын жасайтын толық дербес жүйе әзірге жоқ. OpenAI да, Anthropic те мұны тікелей мойындайды. Бірақ процестің жекелеген элементтері қазірдің өзінде автоматтандырылуда.
Тәуекел жылдамдықта болып отыр. AI-зерттеушілердің қатысуы модельдер буындары арасындағы циклді қысқартуы мүмкін, ал бақылау құралдары дәл осындай жылдамдықпен жетілмеуі ықтимал. Анағұрлым қабілетті модель оның сынақтан өтіп жатқанын жақсырақ түсінеді, нәтижеге апаратын стандартты емес жолдарды табады және қауіпті әрекетті рұқсат етілген нәрсе ретінде сенімді түрде түсіндіре алады.
Қандай қауіптерді бақылауға алып үлгергісі келеді
Әзірлеушілер қауіптердің төрт тобын бөліп көрсетеді. Біріншісі — кибершабуылдар. Озық модельдер осалдықтарды іздеуге, зиянды код жазуға және ұзақ әрекеттер тізбегін орындауға қабілетті. Бұл мүмкіндіктер бағдарламалық жасақтаманы қорғау үшін де пайдалы, бірақ бақылау әлсіз болған кезде күрделі шабуылдардың құнын күрт төмендетеді.
Екіншісі — биологиялық қауіптер. Модель дәрі-дәрмектерді іздеуді жеделдете алады және сонымен бірге қаскөйлерге қауіпті патогендермен жұмыс істеуге көмектесуі мүмкін. Сондықтан әзірлеушілер жаңа жүйелердің биологиялық қару жасауды қаншалықты жеңілдететінін тексеруді ұсынады.
Үшіншісі — дербес автономды агенттерге бақылауды жоғалту. Қарапайым чат-боттың қателігі қате жауаппен аяқталады. Браузерге, терминалға, корпоративтік аккаунттарға немесе бұлтты инфрақұрылымға қолжетімділігі бар агенттің қателігі нақты әрекетке айналуы мүмкін.
Төртіншісі — экономикалық қайта құру: жұмыс орындарының ықтимал қысқаруы, кірістердің қайта бөлінуі және капиталдың, деректер мен есептеу инфрақұрылымының аз ғана компаниялар тобында шоғырлануының күшеюі.
Неліктен компаниялар жеке-жеке бәсеңдей алмайды
Озық модельдерді оқыту халықаралық жарысқа айналды. OpenAI Anthropic-пен және Google DeepMind-пен бәсекелеседі, жабық американдық жүйелер ашық модельдермен жарысады, ал АҚШ Қытайдың алдындағы артықшылығын сақтап қалуға тырысуда.
Егер бір компания сынақтарға қосымша бір жыл жұмсаса, ал бәсекелесі неғұрлым мықты модель шығарса, сақ әзірлеуші клиенттерінен, инвестицияларынан, мамандарынан және есептеу қуаттарына қолжетімділіктен айырылуы мүмкін.
Осылайша «түпсіз шыңырауға қарай жарыс» (race to the bottom) туындайды: тіпті қауіптерді мойындайтын басшылардың өзі бәсекелестерінен де осындай мінез-құлықты күткендіктен, өздері қауіпсіз деп санайтыннан да жылдамырақ қозғалуға мәжбүр болады.
Сондықтан OpenAI мен Anthropic ортақ талаптарға қол жеткізуге ұмтылуда. Егер міндетті тексерулер барлық жетекші зертханаларға қатысты болса, қауіпсіздікке бөлінген қосымша уақыт бір жақты коммерциялық ұтылыс болудан қалады.
Халықаралық деңгейде бұл міндет әлдеқайда күрделі. Американдық компаниялар арасындағы келісім Қытайда немесе басқа елдерде модельдерді әзірлеуді тоқтатпайды. Сондықтан нақты жаһандық үзіліс қауіптің жекелеген түрлері бойынша келісімдерге қарағанда азырақ ықтимал: міндетті сынақтар, оқиғалар туралы хабарлау және тексерілмеген модельдерді маңызды инфрақұрылымға қосуға тыйым салу.
Неліктен компаниялардың бұл үндеулері күмән тудырады
Реттеу қауіпсіздікті арттыруы мүмкін, бірақ сонымен бірге ең ірі ойыншылардың позицияларын нығайта түседі. Озық модельді әзірлеу қазірдің өзінде миллиардтаған инвестицияны, үлкен деректер орталықтарын және сирек мамандарды қажет етеді. Егер бұған күрделі сертификаттауды, тұрақты аудитті және заңдық жауапкершілікті қоссақ, жаңа компаниялардың нарыққа кіруі одан сайын қиындай түседі.
Мүдделер қақтығысы пайда болады. Компания өзі жасауды жалғастырып жатқан технологияның қауіптілігі туралы қоғамға ескерту жасайды, содан кейін бүкіл нарық үшін ережелер әзірлеуге қатысады. Сынаушылар мұны «реттеушілік басып алу» (regulatory capture) деп атайды: қауіпсіздік ірі әзірлеушілерді бәсекелестіктен қорғайтын кедергілер орнатудың дәлеліне айналуы мүмкін.
Бұл тәуекелдер ойдан шығарылған дегенді білдірмейді. OpenAI мен Anthropic-тің оқиғалары компаниялар мен сыртқы зерттеушілер тарапынан құжатталған. Бірақ ережелерді нарықты дамытуға да, оны бақылауға да бір мезгілде мүдделі ұйымдардың мәлімдемелеріне ғана сүйеніп құруға болмайды.
ЖИ дамуы шынымен бәсеңдей ме
Жарыстың толық тоқтауын күтудің қажеті жоқ. Тіпті Дарио Амодеи де «pacing» модельдерді оқытуды тоқтату дегенді білдірмейтінін түсіндіреді. Жылдамдықты шартты ету ұсынылады: егер бақылау, тестілеу және қорғау оның мүмкіндіктерімен қатар үлгерсе ғана, жаңа жүйе әрі қарай дами алады.
Іс жүзінде бәсеңдеу нақты модельді іске қосуды кейінге қалдыруды, оқытудың жекелеген кезеңін тоқтата тұруды, тәжірибелік жүйені интернетке қосуға тыйым салуды, автономды жұмысты шектеуді, міндетті тәуелсіз тексеруді немесе биологиялық және кибернетикалық қауіптермен байланысты мүмкіндіктерге қолжетімділікті жабуды білдіруі мүмкін.
Бұл шаралардың бір бөлігі қазірдің өзінде қолданылуда. OpenAI Hugging Face оқиғасынан кейін жекелеген зерттеу процестерін тоқтатты. Anthropic тәуелсіз тергеуге METR-ді тартты және сыртқы бағалаушыларға өз қауіпсіздік жүйелеріне тұрақты қолжетімділік беруге ниетті.
Бірақ экономикалық ынталандырулар ешқайда жоғалған жоқ. Компаниялар есептеу қуаттарын арттыруды жалғастыруда, ал мемлекеттер ЖИ-дегі көшбасшылықты ұлттық қауіпсіздік мәселесі ретінде қарастырады. Индустрия бір мезгілде тексерілген мүмкіндіктерді коммерциялық пайдалануды жеделдетіп, ең алдыңғы шептегі жүйелермен неғұрлым сақ жұмыс істейтін болады.
Бұл пікірталас Қазақстан үшін нені білдіреді
Қазақстан OpenAI, Anthropic немесе Google DeepMind деңгейіндегі модельдерді оқытуға қатыспайды, бірақ осы компаниялар мен олардың шыққан елдері қалыптастыратын ережелерге тәуелді болады.
Егер талаптар қатаңдатылса, қазақстандық компаниялар жекелеген мүмкіндіктерге қол жеткізуде шектеулерге, клиенттерді қосымша тексеруге, деректерді өңдеудің жаңа шарттарына және корпоративтік AI-сервистердің қымбаттауына тап болуы мүмкін.
Мемлекеттік органдарға, банктерге, телекоммуникациялық компанияларға және маңызды инфрақұрылым операторларына AI-агенттерді енгізу кезінде модель жауаптарының сапасын бағалау ғана жеткіліксіз. Оның қандай деректер мен құралдарға қол жеткізе алатынын, қандай әрекеттерді өздігінен орындай алатынын, операциялар журналының қайда сақталатынын және жүйені кім дереу тоқтата алатынын бақылау қажет.
Қазақстанның практикалық міндеті — өзіндік аудит, жауапкершілік және деректерді қорғау ережелері пайда болғанға дейін автономды жүйелерді маңызды процестерге асығыс қоспау.
Жарысты тоқтату мүмкін емес, бірақ оның ережелері өзгеруі мүмкін
Қазіргі пікірталас 2023 жылғы ескертулерден сол арқылы ерекшеленеді: әзірлеушілер AI-агенттердің қауіпті мінез-құлқының алғашқы нақты мысалдарына тап болып, зертханалар ішіндегі жекелеген процестерді бәсеңдете бастады.
Толық халықаралық үзіліс екіталай болып қала береді. Ол үшін АҚШ, Қытай және басқа елдер арасында тексерілетін уағдаластықтар қажет болар еді, ал келісімді бұзу бір тарапқа үлкен артықшылық берер еді.
Неғұрлым шынайы сценарий — технологиялық бақылау-өткізу пункттерінің жүйесі. Модельдің мүмкіндіктері неғұрлым қауіпті болса, ол соғұрлым қатаң сынақтардан өтуі тиіс. Егер әзірлеуші жүйенің басқарылатынын дәлелдей алмаса, оқытудың нақты кезеңі, құралдарға қолжетімділік немесе релиз тоқтатылуы керек.
OpenAI мен Anthropic одан да қуатты ЖИ жасау идеясынан бас тартып жатқан жоқ. Олар бақылау жүйелері модельдердің өзінен түбегейлі артта қалмауы үшін уақыт ұтып алуға тырысуда. Мұның нәтиже берер-бермесі компаниялардың өз еркімен берген уәделеріне емес, тәуелсіз тексеруге, оқиғаларды міндетті түрде жария етуге және мемлекеттердің тым болмаса ең қауіпті мүмкіндіктер бойынша ережелерді келісе алу қабілетіне байланысты болмақ.
