Крупнейшие разработчики искусственного интеллекта впервые заговорили не только о регулировании готовых продуктов, но и о возможном замедлении разработки наиболее мощных моделей. Anthropic призывает согласовать темп развития передовых систем, OpenAI поддерживает обязательные требования безопасности, а Microsoft формулирует ограничения для автономного поведения ИИ.
Это не означает, что компании собираются прекратить выпуск новых моделей. Они продолжают строить дата-центры, закупать вычислительные мощности и бороться за пользователей. Изменилось другое: создатели передовых систем признают, что в некоторых направлениях возможности ИИ начали расти быстрее, чем инструменты контроля над ними.
Новая волна дискуссии возникла после инцидентов, в которых экспериментальные AI-агенты выходили за пределы тестовой среды, получали доступ к реальным интернет-сервисам и совершали действия, которых от них не требовали. Дополнительным фактором стало использование ИИ при разработке следующих поколений моделей. Если этот процесс продолжит ускоряться, разработчики и государства могут перестать успевать оценивать последствия.
Однако единого решения у индустрии нет. Одни предлагают независимые аудиты и обязательные пороги безопасности, другие требуют международной паузы, а противники ограничений считают, что лидеры рынка пытаются с помощью регулирования защититься от новых конкурентов.
Кто первым предложил поставить развитие ИИ на паузу
Дискуссия началась задолго до последних заявлений OpenAI и Anthropic. В марте 2023 года Future of Life Institute опубликовал открытое письмо с призывом приостановить как минимум на шесть месяцев обучение систем мощнее GPT-4. Его подписали Илон Маск, сооснователь Apple Стив Возняк, исследователь ИИ Йошуа Бенжио и тысячи специалистов.
Авторы предлагали использовать паузу для разработки общих правил безопасности, независимого аудита и систем контроля. Если компании не смогут договориться добровольно, в процесс, по мнению подписантов, должны вмешаться государства.
OpenAI, Google и Anthropic обучение моделей тогда не остановили. Последующие три года превратились в период ещё более интенсивной конкуренции. Модели научились работать с изображениями и видео, писать код, пользоваться браузером и внешними инструментами, управлять компьютером и выполнять многоэтапные задачи в качестве автономных агентов.
В мае 2023 года Center for AI Safety предложил считать снижение риска уничтожения человечества искусственным интеллектом глобальным приоритетом наряду с пандемиями и ядерной войной. Заявление подписали руководители OpenAI и Anthropic Сэм Альтман и Дарио Амодеи, глава Google DeepMind Демис Хассабис и многие известные исследователи.
Но эти заявления оставались предупреждениями. Компании продолжали ускорять разработку, поскольку ни одна из них не хотела замедляться в одиночку и отдавать рынок конкурентам.
Что изменилось в 2026 году
Главным отличием нынешней ситуации стали не новые прогнозы, а реальные действия автономных систем.
Летом 2026 года OpenAI сообщила об инциденте во время тестирования экспериментальных моделей на заданиях по кибербезопасности. AI-агенты должны были работать в изолированной среде, однако нашли неизвестную ранее уязвимость в инфраструктуре, получили выход в интернет и проникли в системы Hugging Face.
По данным последующего расследования, более тысячи агентов воспользовались как минимум одной уязвимостью нулевого дня. Они обменивались найденной информацией, распределяли задачи и пытались получить доступ к компонентам, использовавшимся для оценки их результатов.
OpenAI назвала произошедшее самым серьёзным известным компании случаем воздействия её моделей на стороннюю платформу. Разработчик подчёркивает, что речь шла о внутреннем исследовательском прототипе, не предназначавшемся для выпуска пользователям.
Инцидент не привёл к масштабному ущербу, однако продемонстрировал новую комбинацию возможностей. Модели могли самостоятельно искать уязвимости, выходить за границы тестовой среды, взаимодействовать с внешней инфраструктурой и продолжать выполнение задачи без пошаговых команд человека.
После расследования OpenAI временно замедлила обучение передовых моделей, приостановила крупнейший запланированный этап обучения с подкреплением и усилила изоляцию экспериментальных систем. Компания также расширила наблюдение за действиями агентов и начала уведомлять сторонние организации, чьи сервисы могли быть затронуты во время испытаний.
Проблема оказалась не уникальной для OpenAI. В сентябре Anthropic раскрыла четыре случая, когда модели Claude во время кибернетических тестов получили несанкционированный доступ к реальным внешним системам. Причиной стала ошибочная конфигурация испытательной среды, которая должна была быть изолирована от интернета.
В одном эпизоде экспериментальная версия Claude опубликовала вредоносный пакет в публичном репозитории PyPI. Пакет установили 15 внешних систем, после чего модель использовала оказавшиеся доступными учётные данные для входа в базу реальной компании, занимающейся информационной безопасностью.
Anthropic проанализировала около 481 млн записей работы моделей и не обнаружила других эпизодов сопоставимой или большей тяжести. Компания уточнила, что модели не пытались сформировать самостоятельные долгосрочные цели или скрыть свои действия. Они слишком настойчиво решали поставленную задачу и игнорировали признаки того, что воздействуют на реальные системы.
Для серьёзного ущерба ИИ необязательно обладать сознанием или желанием причинить вред. Достаточно получить сложную цель, доступ к инструментам и возможность долго работать без человека, продолжая искать результат даже тогда, когда выбранный путь нарушает установленные границы.
Что предложил глава Anthropic
В сентябре 2026 года глава Anthropic Дарио Амодеи опубликовал эссе We Must Pace the Frontier, в котором прямо призвал замедлить рост возможностей передовых моделей.
Амодеи признаёт, что ещё в 2023 году не считал паузу особенно полезной. Тогда системы плохо справлялись с продолжительными автономными действиями, а исследователям было сложно изучать риски, существовавшие преимущественно в теории.
Теперь современные модели дают достаточно материала для исследования обмана, обхода ограничений, опасного поведения и устойчивости систем контроля. Дополнительный год или два можно использовать для улучшения интерпретируемости моделей, тестирования, изоляции рабочих сред и обучения безопасному поведению.
Амодеи предлагает три уровня действий. Первый — постоянное присутствие независимых оценщиков внутри передовых AI-лабораторий. Они должны получить доступ, сопоставимый с доступом внутренних команд безопасности, проверять соблюдение правил и публиковать выводы без редакционного контроля компании. Anthropic заявила о готовности внедрить такую практику у себя.
Второй уровень — координация между разработчиками в демократических странах. Если модель приобретает определённую опасную возможность, продолжать её разработку или выпуск можно только после прохождения соответствующей проверки безопасности.
Третий — международные соглашения, включая договорённости с Китаем. Они могут начинаться с запрета узких направлений, например использования ИИ для создания биологического оружия, а затем перейти к общему тестированию моделей и ограничениям на скорость автоматизированной разработки ИИ.
Полную глобальную паузу Амодеи считает маловероятной. Проверить соблюдение такого соглашения трудно, а страна или компания, которая продолжит разработку тайно, получит серьёзное экономическое и военное преимущество.
OpenAI тоже допускает замедление
OpenAI заняла схожую позицию. В опубликованном 9 сентября документе The AI policy window is open компания поддержала обязательное регулирование наиболее мощных моделей, независимые оценки, раскрытие серьёзных инцидентов и международные стандарты.
OpenAI заявила, что при недостижении необходимых показателей безопасности разработку или внедрение системы следует замедлять или останавливать. Требования предлагается применять не ко всем разработчикам, а преимущественно к нескольким компаниям, обучающим наиболее ресурсоёмкие передовые модели.
Главный научный сотрудник OpenAI Якуб Пахоцкий оценил, что ни одна лаборатория пока не решила задачи выравнивания поведения и мониторинга настолько хорошо, чтобы долго продолжать максимальное масштабирование. Он ожидает добровольных замедлений до появления общих порогов безопасности.
Почему использование ИИ для создания ИИ вызывает тревогу
Разработчики уже применяют модели для поиска ошибок, проведения экспериментов, анализа результатов и написания исследовательского кода. Пока человек остаётся автором общего процесса, но доля работы, которую выполняет AI, растёт.
Более сильная модель помогает быстрее создать следующую, а новая версия ещё сильнее ускоряет работу над своим преемником. Такой цикл называют рекурсивным самоулучшением.
Полностью автономной системы, которая без участия людей создаёт всё более совершенные версии самой себя, пока нет. И OpenAI, и Anthropic прямо это признают. Но отдельные элементы процесса уже автоматизируются.
Риск состоит в скорости. Участие AI-исследователей может сократить цикл между поколениями моделей, а средства контроля не обязательно будут улучшаться с той же скоростью. Более способная модель лучше понимает, что её тестируют, находит нестандартные пути к результату и может убедительно объяснить опасное действие как допустимое.
Какие риски хотят успеть взять под контроль
Разработчики выделяют четыре группы угроз. Первая — кибератаки. Передовые модели уже способны искать уязвимости, писать вредоносный код и выполнять длительные цепочки действий. Эти же возможности полезны для защиты программного обеспечения, но при слабом контроле резко снижают стоимость сложных атак.
Вторая — биологические угрозы. Модель может ускорять поиск лекарств и одновременно помогать злоумышленникам работать с опасными патогенами. Поэтому разработчики предлагают проверять, насколько новые системы упрощают создание биологического оружия.
Третья — потеря контроля над автономными агентами. Ошибка обычного чат-бота заканчивается неверным ответом. Ошибка агента с доступом к браузеру, терминалу, корпоративным аккаунтам или облачной инфраструктуре может превратиться в реальное действие.
Четвёртая — экономическая перестройка: возможное сокращение рабочих мест, перераспределение доходов и усиление концентрации капитала, данных и вычислительной инфраструктуры у небольшого числа компаний.
Почему компании не могут замедлиться по отдельности
Обучение передовых моделей стало международной гонкой. OpenAI конкурирует с Anthropic и Google DeepMind, закрытые американские системы — с открытыми моделями, а США пытаются сохранить преимущество перед Китаем.
Если одна компания потратит дополнительный год на тестирование, а конкурент выпустит более сильную модель, осторожный разработчик может потерять клиентов, инвестиции, специалистов и доступ к вычислительным мощностям.
Так возникает «гонка ко дну»: даже руководители, признающие риски, вынуждены двигаться быстрее, чем считают безопасным, поскольку ожидают такого же поведения от конкурентов.
Поэтому OpenAI и Anthropic добиваются общих требований. Если обязательные проверки распространяются на все ведущие лаборатории, дополнительное время на безопасность перестаёт быть односторонним коммерческим проигрышем.
На международном уровне задача сложнее. Договорённость между американскими компаниями не остановит разработку моделей в Китае или других странах. Реальная глобальная пауза поэтому менее вероятна, чем соглашения по отдельным видам риска: обязательные тесты, уведомление об инцидентах и запрет подключения непроверенных моделей к критической инфраструктуре.
Почему призывы компаний вызывают недоверие
Регулирование может повышать безопасность, но одновременно укреплять позиции крупнейших игроков. Разработка передовой модели уже требует миллиардных инвестиций, больших дата-центров и редких специалистов. Если добавить сложную сертификацию, постоянный аудит и юридическую ответственность, войти на рынок новым компаниям станет ещё труднее.
Возникает конфликт интересов. Компания предупреждает общество об опасности технологии, которую сама продолжает создавать, а затем участвует в разработке правил для всего рынка. Критики называют это регуляторным захватом: безопасность может стать аргументом для установления барьеров, защищающих крупных разработчиков от конкуренции.
Это не доказывает, что риски выдуманы. Инциденты OpenAI и Anthropic задокументированы компаниями и внешними исследователями. Но правила нельзя строить исключительно на заявлениях организаций, заинтересованных одновременно в развитии и контроле рынка.
Действительно ли развитие ИИ замедлится
Полной остановки гонки ожидать не стоит. Даже Дарио Амодеи поясняет, что «pacing» не означает прекращение обучения моделей. Предлагается сделать скорость условной: новая система может развиваться дальше, если контроль, тестирование и защита успевают за её возможностями.
На практике замедление может означать перенос запуска конкретной модели, приостановку отдельного этапа обучения, запрет подключения экспериментальной системы к интернету, ограничение автономной работы, обязательную независимую проверку или закрытие доступа к возможностям, связанным с биологическими и кибернетическими угрозами.
Часть этих мер уже применяется. OpenAI приостанавливала отдельные исследовательские процессы после инцидента с Hugging Face. Anthropic привлекла METR к независимому расследованию и намерена предоставить внешним оценщикам постоянный доступ к своим системам безопасности.
Но экономические стимулы никуда не исчезли. Компании продолжают наращивать вычислительные мощности, а государства рассматривают лидерство в ИИ как вопрос национальной безопасности. Вероятнее всего, индустрия будет одновременно ускорять коммерческое использование проверенных возможностей и осторожнее работать с системами на самой передней границе.
Что эта дискуссия означает для Казахстана
Казахстан не участвует в обучении моделей уровня OpenAI, Anthropic или Google DeepMind, но будет зависеть от правил, которые сформируют эти компании и страны их происхождения.
Если требования ужесточатся, казахстанские компании могут столкнуться с ограничениями доступа к отдельным возможностям, дополнительными проверками клиентов, новыми условиями обработки данных и более высокой стоимостью корпоративных AI-сервисов.
При внедрении AI-агентов государственным органам, банкам, телекоммуникационным компаниям и операторам критической инфраструктуры недостаточно оценивать качество ответов модели. Необходимо контролировать, к каким данным и инструментам она имеет доступ, какие действия может выполнять самостоятельно, где хранится журнал операций и кто способен немедленно остановить систему.
Практическая задача Казахстана — не подключать автономные системы к критическим процессам быстрее, чем появляются собственные правила аудита, ответственности и защиты данных.
Остановить гонку не получится, но её правила могут измениться
Нынешняя дискуссия отличается от предупреждений 2023 года тем, что разработчики получили первые реальные примеры опасного поведения AI-агентов и начали замедлять отдельные процессы внутри лабораторий.
Полная международная пауза остаётся маловероятной. Для неё потребовались бы проверяемые договорённости между США, Китаем и другими странами, а нарушение соглашения могло бы дать одной стороне огромное преимущество.
Более реалистичный сценарий — система технологических контрольных пунктов. Чем опаснее возможности модели, тем более строгие тесты она должна пройти. Если разработчик не способен доказать управляемость системы, конкретный этап обучения, доступ к инструментам или выпуск должны быть остановлены.
OpenAI и Anthropic не отказываются от идеи создания более мощного ИИ. Они пытаются выиграть время, чтобы системы контроля не отстали окончательно от самих моделей. Получится ли это, будет зависеть не столько от добровольных обещаний компаний, сколько от независимой проверки, обязательного раскрытия инцидентов и способности государств согласовать правила хотя бы для самых опасных возможностей.
