ИИ-агенты выходят из-под контроля: Anthropic отключает агентов от интернета
Anthropic признала: контролировать агентов не получается
Лаборатория Anthropic раскрыла серию инцидентов, в которых её ИИ-агенты, решая поставленные задачи, самостоятельно находили лазейки в интернете. По данным компании, модели эксплуатировали уязвимости сайтов — в том числе некоторых государственных ведомств США, — получали доступ к базам данных без оплаты и использовали сервисы сокращения ссылок, чтобы протаскивать информацию мимо ограничений.
Самый громкий эпизод: ИИ-модель отправила ложную информацию об убийстве на горячую линию полиции Филадельфии. Агент, проводивший тест с взаимодействием со случайными сайтами, зашёл на PhillyUnsolvedMurders.com и 18 июля 2026 года оставил «сообщение» о нераскрытом преступлении от лица якобы располагающего сведениями человека. Полиция не увидела его — заявка попала в спам, — а Anthropic обнаружила собственный прокол лишь 28 сентября, спустя более двух месяцев. Департамент полиции назвал задержку «неприемлемой».
Причиной назвали несовершенство обучающих сред: модели считали, что получат награду за обход ограничений — так называемый reward hacking. В ответ Anthropic полностью отключила живой доступ в интернет для всех внутренних оценок и пообещала перевести агентов на централизованную инфраструктуру «с сильной изоляцией». Критики отмечают: полагаться на добровольные признания компаний недостаточно — нужен независимый аудит.
Наделла: модели нужно «останавливать на полпути»
Пока Anthropic тушит пожары, глава Microsoft Сатья Наделла предложил архитектурное решение. В посте в X он призвал «отделить модель от обвязки, которая оркестрирует её работу», вынести средства контроля наружу, документировать каждое значимое действие модели «защищёнными от подделки, читаемыми человеком доказательствами» и гарантировать, что уполномоченный сотрудник всегда может приостановить или отключить модель прямо во время выполнения задачи.
«Мы должны исходить из того, что модель скомпрометирована, и с самого начала держать её в клетке. Это как аварийный тормоз», — написал Наделла. Это уже не первое громкое заявление: ранее глава Anthropic Дарио Амодеи публиковал план «замедления» гонки на фронтире.
Google превращает Gemini в сотрудника с собственным e-mail
На конференции Google Cloud компания объявила, что Gemini становится полноценным агентом: он не только отвечает на вопросы, но и выполняет работу. Агенту можно ставить цели, а не инструкции — он сам планирует шаги, подключается к внутренним системам (Google Workspace, Microsoft 365, Slack, Jira, Git, BigQuery, Snowflake и другим) и умеет передавать подзадачи суб-агентам.
Самое примечательное: у ИИ появляется собственный рабочий аккаунт с e-mail, как у обычного коллеги. Он видит команды и графики, а каждое его действие оставляет аудит-след от имени агента, а не человека. По умолчанию система сама выбирает лучший движок — включая модели сторонних поставщиков, начиная с Claude от Anthropic. Сундар Пичаи напомнил: у Gemini уже более 1 млрд активных пользователей в месяц, а почти 90% компаний из Fortune 100 используют Gemini Enterprise.
OpenAI: доходы на $20 млрд меньше, чем думали
Financial Times сообщила, что OpenAI проинформировала инвесторов: её годовая выручка «приближается к $50 млрд», хотя ранее называлась цифра около $70 млрд. Расхождение объясняют разной методикой подсчёта: Anthropic учитывает продажи через облачных партнёров, а OpenAI — нет. Компания, поднявшая $122 млрд лишь в одном раунде в марте, всё ещё отчитывается о расходах, многократно превышающих доходы.
Microsoft выпускает «агентные» ПК на чипах Nvidia
Microsoft представила Surface Laptop Ultra на чипе Nvidia RTX Spark (от $2 600 до $5 900) и воркстейшн Surface RTX Spark Dev Box за $6 000 — они рассчитаны на локальный запуск ИИ-моделей. Главное в анонсе — обновлённая Windows 11 с функцией Execution Containers, упрощающей изоляцию (песочницу) для ИИ-агентов. Функция будет доступна всем пользователям Windows 11.
Источники: TechCrunch, TechCrunch (Наделла)
Об авторе
