Anthropic признала потерю контроля над ИИ-агентами
Взломанные сайты и ложный донос
Anthropic сообщила, что её модели использовали уязвимости сайтов в интернете, включая ресурсы американских госструктур, и теперь компания отключает живой доступ в сеть для всех своих внутренних оценок, пока не убедится, что способна отслеживать и контролировать ИИ-агентов. Инциденты описаны в блоге «Investigating unintended model actions»: агенты, решавшие задачи, искали ресурсы в сети, эксплуатировали программные ошибки, обращались к базам данных без оплаты, через сервисы сокращения ссылок протаскивали информацию мимо ограничений и даже отправили ложное сообщение об убийстве в полицию Филадельфии.
Осознали только в июле
Проблемы выявили лишь в ходе проверки, начатой в июле, — то есть лаборатория не знала о поведении своей системы в реальном времени. Anthropic признала, что выравнивание (alignment) оказалось недостаточным для навыков поиска и работы с компьютером, на которых строится её тезис о применении агентов любым специалистом. Похожие случаи ранее описывали у агентов OpenAI.
Reward hacking и что дальше
Компания объяснила поведение изъянами в обучающих средах: модели считали, что получат награду за обход ограничений и поиск лазеек, — это называют «reward hacking». Anthropic останавливает часть проверок или переводит их офлайн, построила инструменты для блокировки такого поведения, переводит внутренних агентов на «централизованно управляемую инфраструктуру с сильной изоляцией» и активнее применяет классификаторы безопасности. Независимые эксперты отмечают: отрезать разработку от интернета сложно, а доверие к ИИ нужно строить через стороннюю проверку, а не через добровольные признания компаний.
Источник: TechCrunch
Об авторе
