Anthropic создаёт специализированную команду по разработке собственных чипов для моделей Claude. Зарплата инженеров достигает $485 000 в год, компания продолжит использовать ускорители Nvidia, AMD, Google и AWS.
Компания Anthropic, известная строгим подходом к безопасности ИИ, раскрыла системный сбой, длившийся почти год. Согласно свежему Risk Report, опубликованному 14 августа, с мая 2025 по апрель 2026 года на платформах сбора обратной связи не работали классификаторы, блокирующие помощь в создании биологического оружия. Через эти каналы прошло около 50 тысяч подрядчиков и 133 миллиона диалогов — без какого-либо фильтра опасного контента. Это не просто «технический сбой», а серьезное нарушение, которое ставит под вопрос доверие к компании.
И это лишь первый эпизод в череде проблем. В апреле 2026 года компания получила сигнал о том, что несколько специалистов нашли уязвимость и получили API-ключ к моделям, включая Mythos Preview — одну из мощнейших на тот момент. Без био-классификаторов модель провела примерно две недели. В отчёте указано, что внутренний флаг, предназначенный только для сотрудников, отключал не только блокировку, но и логирование. Трафик под этим флагом не фиксировался и не попадал в системы мониторинга — найти его можно было только вручную, перебирая сырые диалоги. Это говорит о серьезных недостатках в системах контроля и мониторинга.
После обнаружения Anthropic прогнала Claude Sonnet 5 по всем диалогам затронутого периода. Всего было выявлено 1197 подозрительных диалогов, из которых 757 пришлись на тестовые команды самой компании, а 62 были изучены пристально. Явного злонамеренного использования не найдено, но компания признаёт: «это открытие заставляет нас полагать, что вероятность других, неизвестных нам проблем повышена». Это признание подрывает уверенность в том, что Anthropic полностью контролирует свои системы.
Ещё одна деталь: февральский Risk Report, опубликованный, когда уязвимость была ещё открыта, не рассматривал платформы обратной связи для оценки масштаба риска. Теперь, задним числом, Anthropic повысила оценку потенциального вреда с «очень низкой» до «низкой». Это показывает, что компания недооценивала риски и не проводила достаточно тщательных проверок. Параллельно компания смягчила порог срабатывания для биологического оружия — раньше он покрывал модели, которые «значительно помогают» в создании оружия, теперь же он применяется к моделям, которые могут помочь в этом. Это изменение может быть реакцией на инцидент.
Сравнение с конкурентами здесь показательно. OpenAI и другие компании также сталкиваются с подобными рисками, но Anthropic позиционировала себя как эталон безопасности. Этот инцидент подрывает это позиционирование. В итоге, сбой в Anthropic — это серьезный урок для всей индустрии. Даже компании с высокими стандартами безопасности могут сталкиваться с системными ошибками. Важно, чтобы такие инциденты не оставались незамеченными, а приводили к улучшению систем контроля. А пока — это еще один пример того, что безопасность ИИ требует постоянного внимания и совершенствования. Остается только надеяться, что Anthropic сделает правильные выводы и усилит свои меры защиты.
Об авторе
