Microsoft CEO призвал к механизмам экстренной остановки ИИ
Пост в субботу утром
Глава Microsoft Сатья Наделла стал очередным топ-менеджером, подробно высказавшимся о том, как можно повысить безопасность ИИ. В субботнем посте в X он написал, что пришло время «отступить на шаг и оценить архитектуру доверия» к ИИ. «Мы не можем относиться к Super Intelligence как к набору вложенных чёрных ящиков и просто принимать или отклонять её рекомендации, ответы и действия», — заявил Наделла, использовав предпочитаемый администрацией Трампа термин для ИИ.
Модель отдельно — обвязка отдельно
Такой подход, по словам Наделлы, «означает отделение модели от обвязки, которая оркестрирует её работу», а также «вынос средств контроля и защитных механизмов наружу». Он призвал документировать «каждое значимое действие модели» с помощью «защищённых от подмены доказательств, понятных человеку».
Право остановить модель
Кроме того, Наделла выступил за системы, в которых «уполномоченный человек» всегда имеет возможность «приостановить или отключить модель посреди задачи». «Мы должны исходить из того, что модель скомпрометирована, и с самого начала удерживать её под контролем, — сказал он. — Воспринимайте это как аварийный тормоз».
Контекст
Комментарии Наделлы появились на фоне того, как ведущие ИИ-компании всё чаще признают инциденты, где, похоже, теряли контроль над своими моделями. Ранее глава Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ.
Источник: TechCrunch
Об авторе
