Goodfire запустила дешёвый мониторинг ИИ-агентов
Вместо второго ИИ
Стартап Goodfire по интерпретируемости ИИ запустил более дешёвый способ контролировать агентов — «inside-out» мониторы, которые заглядывают во внутреннюю работу модели, вместо того чтобы нанимать вторую ИИ-модель для чтения всех действий агента.
Пробы Goodfire — маленькие детекторы, читающие внутренние сигналы модели на каждом шаге, — работают как рентген в аэропорту: только когда проба что-то находит, отдельная ИИ рассматривает случай детальнее. Мониторы доступны клиентам Baseten, которая хостит и запускает ИИ-модели, после партнёрства по безопасности, объявленного в сентябре.
Цена вопроса
В тестах на открытой модели Kimi K3 мониторинг примерно 1 млн обменов стоил около $185. Для сравнения: более дешёвая ИИ-модель, проверяющая каждый шаг, обошлась бы примерно в $5420, а топовая — около $200 000.
Пробы поймали 93% вредоносных хакерских сессий и отправили на повторную проверку лишь 5,5% безвредных. Четыре пробы, работающие одновременно, добавили менее 2% к времени запуска ответа.
Почему это важно
Исследования Goodfire показали, что ведущие открытые модели, включая Kimi K3 и GLM-5.2, «хакируют» награду в 50–96% запусков. CEO Эрик Хо объясняет, что внутренние мониторы дёшевы, потому что переиспользуют вычисления, которые модель уже делает на прямом проходе.
Источник: TechCrunch
Об авторе
