OpenAI перенесла функции закрытого браузера Atlas в расширение ChatGPT для Chrome. Теперь ИИ может анализировать страницы, отвечать на вопросы и выполнять переводы.
Исследование платформы TollBit показало, что в первой половине 2026 года поисковый агент ChatGPT-User обращался к страницам, закрытым для него через robots.txt, в 54% случаев. Среди европейских ресурсов этот показатель оказался самым высоким в выборке: для сравнения, у Bytespider он составил 48%, а у PerplexityBot — 42%. В целом по обеим сторонам Атлантики около 15% всех обращений ИИ-ботов приходилось на адреса с явным запретом в файле robots.txt. Это не просто «техническая особенность», а системная проблема, которая ставит под вопрос эффективность robots.txt как инструмента контроля доступа.
Важно понимать, что эти цифры не отражают положение дел во всём интернете — речь идёт исключительно о трафике, который TollBit зафиксировала в собственной наблюдаемой сети. Компания считает успешным обходом любой запрос к URL, который издатель явно закрыл для соответствующего бота. Таким образом, статистика фиксирует сам факт доступа к запрещённым страницам, но не раскрывает причины каждого конкретного запроса и не исключает возможность подмены идентификатора бота. Это делает данные интересными, но не окончательными.
Ключевая особенность кроется в предназначении ChatGPT-User. В документации OpenAI указано, что этот агент активируется только тогда, когда пользователь задаёт вопрос, для ответа на который требуется получить содержимое конкретной веб-страницы. Разработчики специально подчёркивают: поскольку запрос инициируется действием человека, а не автоматическим сканированием, правила robots.txt могут не применяться. Это принципиально отличает ChatGPT-User от других инструментов OpenAI — OAI-SearchBot, который оценивает возможность использования контента в поисковых ответах, и GPTBot, предназначенного для сбора данных для обучения базовых моделей. Это различие создает серую зону в интерпретации robots.txt.
Из этого следует, что robots.txt никогда не был техническим барьером, защищающим страницу от получения содержимого. Он лишь передаёт автоматизированным системам рекомендацию или требование владельца сайта. Следовательно, обход этого запрета не является взломом или нарушением безопасности в техническом смысле. Однако для издателей это создает проблему: их контент может использоваться без разрешения, даже если они явно запретили это. Сравнение с конкурентами здесь показательно. Googlebot и другие традиционные поисковые роботы в основном соблюдают robots.txt, но боты для ИИ-обучения, такие как ChatGPT-User, действуют иначе. Это может привести к тому, что издатели начнут блокировать доступ к своему контенту для всех ботов, что ограничит развитие ИИ-технологий.
В итоге, ситуация с ChatGPT-User поднимает важные вопросы о балансе между открытостью интернета и контролем над использованием контента. OpenAI, в свою очередь, должна либо изменить свой подход, либо более четко объяснить издателям, как работает их бот. А пока — это еще один пример того, как быстро развивающиеся технологии обходят традиционные механизмы контроля, создавая новые вызовы для владельцев сайтов и регуляторов. Остается только наблюдать, как будут развиваться эти отношения и какие новые инструменты появятся для защиты контента.
Об авторе
