«Яндекс» научил поиск по картинкам одновременно понимать фото и текст

«Яндекс» научил поиск по картинкам видеть и читать одновременно

«Яндекс» обновил поиск по изображениям, добавив одновременный анализ самой картинки и текста, который её сопровождает. Новая технология позволяет точнее определять содержание изображений, особенно в тех случаях, когда подпись или описание не соответствуют тому, что показано на фото. Раньше системы полагались преимущественно на метаданные и подписи, из-за чего изображения с несоответствующим описанием терялись в выдаче.

В основе обновления — мультимодальная технология: специалисты обучили большую модель, а затем создали несколько компактных моделей для различных этапов обработки данных. Самые ресурсоёмкие операции выполняются заранее, благодаря чему новый алгоритм работает в реальном времени без увеличения времени формирования результатов. Это особенно важно для массового поиска, где каждая миллисекунда имеет значение.

Теперь алгоритм сверяет визуальное содержимое с текстом страницы, что критично для новостных фотографий, мемов и инфографики, где подпись может быть ироничной или неполной. Например, если на кар�инке изображён кот, а в подписи написано «собака», старый алгоритм мог бы выдать ошибочный результат, а новый — распознаёт несоответствие и скорректирует выдачу. Это особенно важно для визуальных поисковых запросов, связанных с товарами, когда фото и текстовое описание могут не совпадать.

Для пользователей это означает более точную выдачу: поиск по картинкам становится осмысленным, а не просто сопоставлением по меткам. Для владельцев сайтов — повод внимательнее относиться к alt-текстам и подписям: корректные описания теперь работают в пользу релевантности, а не наоборот. Обновление также открывает новые возможности для визуального поиска, который может использоваться в образовании, журналистике и e-commerce.

«Яндекс» продолжает укреплять свои позиции в области мультимодальных технологий. Этот шаг — не изолированное улучшение, а часть стратегии по созданию систем, которые понимают контент так же, как человек: одновременно видят и читают. В будущем такие алгоритмы могут стать основой для более сложных сценариев, например, поиска по видео или интерактивной графике. Пока же пользователи получают более умный и точный инструмент для работы с изображениями.

Читайте также: