«Яндекс» обновил поиск по изображениям, добавив одновременный анализ самой картинки и текста, который сопровождает ее на странице.
В компании утверждают, что это позволит точнее определять содержание изображений, особенно в случаях, когда подпись или описание не соответствует тому, что показано на фотографии.
Алгоритмы поиска по картинкам “Яндекса” научились одновременно анализировать изображение и текст на странице. <…> Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению.
В основе обновления лежит мультимодальная технология. Сначала специалисты обучили большую модель, а затем на ее базе разработали несколько компактных моделей для различных этапов обработки данных. Самые ресурсоемкие операции выполняются заранее, благодаря чему новый алгоритм способен работать в реальном времени без увеличения времени формирования результатов поиска.
Об авторе
