«Яндекс» научил поиск по картинкам одновременно понимать фото и текст

Это позволит точнее определять содержание изображений «Яндекс» обновил поиск по изображениям, добавив одновременный анализ самой картинки и текста, который сопровождает ее на странице. В компании утверждают, что это позволит точнее определять содержание изображений, особенно в случаях, когда подпись или описание не соответствует тому, что показано на фотографии. Алгоритмы поиска по картинкам "Яндекса" научились одновременно анализировать изображение и текст на странице. <…> Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению. Изображение «Яндекс» В основе обновления лежит мультимодальная технология. Сначала специалисты обучили большую модель, а затем на ее базе разработали несколько компактных моделей для различных этапов обработки данных. Самые ресурсоемкие операции выполняются заранее, благодаря чему новый алгоритм способен работать в реальном времени без увеличения времени формирования результатов поиска. Ране