Пока большая часть поисковых систем, в том числе, работающих с мультимедиа объектами, базируется на тегах и других текстовых описаниях. Но это означает, что в поисковой выдаче доступна только та информация, которая текстуально описана и размечена — и только для ищущих на том языке, на котором её разметили.

Проблема в том, что создание поиска на основе распознавания визуальной информации — это сложная математическая задача, которая до сих пор не решена. Вернее, до сих пор сложно сделать так, чтобы поиск по содержанию картинки работал лучше, чем поиск по тегам к картинкам. А если этого не достичь, то преимущество использования таких систем становится неочевидным.

Поэтому сейчас наиболее хорошие результаты показывают поисковые системы, анализирующие всю возможную информацию об объекте: учитывают текстовое описание, распознают графические образы, анализируют речь и другую звуковую информацию (если это видеофайл).

Среди поисковых систем, основанных именно на обработке визуальной информации, можно выделить две группы:

1. системы поиска, не анализирующие изображение, а просто применяющие технологии поиска схожих по каким-либо параметрам объектов

2. системы поиска, анализирующие содержание изображения\видео

Технологии могут комбинироваться: например, идентичность изображений может определяться на основе не только анализа визуальной информации, но и текстового описания.

К первой группе можно отнести следующие проекты:

Like.com (технология Riya) — визуальный поиск для e-shopping. Применяется технология поиска похожих изображений Riya. Идентичность определяется по совпадению достаточно большого количества характеристик, присваиваемых изображению. Количество уникальных посетителей ежемесячно — более 2-ух миллионов человек.

Tineye.com — бета версия поиска, запущенная компанией Ideeinc, специализирующейся на b2b приложениях. Поиск осуществляется по копиям участков изображения. Ежемесячное число уникальных посетителей — 27 288.

Picitup.com — Израильская компания. Работает наподобие Like.com, поиск осуществляется на основе текста (который и задаёт содержание) и мультимедиа информации (поиск похожих изображений без анализа содержимого). На первый взгляд, поиск по изображениям обуви более релевантный, чем на Like.com

Tiltomo.com (бета) — технология нахождения схожих изображений. Поиск работает в двух режимах: по текстовому описанию\цвету\текстуре или 100% цвет\текстура. Пользователь сам может выбрать режим поиска. Таким образом, изображение тоже содержательно не анализируется.

Photodate.ru — сайт знакомств на основе графической поисковой машины IMAGIUM (автор — Алексей Лагутин, г. Королев). Можно загружать фото и по нему находить похожих людей. На первый взгляд, выдает очень неплохие результаты. Но не распознает, что изображено на фотографии (хотя система изначально задумана для работы с лицами). IMAGIUM встраиваема в любую внешнюю систему клиента или его сайт.

Но, конечно, гораздо интереснее выглядят решения, которые умеют посмотреть на объект и сказать, что именно на нем изображено. И уже на основе такой информации осуществляющие сопоставление объектов. Это вторая группа систем:

blinkx.com — 3 039 171 посетителей в месяц. Сочетает в себе технологии работы с текстом и визуального кодирования кадров видео и распознавания речи. Это наиболее успешный проект по видео-поиску — более-менее приличные результаты дает объединение всех возможных подходов.

Betaface.com — предлагает b2b платформу для поиска и монетизации мультимедийного контента, основанную на технологии распознавания содержимого. Сервис создает базу персоналий, основное преимущество — идентификация людей из видеоролика не только на основе визуальной информации, но и на основе распознавания голоса — сервис умеет распознавать речь. Компания планирует выпустить открытый web API для распространения и проектирования приложений на основе ее движка.

Eyealike.com — использует комбинированную технологию: и визуальный поиск с помощью технологий анализа и распознавания графической информации содержимого и текстовый поиск на основе тегирования. Тоже специализируется на b2b. Продвигает три продукта:

1. Eyealike VisualAd. Платформа для размещения контекстной рекламы с учетом содержания, в основном для социальных сетей)
2. Eyealike Copyright. Предназначен для производителей мультимедиа контента и используется для выявления проприетарного контента, загружаемого пользователями на сайтах типа Youtube и т.п.)
3. Eyealike Faces. Предоставляет сайтам функцию поиска по картинкам, технология распознавания лиц, нахождения похожих фото и людей.

Delvenetworks.com — предлагает полностью готовое b2b решение для осуществления вещания в Интернете и размещения видео. В рамках этой платформы также работает функция поиска схожих мультимедиа объектов — по текстовому описанию и по содержимому видео или аудио.