Открытый инструмент для тестирования поиска по продуктам -3


В нескольких недавних постах обсуждался многообещающий и достаточно простой способ оценки качества поиска по продуктам. Спешим представить автоматизированный инструмент для такого рода тестирования — Intent-based Search Quality. Идея сводится к использованию заранее подготовленных «фокусированных» запросов, ценность которых заключается в их прямолинейности и однозначной интерпретации.


Например, человек, который пытается найти «колун fiskars», мягко говоря не обрадуется, увидев среди результатов обычный топор да еще и другого бренда. Аналогичным образом обстоят дела с другими примерами: «gopro Х», «samsung galaxy note» и т.д.

Суть подхода


Одним словом, «фокусированные» запросы предоставляют очень простой и достаточно надежный способ для валидации результатов поиска. В первом приближении, к слову, его реализация может сводиться к проверке наличия всех ключевых слов из запроса в названии возвращаемых продуктов.

Естественно, позиция продукта в финальной выдаче тоже важна. Для поиска в мобильном приложении, например, куда критичнее первый результат и несколько последующих. Для обычного поиска (привычный десктоп) все сводится к наличию релевантных результатов на первой странице.

Насколько хорош поиск Walmart?


Я намереваюсь купить — действительно мощный подход, поскольку совершенно не требует «ручной» валидации результатов поиска. Давайте попробуем узнать насколько хорош Walmart (в данном случае продолжим использовать пакет запросов для бренда fiskars). Итак, «fiskars steel chopping axe»:



А давайте это все автоматизируем


В принципе результат кажется хорошим, но присмотревшись легко можно заметить совершенно нерелевантные опции. Выполнить необходимые проверки без участия человека достаточно легко, заглянем в отчет:



Результат негативный, поскольку в финальном наборе слишком много действительно нерелевантных продуктов (нем не нужен колун и мачете тоже заберите). Естественно, оценочную функцию легко заменить на менее «агрессивную». В последующих версиях надеемся реализовать более гибкий скоринг продуктов и расширить базовый функционал.

Вердикт


В текущем варианте Walmart не впечатлил, его Fiskars-рейтинг не очень высок:



Не стоит думать, что все совсем плохо. Во многих, даже не самых тривиальных, случаях результаты корректны, но для дальнейшего улучшения поиска как раз необходимо подсветить все потенциально проблемные моменты. Используя предлагаемый инструмент всегда есть возможность:

  • перейти на другой скоринг
  • убрать неугодные запросы
  • поправить поиск :)

Предоставим вам возможность оценить сложность запросов:



Ссылки


  1. Intent-based Search Quality
  2. Search Quality API
  3. “Я намереваюсь купить” или самый простой способ оценить качество продуктового поиска
  4. Бензиновые велосипеды или странный поиск продуктов (e-commerce)




К сожалению, не доступен сервер mySQL