Открытый инструмент для тестирования поиска по продуктам -3



В нескольких недавних постах обсуждался многообещающий и достаточно простой способ оценки качества поиска по продуктам. Спешим представить автоматизированный инструмент для такого рода тестирования — Intent-based Search Quality. Идея сводится к использованию заранее подготовленных «фокусированных» запросов, ценность которых заключается в их прямолинейности и однозначной интерпретации.


Например, человек, который пытается найти «колун fiskars», мягко говоря не обрадуется, увидев среди результатов обычный топор да еще и другого бренда. Аналогичным образом обстоят дела с другими примерами: «gopro Х», «samsung galaxy note» и т.д.

Суть подхода


Одним словом, «фокусированные» запросы предоставляют очень простой и достаточно надежный способ для валидации результатов поиска. В первом приближении, к слову, его реализация может сводиться к проверке наличия всех ключевых слов из запроса в названии возвращаемых продуктов.

Естественно, позиция продукта в финальной выдаче тоже важна. Для поиска в мобильном приложении, например, куда критичнее первый результат и несколько последующих. Для обычного поиска (привычный десктоп) все сводится к наличию релевантных результатов на первой странице.

Насколько хорош поиск Walmart?


Я намереваюсь купить — действительно мощный подход, поскольку совершенно не требует «ручной» валидации результатов поиска. Давайте попробуем узнать насколько хорош Walmart (в данном случае продолжим использовать пакет запросов для бренда fiskars). Итак, «fiskars steel chopping axe»:



А давайте это все автоматизируем


В принципе результат кажется хорошим, но присмотревшись легко можно заметить совершенно нерелевантные опции. Выполнить необходимые проверки без участия человека достаточно легко, заглянем в отчет:



Результат негативный, поскольку в финальном наборе слишком много действительно нерелевантных продуктов (нем не нужен колун и мачете тоже заберите). Естественно, оценочную функцию легко заменить на менее «агрессивную». В последующих версиях надеемся реализовать более гибкий скоринг продуктов и расширить базовый функционал.

Вердикт


В текущем варианте Walmart не впечатлил, его Fiskars-рейтинг не очень высок:



Не стоит думать, что все совсем плохо. Во многих, даже не самых тривиальных, случаях результаты корректны, но для дальнейшего улучшения поиска как раз необходимо подсветить все потенциально проблемные моменты. Используя предлагаемый инструмент всегда есть возможность:

  • перейти на другой скоринг
  • убрать неугодные запросы
  • поправить поиск :)

Предоставим вам возможность оценить сложность запросов:



Ссылки


  1. Intent-based Search Quality
  2. Search Quality API
  3. “Я намереваюсь купить” или самый простой способ оценить качество продуктового поиска
  4. Бензиновые велосипеды или странный поиск продуктов (e-commerce)

Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (2):

  1. bkar
    /#19881286

    Например, человек, который пытается найти «колун fiskars», мягко говоря не обрадуется, увидев среди результатов обычный топор да еще и другого бренда. Аналогичным образом обстоят дела с другими примерами: «gopro Х», «samsung galaxy note» и т.д.

    Опа!
    Оказывается, маркетологи 100 лет нам врали, утверждая, что когда мы ищем дрель (тм), на самом деле нам нужна дырка.

    • dididididi
      /#19881502

      Ну на мой взгляд у человека пример действительно не самый отличный. Но реально с продуктовым поиском большие проблемы.
      Для люстры нужны лампочки с цоколем e14, вводишь «лампа e14» половина результатов с другим цоколем, «Колеса для лонгборда 70мм» — в результатах оно только на третьем месте.