Поиск Brave: 2.5 миллиарда запросов за первый год и запуск пользовательских фильтров ранжирования +3


Ровно год назад мы запустили наш поиск, чтобы дать возможность каждому отказаться от медвежьих услуг Большого Брата и воспользоваться конфиденциальной и непредвзятой альтернативой не только Google и Bing, но и провайдерам типа DuckDuckGo или Startpage, которые так или иначе сидят на плечах техгигантов. 

Поиск Brave официально выходит из беты. Это поисковик по умолчанию для большинства новых установок нашего браузера, и конечно он доступен для всех по ссылке https://search.brave.com. Наш поиск сразу завоевал популярность, показал множество интересных технологий и бросил вызов монополии Большого Брата, не отходя от своих ключевых принципов:

  • Независимость: мы предоставляем результаты поиска на основе нашего собственного индекса, построенного с нуля;

  • Конфиденциальность: мы не трекаем вас, ваши запросы и ваши клики;

  • Пользователь превыше всего: мы работаем для вас, а не для рекламодателей и охотников за данными;

  • Прозрачность: мы не цензурируем, не фильтруем, не подкручиваем и специально не опускаем вниз результаты поиска (если от нас не требуют этого юридически);

  • Бесшовность: мы предлагаем наилучшую в нашем сегменте рынка интеграцию между браузером и поиском, включая персонализацию и мгновенные результаты по мере набора запроса, без потери конфиденциальности.

Отмечая наш годичный юбилей, мы хотим показать вам, как мы развивались, и рассказать о нашей новой технологии «Очки Поиска» и других инновационных технологиях Поиска Brave.

Беспрецедентный рост

Популярность Поиска Brave растёт быстрее, чем у любого другого провайдера со времён появления Bing:

  • 2,5 миллиарда запросов за последние 365 дней;

  • Пиковые 14,1 миллионов запросов в день;

  • 5 миллиардов запросов в годовой проекции.

Для сравнения, Гуглу понадобилось больше года, чтобы достичь цифры в 2,5 миллиарда запросов, а DuckDuckGo — больше четырёх лет

Мы никогда не прекратим улучшать наш продукт, но уже можем сказать, что во многих сферах Поиск Brave предоставляет качество поиска, успешно конкурирующее с давно укоренившимися в сети поисковыми машинами Google и Bing. Именно благодаря качеству, темпам роста, новым технологиям и непрекращающемуся росту глобального индекса независимости, мы убираем маркировку «бета» с Поиска Brave. 

Ежемесячный рост числа поисковых запросов Поиска Brave
Ежемесячный рост числа поисковых запросов Поиска Brave

«С момента запуска год назад Поиск Brave поставил во главу угла независимость и инновации, предоставляющие пользователям необходимую им конфиденциальность. Сеть меняется, и беспрецедентный рост нашей популярности показывает, что рынок остро нуждался в новом игроке, приоритетом которого станут пользователи, — говорит Хосеп Пуйоль, глава поисковой команды Brave. — Теперь мы запустили Очки Поиска для того, чтобы изменить то, как выглядит поиск, и наконец поставить пользователей во главу угла. Мир слишком многогранен для одностороннего ранжирования, и Очки Поиска призваны открыть и сделать прозрачными механизмы ранжирования и фильтрования результатов поиска, чтобы каждый мог улучшать их, делиться и пользоваться ими».  

Поиск без границ: бета-релиз Очков Поиска

Мы с гордостью представляем вам долгожданный бета-релиз новой технологии Поиска Brave: Очки Поиска (GOGGLES). Эта технология позволит каждому индивидууму или сообществу создавать наборы правил и фильтров для ограничения пространства поиска и/или для изменения порядка выдачи результатов поиска. Любой сможет применить (или расширить) эти настройки для обработки результатов поиска Brave. По сути, Очки Поиска является возможностью переранжирования поверх нашего индекса.

Это означает, что вместо стандартного ранжирования, наш поиск может предоставить практически безграничное количество способов ранжирования, что позволит настроить поисковик для специфических задач, с которыми плохо справляется стандартный поиск. Поиск Brave свободен от необъективности, внесённой человеческим фактором, но все поисковые машины в той или иной мере подвержены алгоритмической необъективности. Очки Поиска позволяют пользователям бороться именно с такой формой необъективной выдачи результатов.

Поиск Brave привержен идеям открытого поиска. Он не манипулирует своим алгоритмом для фильтрации или искусственного ранжирования результатов поиска (кроме тех случаев, когда это требуется законодательно). Вы можете сравнить нашу политику с двумя самыми большими поисковиками мира, Google и Bing, которые открыто манипулируют своей выдачей, основываясь на политических предпочтениях и других факторах.

Очки Поиска позволяет нашей приверженности открытому поиску выйти на следующий уровень, предоставляя пользователям возможность выбрать, изменить или расширить ранжирование результатов Поиска Brave. Вы можете увидеть, как работают Очки Поиска, на примере ниже: на простом запросе «поисковик» мы видим, что, в то время как стандартный поиск отдал бы предпочтение гораздо более популярным новостным порталам, Очки Поиска отдают предпочтение результатам от индивидуальных блоггеров.  

 

Подобным образом Очки Поиска работают с любой темой, страницей или медиа. С их помощью пользователи могут искать без влияния со стороны Большого Брата: Очки Поиска дают пользователям свободу поиска без ограничений.

  • Чтобы начать пользоваться бета-версией Очков Поиска, просто выполните поиск на search.brave.com и нажмите на вкладку Очков Поиска на странице результатов поиска.

  • Кто угодно может создавать Очки Поиска, пользоваться уже существующими Очками, и видеть (и расширять) исходный код уже существующих Очков, посетив репозиторий Github.

  • Прочтите полный вайтпейпер Очков Поиска.

  • Очки, доступные при запуске (список ниже) — это демо-образцы, созданные Brave лишь с образовательными целями и для того, чтобы показать синтакс Очков и простоту их использования. Это примеры, с помощью которых пользователи могут увидеть роль и потенциал новых Очков, а разработчики могут расширять или изменять их. Brave не будет активно поддерживать или расширять именно эти Очки, и удалит их, когда сообщество начнёт создавать свои собственные новые Очки.  

    • Tech blog: Переранжировать результаты, повысив видимость контента из технических блогов.

    • Hacker News: приоритезирует домены, популярные в сообществе Hacker News, убирая те, которые входят в первую тысячу самых популярных сайтов.

    • No Pinterest: Переранжировать результаты, убрав контент с Pinterest.

    • Rust programming: Переранжировать результаты, повысив видимость контента, связанного с языком программирования Rust.

    • Copycats removal: Переранжировать результаты, убрав «скопированный» контент (например, треды StackOverflow или переводы GitHub).

    • 1k short: Переранжировать результаты, убрав страницы из первой тысячи самых посещаемых сайтов.

      • Мы берём список техблогов из многочисленных источников, в том числе blogsurf.io и refined.blog. Мы не курируем этот список. Список топ-сайтов для Очков «1k short» взят с tranco-list.eu. Мы не курируем новые появляющиеся популярные сайты.

  • Независимые сообщества уже начали применять Очки Поиска. Команда Allsides создала Очки на основе своих знаний о политической ангажированности медиа. (Обратите внимание, что Brave никак не связан с любыми независимыми создателями Очков Поиска).

    • Left-leaning sources: переранжировать результаты, усилив видимость политически левых источников.

    • Right-leaning sources: переранжировать результаты, усилив видимость политически правых источников.

Дискуссии

Поиск Brave — это не просто более свежая и конфиденциальная версия старого доброго поиска. Мы внедряем в поиск инновационные технологии, позволяющие улучшить поисковую выдачу. Помимо Очков Поиска, в апреле 2022 года мы анонсировали Дискуссии. С их помощью мы можем дополнить результаты поиска настоящими обсуждениями, связанными с запросом, взятыми с популярных форумов типа Реддита. Это позволяет пользователям с лёгкостью видеть, что говорят по теме в различных сообществах, а не просто получать курируемый сайтами контент.

Дискуссии помогают увидеть различные точки зрения при поиске, и включают в себя встроенный метод контроля качества ответа в виде апвоутов и лайков. Эта технология также позволяет Поиску Brave бороться с SEO-спамом, которого стало так много в гугле. Поиск Brave уже и так лучше, чем другие поисковики, умеет справляться с SEO-спамерами, а с помощью Дискуссий мы можем показать вам обсуждения и ответы реальных людей прямо на странице выдачи результатов поиска.

Как мы развиваемся

Безусловно, конфиденциальность, независимость и инновации — это шикарно, но главный критерий успешности поисковика — это его точность. С самого начала мы поставили своей целью построить поисковую машину, которая не уступала бы в качестве, точности и глубине Google и Bing, при этом ни на шаг не отступая от наших принципов. Таким образом, перед нами встала сложная инженерная задача: как построить индекс и алгоритм ранжирования без сбора пользовательских данных? Вот что мы придумали:

  • The Web Discovery Project: с помощью этой защищённой технологии пользователи могут конфиденциально делиться данными, таким образом помогая улучшить покрытие и качество Поиска Brave.

  • Fallback mixing: мы прибегаем к этой технологии в тех случаях, когда наш индекс недостаточно полон или точен (особенно для запросов с длинным хвостом). В таких случаях Brave анонимно проверит запрос в гугле и «замиксует» результаты для вас.

  • Анонимные локальные результаты: с помощью этой технологии Поиск Brave может предоставлять вам локализованные результаты поиска (например, для запросов типа «рестораны рядом со мной») без необходимости узнавать ваше физическое местоположение или передачи вашего IP-адреса.

  • Мы слышим вас: Сообщество пользователей Поиска Brave даёт нам обратную связь, запросы и предложения касательно результатов, технологий, виджетов и много другого. Мы стараемся претворять в жизнь как можно больше таких полезных предложений.

Индекс независимости

Всё вышеперечисленное вместе это показывает, что казалось бы невозможное возможно: можно и улучшить индекс для всех пользователей, и сохранить анонимность и конфиденциальность в сети. Помимо быстрого роста, мы смотрим на ещё одну метрику для измерения успешности своей миссии: индекс независимости. 

Сам по себе этот индекс (который считается как индивидуально, так и глобально для всех пользователей) показывает, какой процент наших результатов был предоставлен напрямую из индекса Поиска Brave. Но ещё он делает кое-что гораздо более важное: этот индекс гарантирует свободный доступ к информации без манипуляций со стороны Большого Брата. Поисковые машины, чрезмерно (или полностью) зависящие от него, подвержены цензуре, необъективным результатам и человеческому вмешательству. Сеть нуждается в различных поставщиках поиска: без выбора не бывает свободы.

Мы строим альтернативу тому тому, что уже есть, а не занимаемся поставкой старых идей в новой обёртке.

  • Глобальный индекс независимости для всех пользователей Поиска Brave — 92%.

  • Когда мы только запустились год назад, этот показатель составлял 87% .

Индекс независимости Поиска Brave
Индекс независимости Поиска Brave

Let me de-Google that for you (LMDGTFY)

Когда Brave приобрёл Tailcat и заложил фундамент для Поиска Brave, мы знали, с чем нам придётся бороться: с гигантом по имени Google. Да, было довольно дерзко бросить вызов глобальному бренду, который контролирует 85% поиска и более 60% браузеров на ПК по всему миру. Сделать это, при этом сохраняя приватность и опираясь на независимо построенный индекс, было чрезвычайно сложно. Но это соответствовало нашей миссии по защите пользователей и улучшению Сети. Вместе наш браузер и поиск предоставляют первую по-настоящему успешную и конфиденциальную альтернативу платформам от бигтеха. Мы даём возможсноть легко работать и искать в Сети, зная о защищённости своих данных, и в то же время мы боремся с цензурой и экспансионизмом техгигантов. Более того, вместо того, чтобы просто создать конфиденциальную копию гугла, мы продолжаем нашу инновационную деятельность и внедряем новые технологии, такие как Дискуссии и Очки Поиска.

Слышали когда-нибудь выражение «давай я погуглю это за тебя»? Мы предлагаем другой подход. Как насчёт дать Brave убрать слежку гугла для тебя? 




Комментарии (8):

  1. yett
    /#24467712

    мы не цензурируем, не фильтруем, не подкручиваем и специально не опускаем вниз результаты поиска (если от нас не требуют этого юридически);

    Т.е делаете все тоже самое что и другие поисковики. Т.е цензурируете, фильтруете, подкручиваете и опускаете вниз результаты поиска).

    • BraveSoftware
      /#24468410

      Масса платформ занимается этим не потому, что закон, а потому что захотелось. Недавний кейс с DuckDuckGo и РосСМИ, например - их никто к этому не вынуждал, и поэтому они получили мощный бэкслеш в медиа и соцсетях. https://habr.com/ru/news/t/655303/. Да в общем, за примерами далеко ходить не надо.

      Наш поиск максимально аполитичный, и более того мы предоставляем всем желающим возможности настроить свои "очки" восприятия результатов.

  2. leok
    /#24467832

    А кто платит за гешефт? Обработать миллиарды запросов стоит недешево.

    • BraveSoftware
      /#24468202

      Будет платная подписка и реклама в бесплатной версии.

  3. ivan2kh
    /#24468028

    Крайне не нравится система владения очками по урлу. Сидишь, создаешь сложные правила, работаешь на имя, и в один момент у тебя уводят ресурс. Напрашивается личный кабинет.

    • BraveSoftware
      /#24468416

      Как именно уводят ресурс? "Личный кабинет" в каком-то виде обсуждается сейчас, да, спасибо за коммент.

      • ivan2kh
        /#24468476

        Из документации: "The sole owner of a Goggle is the person who controls the URL in which it’s hosted"

        Сейчас почти все урлы находятся на гитхабе. Не секрет что гитхаб может удалить и восстановить проект по своему усмотрению. Это может быть использовано для перехвата Goggle.

        Домен на котором хостится файл могут разделегировать. Например ошибочно, и контроль над Google будет потярян.

        Я не знаю, как происходит матчинг урла на вашей стороне. Допускаются ли не https урлы?

        • BraveSoftware
          /#24468598 / +1

          Сейчас пока что только https и только github/gitlab.

          Да, вы правы, мы думаем с какой именно тут стороны можно улучшить. Можно например позволить хостить Гогглы в IPFS. Или "личный кабинет", или ещё что-то.