Как мы делали HD Wi-Fi на стадионе на 33 тысячи человек в Краснодарcком крае, в чём конкретно состоят особенности плотного покрытия, и зачем Wi-Fi болельщику


Может показаться, что Wi-Fi на стадионе не нужен вообще. Пришёл болеть – так смотри за игрой, а не пости селфи и читай почту. Но нет, Wi-Fi нужен по двум важным причинам. Во-первых, при таком скоплении людей будут крайне быстро разобраны каналы сотовой сети, и большая часть болельщиков останется на время без телефона. Во-вторых, собственно, владельцам стадиона очень хотелось дать специальное мобильное приложение для всех болельщиков.

Внутри – схемы расстановки игроков на поле, статистика по матчу и игрокам, плюс стриминговое видео с камер, чтобы можно было видеть крупным планом в лицах на планшете или телефоне, что происходит. Ну и сразу повторы важных моментов с разных ракурсов.


На радиообследовании


Результат обследования мембраны

Для всего этого нужен быстрый Wi-Fi высокой плотности и с минимальными интерференциональными явлениями. Обычных хотспотов тут не натыкать – нужна хорошая экспертиза радиообследования, плюс специальное оборудование. Результат – 150 хитрых точек доступа с beamforming после довольно нетривиальных работ.

Почему именно HD, и в чём сложности?


Высокая плотность в отношении Wi-Fi – это довольно размытое и условное понятие. Очень упрощая, это такое состояние сети, где присутствует столько активных пользователей, сколько не в состоянии переварить беспроводная сеть, выполненная по классическому дизайну (точки доступа с всенаправленными антеннами, комфортно работающими максимум с 20-30 клиентами на радиоинтерфейсе и радиусом покрытия в 15 метров в типичном офисе). Соответственно, требуется особенное покрытие (чтобы абоненты и точки не мешали друг другу), и ещё большое количество клиентов накладывает требования к пропускной способности всех элементов сети: контроллера, коммутаторов, маршрутизаторов, межсетевых экранов и, собственно, каналов доступа в Интернет.

При создании беспроводной сети для объектов с высокой плотностью абонентов, коим является стадион, требуется учитывать следующие факторы:
  • Общее количество абонентов – стадион при полной загрузке вмещает 33 000 потенциальных пользователей. Соответственно, наша сеть в пике может быть нагружена примерно 30 тысячами подключений к потоковому видео.
  • Плотность размещения абонентских устройств – болельщики, сидящие на трибунах, размещены очень плотно, на 10 квадратных метрах в среднем размещается 280 человек. Ключевой показатель, по которому проверяется достаточно подходящая архитектура сети — требуемая пропуская способность на абонента. Каждая точка доступа имеет определенную полосу пропуская в радиоканале, равномерно делящуюся между клиентами, и радиус покрытия. Чем выше плотность клиентов, тем больше клиентов будет подключаться к одной точке доступа, и тем меньше будет пропускной способности на каждого клиента. Логичны выходом является поставить большее количество точек, но мы ограничены в свободных радиоресурсах в диапазоне 2,4 ГГц (существует всего 3 непересекающихся канала – 1, 6 и 11), в диапазоне 5 ГГц попроще – есть 11 каналов, но не все мобильные устройства поддерживают 5 ГГц. Поэтому, соответственно, отказаться от 2,4 мы не можем. Соответственно – нужно уменьшать радиус действия точек или точнее формировать диаграммы направленности, чтобы уменьшать негативное влияние на соседние точки, работающие на тех же частотах и оптимально распределять радиоресурсы.
  • Характеристики объекта внедрения, влияющие на распространение сигнала – чаша стадиона – это большое открытое пространство, в котором неизбежная интерференция между точками доступа;


Беспроводная сеть, построенная по традиционному дизайну, не справится с поставленными задачами. В результате получились бы большие потери пакетов, большое количество ретрансмитов, и, как следствие — крайне низкая скорость передачи данных, нестабильная работа сервисов.

Уменьшение зон действия точек доступа достигается за счет:
  • применения специализированных узконаправленных антенн (подробнее об этом ниже);
  • отключения низких канальных скоростей (до 12 Мбит/с);
  • отключения обработки пакетов абонентов с низким уровнем сигнала (RX-SOP);
  • понижения мощности передатчика;




Это не всё. Ещё требуется:
  1. Защитить зону HD-покрытия от паразитного сигнала Wi-Fi. Негативные явления на покрытие зрительской зоны чаши стадиона могу оказать свои же точки, расположенные в VIP-зонах, вестибюлях вблизи выходов на поле. Рецепт тот же – контроль мощности и радиопокрытия.
  2. Сократить утилизацию радиоканала: не использовать больше четырех SSID (в идеале использовать один) в зрительных зонах, т.к. каждый SSID требует отправки отдельного Beacon пакета и каждый широковещательный SSID отвечает на null probe request; бороться с клиент-спровоцированными помехами, предложив зрителям подключиться к Wi-Fi сети, т.к. подключенное устройство начинает отсылать probe request в разы реже; максимально устранить из зоны действия беспроводной сети посторонние точки доступа и Ad Hoc устройства как источники интерференции и генераторы beacon, probe request, probe response пакетов и отказаться от использования «смежных» Wi-Fi сетей и использовать единую беспроводную сеть.


Какое использовалось оборудование


На стадионе в Краснодарском крае мы использовали решение Cisco Connected Stadium Wi-Fi, включающее новые узконаправленные антенны Cisco AIR-ANT25137NP-R и AIR-ANT2566P4W-R, высокопроизводительные двухдиапазонные точки доступа Cisco Aironet 3502P и 3702E в сочетании с программными алгоритмами для автоматической настройки беспроводной сети в зависимости от постоянно меняющейся радиочастотной обстановки, а также технологию CleanAir, которая включает точки доступа со встроенными интеллектуальными аппаратными функциями, позволяющими выявлять, классифицировать и уменьшать влияние радиочастотных помех. Для обеспечения мониторинга и управления сетью в решение включены многофункциональные контроллеры беспроводных сетей Cisco WLC 8510 и ПО управления инфраструктурой Cisco Prime Infrastructure.

Антенна Cisco AIR-ANT25137NP-R:


Узконаправленная секторная антенна с поддержкой MIMO. Имеет 6 элементов, по 3 для работы в 2.4 и 5 ГГц. Ширина луча ДНА в диапазоне 2.4 ГГц составляет 36° в горизонтальной плоскости и 36° в вертикальной плоскости, в диапазоне 5 ГГц — 55° и 48° соответственно. Корпус антенны обеспечивает защиту от внешнего воздействия пыли и влаги по классу IP65. Разработана специально для работы совместно с точкой доступа Cisco Aironet 3502P в условиях высокой плотности клиентов. Применяется для покрытия трибун стадиона.

Антенна Cisco AIR-ANT2566P4W-R:



Секторная антенна с поддержкой MIMO. Имеет 4 элемента, одновременно работающих в 2.4 и 5 ГГц. Ширина луча ДНА в диапазоне 2.4 ГГц составляет 65° в горизонтальной плоскости и 105° в вертикальной плоскости, в диапазоне 5 ГГц — 55° и 110° соответственно. Корпус антенны обеспечивает защиту от внешнего воздействия пыли и влаги по классу IP54. Используется совместно с точкой доступа Cisco Aironet 3702E. Применяется для покрытия трибун стадиона, VIP-лож, пресс зон, зон близких к выходу на поле и помещений с высокой плотностью абонентов.

Точка доступа Cisco Aironet 3502P:



«Стадионная» двухдиапазонная точка доступа, специально разработанная для использования в местах высокой концентрации пользователей. Точка доступа спроектирована и сертифицирована для работы с узконаправленными антеннами, имеющими коэффициент усиления до 13 дБ (2.4 ГГц) и 7 дБ (5 ГГц), например, такими как описанная выше антенна Cisco AIR-ANT25137NP-R. Имеет расширенные возможности настроек радиопередатчика, что незаменимо при подобных инсталляциях. Снабжена встроенным анализатором спектра (технология CleanAir), что позволяет обнаруживать и избегать радиочастотные помехи любого происхождения. Поддерживает стандарт IEEE 802.11n и конфигурацию MIMO 2х3 c двумя пространственными потоками.

Точка доступа Cisco Aironet 3702E:



Двухдиапазонная точка доступа с поддержкой стандарта IEEE 802.11ac и конфигурацией MIMO 4х4 c тремя пространственными потоками. Снабжена встроенным анализатором спектра (технология CleanAir), что позволяет обнаруживать и избегать радиочастотные помехи любого происхождения. Применяется совместно с секторной антенной AIR-ANT2566P4W-R для первых рядов трибун стадиона, VIP-лож, пресс зон, зон близких к выходу на поле и помещений с высокой плотностью абонентов, а также в зонах с невысокой плотностью абонентов совместно с дипольными всенаправленными антеннами AIR-ANT2524DW-R.

Контроллер беспроводной сети Cisco WLC 8510:



Централизованное управление точками доступа осуществляется высокопроизводительным контроллером Cisco WLC 8510. Данная модель контроллеров поддерживает одновременное управлением до 6000 точек доступа. Обеспечивает пропускную способность 10 Гбит/с и поддерживает одновременную работу до 64000 пользователей, что незаменимо для подобных инсталляций. Отказоустойчивость системы достигается объединением двух контроллеров в кластер. Время переключения с активного контроллера на резервный составляет менее секунды без разрыва сессий клиентов.

Контроллер беспроводной сети отвечает за такие функции, как обеспечение безопасного бесшовного роуминга, автоматизированное управление радиоэфиром (управление несущей частотой и мощностью радиопередатчиков точек доступа), устранение «дыр» в покрытии при выходе из строя точек доступа, переключение пользователей с загруженных точек на менее загруженные, обнаружение и избегание взаимного влияния беспроводных устройств и помех, обнаружение вторжений в беспроводную сеть, обеспечение политик безопасности и политик QoS.

Ход работ


Нам повезло, и заказчик обратился в тот момент, когда бетон ещё не был залит, и стадион только проектировался. Это означало, что мы могли заранее заложить места под оборудование, кабельные трассы и прочую инфраструктуру. Это важно, потому что кроме непосредственно Wi-Fi мы делали ещё IP TV и Digital Signage — проще говоря, огромные экраны с тем, что происходит на поле.

В общей сложности на стадионе нужно было совместить около 50 подсистем. Для моего отдела всё началось с проектирования именно нашей инфраструктуры. Проблема в том, что точное расположение радиооборудования можно выявить только после понимания, какой вообще формы и из каких материалов будет стадион. Это как звук – нужно померить, чтобы получить точную картину распространения волн. Соответственно, в проекте мы продумали что могли фиксированного (в частности, особенно хорошо, что удалось заложить трассы и вот эти вот специальные слоты для оборудования на фото ниже). На этой стадии нет понимания, например, кто вообще будет делать кровлю, поэтому точных данных мало.



При проектировании мы долго согласовывали места установки: допустим, в проходах, где ходят люди, нельзя устанавливать оборудование, которое будет выпирать. Это требования пожарных. Мы предложили варианты со штроблением и отверстий в железобетонных конструкциях, но тут эксплуатация решила, что объект начнет рушиться раньше времени от таких дырок. Также по этому узлу у архитектора были эстетические требования — и в проекте заложили больше прочности. Сочетание эстетики и повышения прочности позволили убедить эксплуатацию, и мы запроектировали штробы для скрытой установки антенн и точек доступа в термобоксах.

Следующий этап — стадия рабочей документации. Когда стало понятно, кто какую систему делает, и приблизительно ясно, какие будут применены решения (сначала прорабатывается бетон и конструкции, после была подготовка рабочей документации по инженерным и автоматизированным системам). Особенность стадии в том, что на стройке случаются изменения и иногда приходится вносить редакции в рабочую документацию. Главная задача — предусмотреть все необходимое. Чтобы не было такого «а вот тут перегородку сносим к чёрту». Важно думать заранее ещё и потому, что проект должен находиться в рамках бюджета. Здесь для нас важнейшая часть – провести радиообследование «на живую», когда бетон только заложен. То есть вот в таком вот состоянии стадиона:


На радиообследовании

Следующая стадия СМР – самая веселая часть, на которой приходится много спорить и отстаивать решения с подрядчиками по смежным системам. Также приходится кооперироваться с подрядными, которые, допустим, делают кровлю, на которой необходимо предусмотреть крепеж, который должен позволить легко эксплуатировать систему. Эту стадию мы не раз обкатывали на крупных объектах, особенно много опыта получили именно по стадионам – мы же делали ИТ-инфраструктуру и звук стадионов ЦСКА и Спартак (30 и 44 тысячи мест соответственно).

Тут как обычно — подрядчиков много, и никто не хочет ждать остальных при работах. Нас это тоже коснулось — один подрядчик уложил плиту без наших термобоксов, и пришлось искать новые термобоксы для установки. Мы добавили новое правило – закупку проводить после создания тестового узла, могут понадобиться дополнительные компоненты. Неважно как хорошо узел был запроектирован всеми организациями.

В чём сложность задачи?


Главная задача – это равномерно покрыть чашу, с учетом что пользователи будут сидеть очень плотно. Для увеличения плотности покрытия используются антенны с малой площадью покрытия, за счет этого устанавливается больше точек доступа без негативного взаимовлияния.

Для этого необходимы:
  • Антенны с высоким коэффициентом усиления на частотах и 2,4 и 5 ГГц.
  • Обязательно – с многоканальным приемом-передачей (MIMO) 4*4 для увеличения пропускной способности в радиоканале (но бывает, что у приемников нет MIMO или 1*1). Скорость передачи данных зависит от типа MIMO на стороне клиента.
  • Далее, мы считаем, что на этом проекте приемник (абонентский терминал, например, телефон) и передатчик (наша антенна) должны находиться на линии прямой видимости. Необходимо создать все условия для этого, чтобы это выполнялось в большей части случаев.
  • В будущем хорошо пользоваться стандартом 802.11ac, но не все устройства пользователей будут его поддерживать. Равно как и не все устройства пользователей работают на 5 ГГц. На будущее это очень хорошее решение – у стандарта 802.11ac будет поддержка MU-MIMO. Multi user MIMO в отличие от обычного Single user MIMO посылает фрейм множеству получателей, а не одному. То есть точка доступа с 4 антеннами может отправить один поток на 3 пользовательских устройства в один момент времени.


Радиообследование


Напоминаю, делали мы его, когда была готова только часть конструкций:


Вот прямо так, на скотче тестируем

Не было возможности обследовать верхнюю трибуну из-за отсутствия лебедки и крана. Точнее, они были, но подобраться под кровлю не удавалось. Пришлось проводить обследование на нижней трибуне и делать проекцию на верхнюю трибуну.



Очень сложно было определиться с расстоянием от антенны на кране до трибуны в вертикали. Мы измеряли расстояние лазером. У оператора крана не работала рация, приходилось кричать и использовать жесты. Процесс был долгий. Мы двигали люльку крана в течение дня, чтобы обследовать четверть, после мы проецировали на верхнюю трибуну результаты.



На люльку крепится измеряющее оборудование, а затем…



Она поднимается…



И изображает кусок кровли.

Когда кровля была частично готова, вызывали высотников для проверки результата. Для них мы проводили инструктаж, давали им рации. В общем, быстро учили их делать процедуру, которую не могли сделать сами без допусков. Таким образом, провели проверку результатов радиообследования и перенесения проекции. Как мы поняли, что если наклон трибуны и верхней, и нижней одинаков, то результаты измерения будут совпадать — и эта теория подтвердилась.

Получились вот такие схемы:


Трибуны


Мембрана


Вид в разрезе

Иностранный опыт


Cisco Connected Stadium Wi-Fi используется не только в Краснодарском крае. Этими системами снабжаются американские стадионы. Конкретно по технической части наработанный опыт есть. Куда интереснее заказчику было посмотреть на финансовые и практические результаты внедрения такой инфраструктуры. Наверное, один из лучших примеров – внедрение системы Connected Stadium на стадионе CONSOL Energy Center (для футбольной команды НХЛ «Питтсбург Пингвинз»). Там также был HD Wi-Fi, множество экранов по типу вот таких:



И полиэкраны, заметные с трибун. Так вот, количество рекламодателей удвоилось, а спонсорские поступления возросли втрое. Бренд стадиона стал более узнаваем и запоминающимся. 80% зрителей сохранили контент, который они смотрели на стадионе, ретранслировав его в социальные сети.

Следующие шаги


Стадион сейчас ещё не достроен. По нашей подсистеме – сейчас мы реализуем систему вещания видео трафика через Wi-Fi для специального мобильного приложения. Особенность в том, что данные передаются на устройства при помощи multicast. Применение вещания потокового видео через multicast-рассылку значительно снижает нагрузку на каналы связи, ресурсы радиосреды и ресурсы сетевого оборудования. Данный эффект достигается за счет того, что данные от источника передаются не индивидуально каждому получателю (unicast), что плодит копии однообразного трафика, а в том, что источник посылает единственный экземпляр данных по общему маршруту тем получателям, кто подписался на рассылку. Преимущество этого подхода: добавление новых пользователей не влечет за собой необходимость увеличения пропускной способности сети по общему маршруту до потребителей услуги. Соответственно, снижается нагрузка и на промежуточное оборудование.

Отвечу на вопросы в комментариях или по почте AFrolov@croc.ru.




К сожалению, не доступен сервер mySQL