Avito на Highload++ 2017 +24


Highload++ близко. В этот (одиннадцатый!) раз в Сколково соберутся 2700 разработчиков высоконагруженных систем для того, чтобы обменяться опытом построения и развития архитектуры крупных проектов, о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов и других направлениях, связанных с высоконагруженными системами. Мы традиционно принимаем активное участие в Highload++ и сегодня расскажем, что приготовили для её участников в этот раз.



Содержание


1. Доклады
1.1 7 ноября
1.2 8 ноября
2. Мастер-классы
3. Активности
4. Профессиональное общение


Доклады


Для конференции наши коллеги подготовили четыре доклада — вы сможете встретить их в Конгресс-Холле, залах «Сингапур», «Пекин» и «Шанхай», 7 и 8 ноября. Или задать им свои вопросы на стенде Avito или в нашей переговорной. Подробности — ниже.


7 ноября


«Хранилище данных Avito: аналитика для микросервисной архитектуры». Артём Данилов, архитектор хранилища данных Avito


image
Время: 12:00
Место: Зал «Конгресс-Холл» (будет доступна онлайн-трансляция на сайте конференции)


Большое количество современных веб-проектов переходит на микросервисную архитектуру. Она решает огромное количество проблем, присущих монолитным системам, однако накладывает качественно новые требования, в том числе и на аналитику данных. В докладе будет рассказано о том, какие вызовы и возможности преподнесла Avito микросервисная архитектура, а также показано, как Clickstream может быть полезен не только аналитикам, но и разработчикам.


«Настройка kubernetes: tips and tricks». Михаил Прокопчук, ведущий разработчик серверной части Avito


imageВремя: 15:00
Место: Залы «Пекин» и «Шанхай»


Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов. В докладе Михаил поделится опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и расскажет о том, что и как необходимо мониторить.




8 ноября


«Контроль качества высоконагруженных систем». Андрей Дроздов, разработчик серверной части в Avito


imageВремя: 12:00
Место: Зал «Конгресс-холл» (будет доступна онлайн-трансляция на сайте конференции)


Разработка любого высоконагруженного сервиса не обходится без нагрузочных тестов. Во многих проектах процесс анализа работы системы слабо структурирован или выполняется непосредственно в бою. Есть масса статей и рецептов использования тех или иных инструментов, но самые важные вопросы не раскрыты до конца: что именно мы должны измерять, правильно ли мы интерпретируем результаты и как ловить баги, которые проявляются только под высокой нагрузкой. В своем докладе Андрей расскажет о том, как построить процесс контроля качества highload-сервисов с нуля.




«Lambda architecture для realtime-аналитики — риски и преимущества». Николай Голов, руководитель разработки баз данных Avito


imageВремя: 17:00
Место: Зал «Сингапур»


В 2017 году построить аналитику на больших данных — это уже не достижение. Витрины, отстающие на день — уже старые. Отставание на час — неплохо. Достижением для 2017 является realtime BigData, доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!). Миллисекундное отставание означает in-memory. BigData значит, что всё в оперативную память уже не влезет. Значит, нужно совмещать. Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (realtime data cache). Приходите на доклад Николая, чтобы услышать подробности и задать свои вопросы.


Мастер-классы


«Логическая репликация и Avito». Константин Евтеев, Михаил Тюрин, Сергей Бурладян


Дата: 7 ноября
Время: 12:00 — 14:00
Место: Зал «Кейптаун»


В Avito объявления хранятся в базах данных Postgres. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объёма данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения. На мастер-классе будут раскрыты следующие темы.


  1. Необходимость логической репликации в целом и кейсы Avito.
  2. Эволюция и принцип работы триггерных решений с версии Postgres 7.0: RServ Вадима Михеева (Vadim Mikheev, автор MVCC), Слоны (Slony), Слоник "Londiste" (PgQ) от Skype.
  3. Архитектура логической репликации "из коробки": Logical Replication in PostgreSQL 10 & PGLogical.
  4. Примеры использования репликации и её расширений в Avito.
  5. Вопросы и пожелания, адресуемые комьюнити.

К мастер-классу можно будет подготовиться заранее. Вот образ виртуальной машины, на которой проводится практическая часть. Накануне мероприятия материалы для мастер-класса будут доступны здесь. И вот ещё пара ссылок:



«Нагрузочное тестирование веб-сервиса». Андрей Дроздов


Дата: 8 ноября
Время: 15:00 — 17:00
Место: Переговорная комната А1.2 («Африка»)


В продолжение доклада о нагрузочных и интеграционных тестах будет интересно попробовать все это вживую. Участники мастер-класса изучат yandex tank, pstack, pprof и другие инструменты, посмотрят на пример готового луна-парка. После этого будут предложены несколько web-сервисов на Go для анализа проблем производительности (можно будет выбрать любой другой язык по желанию). Важно: для полноценного участия необходимо иметь настроенный minikube на компьютере или быть готовым запустить виртуальную машину.


Активности


AvitoQuiz: prize, please!


image В целом для Highload++ мы придумали и приготовили много крутых подарков. Один из способов их выиграть — поучаствовать в викторине AvitoQuiz. Нужно будет пройти тест по одному из языков программирования (Python, Go, PHP) или тест для DevOps. Лучшим 50 участникам каждого теста мы подарим футболки и другие классные сувениры.
Тому, кто пройдет более одного теста и наберёт максимальное количество баллов, подарим главный приз — электросамокат! Подробности — на нашем стенде.


PGHACK Lite


Есть ещё один способ выиграть призы. Возможно, кто-то из вас уже слышал про наше соревнование PGHACK. Конечно, мы сделали его версию для конференции. Вот как это было у нас в офисе. (А подробно можно посмотреть в фотоальбоме на FB).



(Этим кадром передаём привет envek, нашему победителю!)



Сокращенная блиц-версия нашего соревнования по восстановлению работоспособности Postgres будет проходить 7 ноября с 12:00 до 18:00 в игровой зоне (Фойе «Сингапура»). 8 ноября поучаствовать в PGHACK можно будет с 12:00 до 15:00. Подробности и расписание туров — на месте. Ждём на соревновании специалистов по работе с базами данных: разработчиков, программистов, администраторов. Участие смогут принять DevOps-инженеры и фуллстэк разработчики с большой базой знаний по теме. И конечно, это не только соревнование, но и профессиональное общение! Лучших игроков мы наградим призами и крутыми футболками, как у kevteev на этом фото:



Чтобы принять участие в блиц-версии PGHACK, вам понадобится ноутбук с VirtualBox (версия 5.1.24 или новее), 10Gb свободного пространства на жестком диске и 3GB оперативной памяти. Также можно заранее скачать на него игровую виртуальную машину. pkorobeinikov и мои коллеги будут ждать вас, чтобы вместе сделать PGHACK на Highload!


Профессиональное общение


И конечно, все два дня конференции без перерыва будет работать наш стенд. Там можно будет пообщаться с докладчиками, узнать о вакансиях Avito. Пополнить слоты наклеек для традиционной “Любознательности” и сфотографироваться с Гофером, Докером, Питоном или Слоном.



Для тех, кто не сможет быть 7 и 8 ноября на Highload++, будем вести прямые репортажи в наших социальных сетях: на странице AvitoTech в Facebook, телеграм-канале, Вконтакте и твиттере.




К сожалению, не доступен сервер mySQL