Что нам стоит ЦОД построить +17

- такой же как Forbes, только лучше.



Этой осенью мы передали заказчику спроектированный и построенный нами ЦОД площадью порядка 250 м2, вместивший около 50 высоконагруженных стоек. История у этого проекта непростая: сначала пришлось исправить кучу ошибок в проектной документации, сделанной другими подрядчиками (а фактически перепроектировать ЦОД), а потом несколько месяцев сражаться за заказ в тендере. Обо всех этих перипетиях наш рассказ под катом.

История проекта


Всё началось с того, что один крупный ритейлер решил построить ЦОД. Он должен был дополнить мощности трёх других, уже имевшихся у заказчика дата-центров. Первую версию проекта разработал другой интегратор. Заказчик остался доволен и объявил тендер на строительство, приложив проектную документацию. Мы её внимательно изучили и остались в недоумении: в проекте оказалось больше сотни ошибок и недочётов — от архитектурных до чисто инженерных. Пикантность ситуации заключалась в том, что заказчик предъявил суровые требования к уровню надёжности этого ЦОД, потому что через него должен был проходить огромный объём данных, в том числе конфиденциальных. Но с найденными недочётами требуемая отказоустойчивость осталась бы недостижимой мечтой.

Пришлось спасать ситуацию. Предложили заказчику бесплатно переработать проект — исправить все косяки, а заодно переработать общую смету, заложив продукцию других вендоров, с ценами пониже. Получив «добро», засучили рукава и принялись за работу. На переделку ушел 1 месяц. Наша смета оказалась на 30% дешевле начального варианта. При этом нигде не пришлось ужиматься – учли все требования, в том числе и по надежности.

Дальше была долгая борьба за победу в тендере — сражались почти три месяца. В конце концов заказчик выбрал нас. Кстати, удивительно, что из всех участников тендера только мы предложили переработать проект, остальные собирались строить в соответствии с буквой параграфа.

Реализация


Итак, под ЦОД было выделено помещение площадью порядка 250 м2. Его нужно было заполнить стойками с высоконагруженными серверами и сетевым оборудованием (около 50 стоек). Общая мощность всей аппаратуры, включая систему охлаждения, тянула на 870 кВт. Мы предусмотрели возможность расширения серверного парка, заложили запас по питанию и охлаждению. Я уже говорил, что заказчику нужна была высокая степень доступности ЦОД, он мог простаивать не более 1,6 часа в год. Поэтому проект соответствует международному стандарту TIA-942 Tier III: можно менять, добавлять и удалять оборудование без остановки ЦОД; все инженерные системы однократно зарезервированы, есть несколько каналов электропитания и охлаждения, но постоянно активен только один из них. В результате коэффициент отказоустойчивости ЦОД равен 99,982%.

Проект мы переделывали с помощью BIM (Building Information Modeling) — методики информационного моделирования здания. Построили трёхмерную модель помещения ЦОД, в котором «смонтировали» фальшпол, «установили» все стойки с оборудованием, «проложили» вентиляционные и кабельные каналы, связали с системой охлаждения на крыше. А самое главное — в рамках этой модели увязали между собой все архитектурные, инженерные и аппаратные компоненты ЦОД: стоит что-то изменить в какой-нибудь системе, как всё, что с ней связано, сразу автоматически перестраивается, вплоть до чертежей и спецификаций. Выглядит захватывающе, особенно если в детстве ты любил возиться с конструкторами и сборными моделями.

Предполагалось, что мы будем строить ЦОД в уже подготовленном помещении с евроремонтом. Но ещё ни одна стройка и ни один ремонт в истории человечества не прошли строго по графику и без накладок: субподрядчик не успел всё сделать к сроку. И, чтобы не терять время, пришлось выполнять пятилетку в четыре года. ЦОД находится в офисном здании – дабы никого не смущать шумом перфораторов, болгарок и такой-то матери, все работы вели вечером и ночью.

  • Разработали и установили напольные разгрузочные рамы для крупногабаритного тяжелого оборудования.
  • С помощью специально сконструированных рам усилили стену с оконными проемами, чтобы вешать на неё оборудование (электрощиты и прочее).
  • Доработали и усилили отверстия для прокладки инженерных коммуникаций через стены.
  • Сделали чистовую отделку помещений.
  • Доработали и установили наружные силовые конструкции под трассы и климатическое оборудование.

    Установили фальшпол, СКС, «холодные» коридоры и стойки для серверов. Серверные стойки Conteg рассчитаны на высокую плотность нагрузки — 10+ кВт на стойку. СКС сделана на основе оптических компонентов с использованием претерминированных кабельных сборок (заранее смонтированные, готовые к установке изделия, облегчающие монтаж оптоволоконных сетей).







    Установили освещение, проложили силовые кабели, собрали и установили электрощитки и источники бесперебойного питания. Электроснабжение резервировалось по схеме 2N (у каждого компонента есть резервный), а специально заказанные для проекта электрощиты автоматически переключаются с основного на резервный ввод при нештатном отключении питания.








    Установили противопожарный комплекс, включая сигнализацию и систему газового пожаротушения.

    Установили системы водоснабжения (для пароувлажнителей и кондиционеров), дренажа, кондиционирования (наружные и внутренние блоки, фреоновые трассы). В ЦОДе мы использовали климатическое оборудование STULZ с резервированием по схеме N+1 (N рабочих компонентов и один резервный).



    Наконец, установили компоненты системы мониторинга Conteg. Она «завязана» на пожарную систему, ИБП, кондиционеры, модули управления питанием в стойках, датчики температуры и влажности и так далее.

    На всё про всё, включая переработку проекта, ушло около полугода. Все заложенные параметры удалось выдержать, из сметы не выбились, и серверы в новеньком ЦОДе уже молотят терабайты.

    Подумываете о построении ЦОДа? Ну вы поняли ;)

    Всеволод Воробьев, руководитель направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»

Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (13):

  1. ebragim
    /#10520518

    А как же 6оавный ответ на вопрос поста: что стоит такой объект-то?

    • JetHabr
      /#10521190

      Так ведь вопрос звучал «Что НАМ стоит ЦОД построить» — об этом и рассказали ;). А если серьезно — по условиям договора не можем разглашать стоимость работ.

      • navion
        /#10521436

        Тендер был непубличный? В сети есть лишь описание предыдущего ЦОДа от «другого подрядчика».

  2. nezdhanov
    /#10521192

    250 м2 — прозвучало грозно… Но из рассказа выходит, что это исключительно площадь машзала?..

    • JetHabr
      /#10521194

      А что ещё вы подразумеваете под «площадью ЦОДа»?

  3. alakond
    /#10521564

    Нет, судя по картинкам, они 250 м2 разделили примерно поровну. Часть отдано под ИБП + 3 Кондиционера, часть под МашЗал.
    Причем есть широкий проход между машзалом и техпомещением. Так же есть дверь в машзал «снаружи».
    Судя по DIM и там и там ступеньки до уровня фальшпола. Так как под фальш полом форсунки пожарки, то расстояние от чистого пола не меньше 800 мм. По опыту скажу, что наклонные пандусы удобнее.

    • JetHabr
      /#10522266

      Примерно 3/4 от общей площади машзал, 1/4 — помещение ИБП и щитовой.

      Наклонные пандусы занимают очень много места. В данном случае занос оборудования происходит прямо с улицы, через тамбур. Это идеальное решение.

  4. alakond
    /#10521576

    Всеволод, а почему такое количество внешних блоков на кондиционеры? в ЦОДе же всего 3 кондиционера? Даже если они 2-х контурные, то всё равно внешних блоков очень много.

    • JetHabr
      /#10522268

      Фото трех кондиционеров — это только в помещении ИБП. Остальные кондиционеры стоят в основном машзале. А внешние блоки стоят рядом на одной конструкции.

      • alakond
        /#10522562

        Да, не внимательно посмотрел. Межстоечники через каждые 2 стойки.

        Подробности бы ) Технические изюминки проекта ) Интересные технические решения ) А так, да, красивый ЦОД, построено с душой, но, больше подходит для рекламной статьи в ЦОДы.РФ, а не в хабр, где все ждут расчлененку и технопорно )))

  5. alakond
    /#10521582

    И ещё несколько вопросов:
    Первая фотография. Гофра идущая перпендикулярно лампе под лампой. Это так в BIM спроектировали? ))
    Последняя фотография ПВ3 заземления вент короба. Гофры не хватило? Почему у примыкающих к вент коробу плиток другой уровень? Вент короб под фальшполом подрядчики помяли? ))

    Это если прикапываться. А так, молодцы, большая работа проделана.
    А можете отдельную статью про Conteg рассказать? Системы мониторинга и управления ЦОД это моя отдельная страсть ))

    • JetHabr
      /#10522272

      Все под прямым углом :) Это не кабель заземления, а для сигнализации. Просто датчик еще не прикрутили, а гофры на проекте не жалели. Сама плита толще, т.к. готовилась индивидуально под ввод короба, поэтому разный уровень.

  6. Kosting
    /#10521768

    Первая фотография. Гофра идущая перпендикулярно лампе под лампой. Это так в BIM спроектировали? ))
    ага, интересно ;)