Как политика 19 века повлияла на расположение дата-центров сегодня +157



От переводчика

Уважаемые хабражители! Так как это мой первый эксперимент по размещению контента на Хабре, прошу не судить слишком строго. Критика и предложения охотно принимается в ЛС.


Недавно, Google объявил о доступности нового дата-центра в Солт-Лейк Сити, в штате Юта. Это — один из наиболее современных ЦОД, в которые инвестировали такие компании, как Microsoft, Facebook, Apple, Yahoo, и другие, расположенных вдоль линии, соответствующей 41-ой параллели на территории США.


карта расположения ЦОД


Каждая из этих компаний инвестирует миллиарды долларов в эти четыре города:



Так что же делает 41-ую параллель настолько особенной, заставляя различные компании вкладывать миллиарды долларов, строя дата-центры в этих городах?


Ответ в том, что большая часть трафика, текущего с востока на запад США и обратно проходит сквозь каждое из этих мест посредством крупного собрания волоконно-оптических кабелей, принадлежащего большому количеству телеком-компаний, таких как: AT&T, Verizon, Comcast, Level 3, Zayo, Fibertech, Windstream и других.


Эта инфраструктура волоконно-оптических сетей предоставляет дата-центрам доступ к огромному количеству широких каналов, подстегивая цикл инвестирования — больше ЦОДов привлекают больше трафика, что, в свою очередь, приводит к постройке большего количества волоконно-оптических магистралей, что приводит, опять же, к постройке большего количества дата-центров.


Почему все эти телеком-гиганты выбрали место расположения своих магистралей по этому маршруту поперек США? Потому что каждый из этих кабелей пролегает под землей вдоль непрерывной полосы отчуждения шириной примерно 60 метров вдоль самой первой трансконтинентальной железной дороги, строительство которой было завершено в 1869 году. Правительство США выдало право на эту землю железной дороге концерна Union Pacific, подписав Акт о Тихоокеанской железной дороге 1862 года. И если вы — телекоммуникационная компания, желающая проложить новую оптическую магистраль через территорию США в 2019 году, вам нужно будет согласовывать ваш проект только с одной компанией — Union Pacific. Эта небольшая полоска земли полностью пересекает США, как видно на этом проекте железной дороги 1864 года:


Карта проекта трансконтинентальной ЖД 1864 года


Пример такого телеком-соседства — главный телепорт компании EchoStar в Шайенне, штат Вайоминг. EchoStar оперирует 25 геостационарными спутниками для вещания контента и фильмов. Они купили большой кусок земли рядом с полосой отчуждения Union Pacific, что позволило им подключиться прямо к трансконтинентальным оптическим кабелям, закопанным рядом с железной дорогой.


На картинке внизу можно четко видеть линию, разделяющую границы владения EchoStar, северная из них совпадает с границей полосы отчуждения Union Pacific.


границы владений EchoStar и Union Pacific


Еще один пример такого соседства — дата-центры Microsoft и суперкомпьютерного центра NCAR в Вайоминге. Оба расположены в пределах километра от железной дороги Union Pacific:


участки Microsoft и NCAR


А почему железная дорога была построена вдоль 41-ой параллели, из Айовы в Калифорнию?
С 1853 года, США проводили обследования для того, чтобы выяснить наилучший маршрут для новой железной дороги — вдоль 47-ой, 39-ой, 35-ой и 32-ой параллелей. В 1859 году военный министр США Джефферсон Дэвис решительно поддержал южный маршрут из Нового Орлеана в Сан-Диего — он был короче, по пути не было высоких гор, которые надо было бы преодолеть, и не было снегопадов, которые увеличили бы расходы на поддержание новой железной дороги. Но в 1850-ых годах ни один конгрессмен из северных штатов не проголосовал бы за южный маршрут, который помог бы рабовладельческой экономике Конфедерации, и никакой конгрессмен из южных штатов не проголосовал бы за северный маршрут. Эта патовая ситуация сохранялась до начала гражданской войны в США. Когда южные штаты вышли из союза в 1861 году, оставшиеся политики с севера быстро проголосовали в поддержку Акта о железных дорогах 1862 года, который закрепил место начала трансконтинентальной дороги в городе Каунсил-Блаффс, штат Айова, и ее маршрут — с запада на восток вдоль 41-ой параллели.


Почему именно Каунсил-Блаффс? Было много городов, желающих соревноваться за право получить эту привилегию. Но именно Каунсил-Блаффс был выбран, так как долина реки Плейт-Ривер строго на запад от города плавно поднималась к Скалистым горам, предлагая удобный источник воды для паровых локомотивов. Та же самая вода теперь используется для адиабатического охлаждения современных дата-центров вдоль этого маршрута.


После того, как строительство первой железной дороги было закончено, компания Western Union немедленно установила первый телекоммуникационный коридор в полосе отчуждения железной дороги, и в скором времени передавала все телеграммы с одного конца континента в другой. Позднее, когда AT&T построила междугородние телефонные линии в начале XX века, они так же были построены вдоль этой железной дороги. Эти магистрали разрастались и надстраивались, пока не превратились в громадное скопление магистралей связи, существующее в этой полосе земли сегодня.


Именно так политические решения, сделанные более 150 лет назад, сегодня предопределили место вложения многих миллиардов долларов в современные центры обработки данных.

Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (50):

  1. samhuawey
    /#20528637 / +1

    Я правильно понял идею о том, что для того, чтобы положить интернет в США, достаточно перекопать ночью на тракторе пару десятков метров поперёк ЖД на 41 паралели? И если оперативно прикрыть песочком, то чинить будут недели две?

    • wild_one
      /#20528679

      Ну, у нас тоже многое идет по магистралям ТТК. И периодически случаются… коллапсы разной степени важности.


      Напоминаю, что вот этот мем появился именно в США (шутка на правах шутки):


      Заголовок спойлера

      image

      • samhuawey
        /#20529017

        У нас идёт многое, а у них (судя по статье) почти всё.

        Наверное для этого крупные компании размещают резервные датацентры по обоим берегам Америки. На всякий пожарный.

      • Gansterito
        /#20529551

        По магистралям ТТК идет только трафик самого ТТК и присоединенных к нему операторов. У Ростелекома, Вымпелкома и Мегафона свои магистрали, с географически разнесенным резервом от РЖД не зависящие.

    • zapimir
      /#20529163 / +1

      Смешно. Напомню, что интернет изначально создавался, как военная сеть, где трафик будет обходить другими путями, если какой-то из узлов вырубился. И типа эти люди вложили всё бабло в то, что можно перекопать одним трактором :)
      Это только один из коридоров, там еще куча.
      Типа такого
      image

      • wild_one
        /#20529243

        Так никто и не говорит, что коридор один. В статье описывается, почему один из самых крупных — пролегает именно по этому маршруту.

        • zapimir
          /#20529417 / +3

          Я вообще-то отвечал на коммент про одним трактором лишить америку интернета. По приведенной карте, видно, что таким образом максимум только пинг увеличится.

          • korobkov-k
            /#20536667

            Но ведь сильно возрастет нагрузка на те ноды сети, на которые раньше не было нагрузки. Так что про «положить интернет» от части может быть правдой, ибо что-то ляжет от нагрузки.

            • samhuawey
              /#20538759

              Автор статьи намекает что на этой ветке крупнейшие датацентры Гугл Микрософт и Apple. Соответственно Ажур, плеймаркет с почтой гугл, ну и фоточки айфонов полетят другими путями. В масштабах интернета конечно мелочь, но как бы не возник комбинаторный лавинообразный эффект когда отказ одного сегмента мгновенно перегружает соседний и тот тоже ложится и так далее.

      • KodyWiremane
        /#20541199

        На этой карте трактор понадобится в шести местах.

    • DarkTiger
      /#20529547 / -1

      Вы немного не представляете себе оперативность ремонтных служб и их возможностей по локализации места обрыва. В двух словах — не успеет никто. И хорошо, если попадет в тюрьму, а не под огонь спецподразделений.
      Долболедизм случается, конечно. Вспоминаю службу в ПВО офицером связи в 90-е. Тогда встретились две яркие индивидуальности — один альтернативно-одаренный товарищ приказал проложить связной кабель по танковому полигону на метровой глубине (самый короткий путь был через полигон), а второй, коммерчески-одаренный и по совместительству — начальник полигона, продавал что-то ценное в земле с этого полигона, в итоге на эту кабельную линию просто забили, т.к. ее рвали экскаватором каждую неделю.

      • saboteur_kiev
        /#20532051

        Ну не нужно путать долбодятлов и умышленную диверсию. Во втором случае можно спокойно уйти.

    • 0lom5zhdovdv
      /#20530313

      OTDR укажет на место обрыва с точностью до метра

    • Singaporian
      /#20532397

      На глубине 60 метров. Поэтому возможность саботажа сводится практически к нулю.

      • DreamingKitten
        /#20533983

        Можно подробнее? Это копали траншею такой глубины или там какой-то проходческий мини-комбайн применялся?

        • Singaporian
          /#20534173

          Я перепутал, кажется. Там в статье не «на глубине 60 метров», а «шириной 60 метров».

    • pal666
      /#20539571

      а дело задорнова живет

  2. ledascho
    /#20528743

    История вызывает воспоминания об апокрифе (?) про ширину задницы древнеримской лошади…

    • wild_one
      /#20528789

      Аналогично. Но в штатах же еще попробуй получить вот так запросто непрерывный кусок земли через всю страну, принадлежащий одной (!) компании.

      • cadmi
        /#20529285 / +2

        Есть относительно свежий фильм The Hummingbird Project, там для высокочастотной торговли тянут оптический кабель из Канзаса в Нью-Джерси. Масштабы сопутствующего геморроя с землеотводом неплохо показаны :)

        • dragonnur
          /#20544629

          По идее радиорелейка с регенерацией быстрей должна быть, за счёт того, что среда с более низкими мю и эпсилон?

      • khim
        /#20531149

        Более интересно почему там только «полоска земли», а не железка… То есть вроде как там и железка имеется в большинстве мест… но не везде. Что случилось? Двигаться через континент нужно же не только байтам…

      • Get-Web
        /#20535151

        А его не запросто получили, есть сериал «Ад на колёсах», там как раз эта компания Union Pacific не хило боролась за это, как и многие другие компании

    • bodqhrohro
      /#20529395

      Тут и задницы тоже замешаны, полоса-то вдоль ЖД! Если бы не лошадиные задницы — могло бы быть не 60 метров, а 59 или 61, или проходила бы полоса чуть в другом месте, вместе с кабелями. А отсюда и нехилая разница в расстоянии между дата-центрами, и в расходах на кабель, соответственно. Плюс/минус метр оптоволокна, с тамошними-то пучками — внушительная сумма получается! А уж влияние разницы пинга в 3.33 наносекунды на Всемирную Сеть и представить страшно!

      • vassabi
        /#20529953

        … а потом эти же redacted пишут про политику или социологию!

  3. Newbilius
    /#20530317

    И куда же смотрят хвалёные антимонопольные службы...?)

    • firedragon
      /#20531097

      Видимо в сторону ланчей с лоббистами.

    • balexa
      /#20534213

      А где вы нашли нарушение антимонопольного законодательства? Если бы Union Pacific открыл свою дочернюю телеком компанию и пользуясь своим положением выдавливал бы с рынка Гугл, at&t и прочих — они бы сразу возбудились. Пока Union Pacific предоставляет равный доступ всем по единым расценкам — никакой проблемы монополизации нет.

    • Xandrmoro
      /#20534223

      А какое отношение они к этому имеют?

  4. Legartak
    /#20531609

    Автор перевода молодец. Интересно было б узнать о чём-то подобном, но на территории Европы. Есть ли подобного рода ещё статьи?

  5. iscander_s
    /#20531841

    Очень интересная история. Было-бы любопытно почитать и про наши Российские оптоволоконные магистрали, с ними тоже много чего в тумане.

    • Tyrauriel
      /#20533249

      Очень старый баян.
      Карта магистралей Ростелекома валялется в интернете.
      Тэг «teacable» или «teaproject»

  6. fndrey357
    /#20532049

    Блин, а ракетчики то не знают…

    На хабре была статья.
    «Кровеносная система мирового интернета»

    А вообще, судя по тому, что читал — у нас основные трассы идут вдоль РЖД — там и транспорт с людьми есть и лучше по откосу, чем в чистой тайге.

  7. ProstoTyoma
    /#20532353 / +1

    Раньше строили города вдоль рек. Теперь data-города вдоль data-рек )

  8. OnelaW
    /#20533223

    500-mile email?

    • Whuthering
      /#20533861

      Если кто не знает эту замечательную историю:
      rauf.livejournal.com/23552.html

      • DreamingKitten
        /#20534063

        Которая, по большей части, художественное преувеличение.
        www.ibiblio.org/harris/500milemail-faq.html

        • khim
          /#20534351

          Примерно такое же преувеличение, как любая история, рассказанная в суде под присягой о событиях, случившихся лет 10 назад.

          Вы не поверите — насколько сложно восстановить точные детали чего-то, что изначально не записывалось на видеокамеру, не подшивалось в архив сразу после произошедшего и так далее.

          Человеческая память — штука черезвычайно ненадёжная. Это, условно говоря, «аналоговый DRAM» (когда вы что-то вспоминаете, вы, тем самым, воспоминания стираете, а на их место помещаются, условно, «воспоминания о воспоминаниях»).

          Так что я думаю история рассказана настолько правдиво, насколько автор смог это сделать…

          • DreamingKitten
            /#20537599

            Надеюсь, вы прочитали текст по ссылке, которую я привёл, перед тем как ответить.

            • khim
              /#20537915

              Прочитал, да. Из вещей, которые точно неправда — только 3 миллисекунды и 500 миль.

              То есть ровно то место, которое с точностью до третьего знака после запятой вы не запомните и которое, если вы захотите историю рассказать через десять лет, придётся рассчитывать заново — возможно с ошибками.

              • DreamingKitten
                /#20537979

                Наоборот, когда я читал эту историю впервые в начале 2000-х, всё остальное выглядело хоть и с натяжкой, но примерно правдоподобно, а вот именно на этом месте про 3 миллисекунды я понял (даже без расчётов), что автор, мягко говоря, безбожно врёт. Именно потому, что задержки на коммутаторах, даже на самых продвинутых для того времени, были таковы, что эти несчастные 3 миллисекунды потерялись бы на их фоне как стат. погрешность.

                • khim
                  /#20538477

                  а вот именно на этом месте про 3 миллисекунды я понял (даже без расчётов), что автор, мягко говоря, безбожно врёт.
                  А зря батенька, ой как зря.

                  Именно потому, что задержки на коммутаторах, даже на самых продвинутых для того времени, были таковы, что эти несчастные 3 миллисекунды потерялись бы на их фоне как стат. погрешность.
                  А проверить? Нэ? Ну мы же на Хабре, на техническом, блин, ресурсе. Вот статья примерно как раз тех годов (там даже Ultra 1 примерно такая, как в этой байке, фигурирует). Согласно матмодели свитчи дают задержку в 15?s, паршивенькие карточки в самой железке — 100?s-170?s… А 500 миль кабеля (как он потом в FAQ же уточняет) — это как минимум 5368?s (скрость света + туда/обратно… но на самом деле, из-за физических свойств кабеля, даже чуть больше).

                  Так что… если мы говорим о расстояниях в сотни и тысячи миль, то задержками на коммутаторах в первом приближении действительно можно пренебречь. Они начинают на что-то влиять только если свитчи перегружены.

                  Вот в локалке, с расстояними в сотни метров — там да, соотношения другие.

                  Ваша ошибка в том, что вы «бытовые» понятия перенесли в компьютер. Свет, с бытовой точки зрения, распространяется мгновенно. Однако если речь идёт о компьютерах — то это ни разу не так. Именно скорость света ограничивает размеры Ethernet-сегмента, WiFi-сегмента и так далее! То есть «с точки зрения компьютера» свет — это вот нифига на «мгновенно», это очень даже небыстро… если речь идёт о географически значимых расстояниях… а на частотах в гигагерцы — и того хлеще: если у вас процессор работает, скажем на, на частоте в 1GHz (и бывают и быстрее… сильно быстрее), то за один «тик» свет проходит всго лишь какие-то жалкие 30 сантиметров!

                  P.S. На самом деле я как раз начал считать и думать, когда эту историю прочитал, как раз без чтения FAQ. Почему у нас 0s вообще могут «зачесться» как 3ms или 5ms или вообще как какое-нибудь ненулевое число? Дык эта! Jiffies! Вспомните про three way handshake. Скорее всего в SunOS дизайн был такой, что SYN отсылался в один «тик», а уже ACK мог обрабатываться только в следуюший. Если Jiffies в SunOS были похожими на то, что было в Linux и Windows (10ms в Linux, 10-15ms в Windows), то как раз и получаем время на путешествие в 500 миль — с учётом NIC, свитчей и роутеров.

  9. Sergery8205
    /#20535849

    Спасибо! Познавательная статья. Есть ли нечто аналогичное в Европе или Азии?!

    • khim
      /#20536227

      Даже в России где «свободных» площадей хватает очень много оптики вдоль «железки». Это просто удобно: удобно в случае чего добираться и чинить.

      А вот такого, чтобы «железка» строго по какому-то определённому градусу шла… Это только в США, скорее всего…

  10. igrushkin
    /#20536599

    больше всего удивило, что Union Pacific еще жива и успешно торгует своей привилегией

  11. hard_sign
    /#20538587

    41 параллель! Это ж жара какая. У России 41 градус северной широты – это как раз самая южная точка :)