В России разработан суперкомпьютер, который в 32 раза быстрее видеокарты GeForce RTX 2080 Ti +1




Сетевой адаптер отечественной разработки с чипом TSMC (65 нм) для соединения вычислительных кластеров российского суперкомпьютера

Холдинг «Росэлектроника» госкорпорации Ростех разработал суперкомпьютер «Фишер» с пиковой производительностью 13,5 терафлопс.

Если сравнивать с видеокартой GeForce RTX 2080 Ti, то нужно смотреть на показатель "FP64 (double) performance" (420,2 GFLOPS), а не на "FP32 (float) performance" (13,45 TFLOPS). Таким образом, на самом деле производительность суперкомпьютера не равна производительности RTX 2080 Ti, а превышает её в 32 раза по FP64 (double), спасибо за уточнение Pand5461.

Система сделана по заказу Объединённого института высоких температур Российской академии наук (ОИВТ РАН) для расчёта цифровых моделей и прогнозирования поведения веществ в экстремальных состояниях (при сверхвысоких температурах, давлениях и плотностях энергии).

Модульный суперкомпьютер сконструирован на базе сети «Ангара», которая позволяет объединять любое количество компьютеров в единый вычислительный кластер, сообщают разработчики.

Проект реализован специалистами Научно-исследовательского центра электронной вычислительной техники (входит в «Росэлектронику»).

Сеть «Ангара»


Сеть «Ангара» — первое российское решение для суперкомпьютеров высокой производительности, вычислительных кластеров для обработки больших данных и расчётов на основе параллельных алгоритмов, пишут разработчики. Сеть позволяет объединить в единой системе тысячи серверов, в том числе разных производителей и с разной процессорной архитектурой.

Первое поколение «Ангары» увидело свет в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).


СБИС для сетевого адаптера

Для связи с другими устройствами предусмотрены разъёмы Samtec HDLSP (до восьми подключений). СБИС ЕС8430 разработана московским «Научно-исследовательским центром электронной, вычислительной техники» (НИЦЭВТ) и изготавливается тайваньской компанией TSMC по технологии 65 нм. Плата сетевого адаптера изготавливается НИЦЭВТ на собственном производстве.

В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.


Коммуникационная сеть «Ангара» (1-е поколение). Принципы построения (из документации)

См. также руководство пользователя.

Второе поколение «Ангары» позволяет создавать кластеры из серверов и рабочих станций с использованием обычных медных или оптических кабелей. Разработчики утверждают, что подключить таким образом машины сможет «любой подготовленный пользователь». Коммуникационную задержку при обмене данными между узлами удалось сократить до 0,85 мкс.

Характеристики модульного суперкомпьютера «Фишер» и межконнекта


  • Топология сети: 4D-тор
  • Адаптер на базе СБИС
  • Различные физические среды передачи данных
  • 8 каналов связи
  • Задержка на MPI: 0,85 мкс
  • Задержка на хоп: 130 нс
  • Масштабирование до 32К узлов
  • Коммутаторное и бескоммутаторное исполнение
  • Поддержка RDMA и GPUDirect
  • Детерминированная и адаптивная маршрутизация
  • Маршрутизация с обходом отказавших узлов и каналов связи
  • Протокол надёжной передачи данных по каналу связи
  • Поддержка ОС на базе ядра Linux
  • Поддержка ОС Astra Linux Special Edition
  • Поддержка средств параллельного программирования OpenSHMEM, MPI, OpenMP
  • Энергопотребление до 20 Вт

«Фишер»


«Фишер» — это первый суперкомпьютер на базе «Ангары» в коммутаторном исполнении, что позволяет создавать суперкомпьютеры с большей плотностью компоновки (по сравнению с бескоммутаторным вариантом исполнения) и облегчает монтаж и дальнейшую эксплуатацию вычислительной системы за счёт уменьшения числа используемых для коммутации кабелей.

«Сложные расчёты требуются для научных исследований, обучения нейронных сетей, обработки больших объемов данных, моделирования характеристик новых изделий промышленных предприятий. При этом вычислительные ресурсы суперкомпьютеров крайне востребованы и дорогостоящи, — говорит исполнительный директор Госкорпорации Ростех Олег Евтушенко. — Сеть "Ангара" успешно решает эти задачи, позволяя сравнительно дёшево и в сжатые сроки формировать суперкомпьютеры на основе отдельных вычислительных узлов. В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети "Ангара". Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании "младшего брата" этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности "Фишера" могут быть существенно расширены».

Предыдущий кластер состоял из 32-х узлов с адаптерами на базе СБИС и процессорами Intel Xeon E5-1650 v3.

«Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. В вычислительном кластере используется погружная (иммерсионная) система охлаждения, обеспечивающая равномерную и энергоэффективную терморегуляцию.

На Хабре публиковалось несколько статей о разных системах иммерсионного охлаждения, например, с погружением в минеральное масло и сухую воду.



Благодаря такому решению суперкомпьютер не требует специально подготовленных помещений, а диапазон рабочих температур кластера составляет от ?50°С до +50°С.

Раньше иммерсионное охлаждение считалось труднореализуемым с инженерной точки зрения и плохо масштабируемым решением, но сейчас в число самых высокопроизводительных систем мира (из рейтинга Топ 500) входит несколько достаточно компактных и крайне экономичных систем именно с погружным охлаждением.

В настоящий момент самым мощным суперкомпьютером в России является установленный в МГУ суперкомпьютер «Ломоносов-2» производства «Т-Платформы» (пиковая производительность 4,9 петафлопс, по тесту Linpack 2,5 петафлопс). На втором месте суперкомпьютер производства «T-Платформы» и CRAY, установленный в главном вычислительном центре Федеральной службы по гидрометеорологии и мониторингу окружающей среды (1,2 петафлопс по Linpack). Замыкает тройку система «Ломоносов» («Т-Платформы», МГУ) с производительностью 901,9 терафлопс по Linpack.

Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (51):

  1. Pand5461
    /#20645661 / +2

    Это на 0,1 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti.

    Это на 13 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti (https://www.techpowerup.com/gpu-specs/geforce-rtx-2080-ti.c3305). Что за дурацкая идея, что скорость суперкомпьютера в 2019 году считают по одинарной точности?

    • Sdima1357
      /#20645825 / +1

      В статье немного непонятно, что на самом деле

      Суперкомпьютер «Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами


      Скорость по одинарной точности

      Зависит от области приложений. Иногда достаточно и одинарной точности. На игровых карточках двойная точность урезана искусственно. Возьмите «Теслы»
      Tesla v100 — 7.8 TFLOPS double, 15.7 TFLOPS single

    • crazy_llama
      /#20645885 / +1

      С другой стороны часто нужно одинарная или даже половинная точность. Это может дать очень хороший буст в скорости обработки. 20хх как раз поддерживают половинную точность, + в последнее время, видел много статей про machine learning и половинную точность. Выглядит это очень многообещающе.

      • Pand5461
        /#20646177 / +1

        Ну пускай собирают на базе 20xx те, кому нужна одинарная или половинная точность. В институте пока что основная база программ требует двойной точности, поэтому собрали то, что удовлетворяет нуждам.
        С видеокартами — стоит уже "Десмос", частично задача и в том, чтобы увести с него пользователей, которые видеокарты не используют.

  2. balamutang
    /#20645697

    Это наш суперкомпьютер или фото из интернета?
    image

    • drWhy
      /#20645789 / +1

      Это майнинг-ферма, погружённая в резервуар с сухой водой.

    • dolovar
      /#20645871

      Фото взято из статьи 2014 года: Охлаждение погружением, серверы «под водой»: Immersion-2 для 3M™ Novec™ обеспечил волшебные результаты, применение на практике в Гонконге.

  3. RomanZon
    /#20645727

    В России разработан = с чипом ТMSC

    • Pand5461
      /#20645735 / +4

      Разработан этот чип таки в России, производство — на TSMC, такие дела.

  4. Geghamyan
    /#20645729 / +3

    Суперкомпьютер с производительностью как у видеокарты? И при том с системой иммерсионного охлаждения. У GeForce RTX 2080 Ti и TDP — 300 Вт.

    • YuraLia
      /#20645853 / +3

      Да, у меня тоже неоднозначные ощущения возникли от названия статьи) Зачем тогда такой суперкомпьютер, если есть видеокарта 2080Тi? Я понимаю, что у такого суперкомпьютера могут быть преимущества, но название статьи говорит что скорее в пользу 2080Тi. Типа покупайте видеокарту, у нее производительность такая же как у самого передового российского суперкомпьютера))
      upd. Пока писал коммент, название изменили, и теперь оно действительно отражает суть статьи.

      • RomanZon
        /#20645917 / +1

        Ну так даже смешнее получается Россия наконец то одолела Нвидию
        сколько лет понадобилось?
        А ну да сделано то всеравно у ТМСЦ. Порядок!

        • eumorozov
          /#20645981 / -1

          Откуда столько злорадства? А что надо делать? Не развивать вообще ничего — покупать все готовое? Может и люди не нужны — сразу правильных откуда-нибудь закупить?

          • lelik363
            /#20646047 / +2

            Скорее всего из-за странной подачи материала. В официальном пресс-релизе никакого сравнения с nVidia нет.

      • Pand5461
        /#20647225 / +1

        название изменили, и теперь оно действительно отражает суть статьи

        Ну да, было "незваный гость хуже татарина", стало "незваный гость лучше татарина".
        На самом деле, именно российская часть — интерконнект "Ангара" — по задержке на пересылку MPI сообщения сопоставима с Infiniband, 0,85 мкс против [0,9 мкс у Infiniband] (http://sc16.supercomputing.org/sc-archive/tech_poster/poster_files/post149s2-file3.pdf).

        • safari2012
          /#20647835

          который практически полностью теперь тоже принадлежит nvidia (после покупки mellanox).

  5. Gryphon88
    /#20646017

    Я правильно понимаю, что этот суперкомпьютер надо скорее рассматривать как proof of principle для нового поколения коммутации «Ангара»? Вот сомневаюсь я, что «Фишер» стоит как 32 видюшки.

    • Pand5461
      /#20646509 / +1

      До некоторой степени, да. "Ангара" работает, но любят всё российское у нас только на словах, а на деле НИЦЕВТу не особо верят и на предложения собрать на их интерконнекте хотя бы тестовый кластер отвечают "мы перезвоним". Ну вот в ОИВТ всё-таки собрали.
      По стоимости — 32 видюшки без блоков питания, матплат, оперативной памяти, процессоров, дисковой и сетевой периферии тоже как бы не нужны, а со всем этим они и стоить сразу начинают ого-го.

  6. Tyusha
    /#20646075 / +3

    Я конечно не специалистка, но всегда считала, что суперкомпьютер отличается от кластера в частности тем, что между узлами используется не сетевой интерфейс, а высокоскоростные шины.

    В статье везде путаница с терминологией. Там то про сетевой интерфейс, то про вычислительный узел (который почему-то назван суперкомпьютером). Короче, что это было на самом деле так и не поняла.

    • blind_oracle
      /#20646345 / +1

      Я конечно не специалистка, но всегда считала, что суперкомпьютер отличается от кластера в частности тем, что между узлами используется не сетевой интерфейс, а высокоскоростные шины.

      В суперкомпьютерах обычно используется Infiniband. Считать его сетевым интерфейсом или нет — вопрос религии. Другое дело что там используется его RDMA функционал.

    • safari2012
      /#20647973

      Принципиальная разница между MPI-интерконнектами, если очень грубо это либо соединения между процессорами (ccNuma), либо на уровне шины PCI-Express (Infiniband, Ангара и т.п.).
      В первом случае очень дорого, но получаем некое подобие SMP (aka NUMA).
      Во втором случае всё действительно очень похоже на соединение сетевыми картами, только интерфейсы и протоколы более скоростные с меньшими задерками, но и длина зачастую существенно меньше. Ну и это кластер, а не SMP/NUMA.

  7. ni-co
    /#20646163 / +5

    В статье с кричащим названием какая то непонятная мешанина фактов. Одному мне здесь многое непонятно?

    • solariserj
      /#20646393

      Не только вам. От таких заголовков уши вянут, вместо реальной работы. Пусть спокойно запустят, даст профит, но без кликбейта.

  8. alemiks
    /#20646315 / -6

    в 32 раза быстрее видеокарты GeForce

    советские инженеры сумели сделать его всего в 32 тыщи раз больше по размерам

    • Tufed
      /#20646667

      Советские инженеры перестали быть советскими 18 лет назад.

      • Serge78rus
        /#20647109 / -1

        А какое именно событие, произошедшее именно 18 лет назад, сделало уже не существующих к тому времени советских инженеров не советскими?

  9. cxell
    /#20646549

    Энергопотребление до 20 Вт

    Маловато будет. Может, всё-таки киловатты?

    • balamutang
      /#20646797 / +2

      Это потребление этой карты, которая толи сетевая, толи еще какой-то интерконнект.
      Разработали карту, на базе которой можно построить (и вроде построили суперкомп)
      Статья конечно дичь, от заголовка до содержания

  10. SovietTwins
    /#20647115 / -2

    Я немного не понял. Эта карта что-то вычисляет? Столько террафлопс на 20Вт? На 65нм тех процессе? Да это почти перпетуум мобиле! Или же этот кусок устаревшего г… на просто позволяет отправить пачку данных в супер компьютер на сверхвысокоростную обработку на такой огромной скорости? Как я понял это именно об этом и идёт речь. При чём здесь 2080? Ну создали сверх быстрый интерфейс. Ну молодцы. Но не он эти операции обсчитывает. Это блин как рекламировать модем. Который быстрее звуковой карты, поскольку может музыку скачать за 2 секунды, а звуковая карта такой сигнал вообще не воспроизведет. Нелогично? Как и эта статья.

    • norguhtar
      /#20647355

      Это карта которую можно использовать для построения кластеров. Дальше можно ставить куда хочется.

  11. Andrey_Dolg
    /#20647201 / +1

    В России разработана самая передовая технология, написания непонятных статей о передовых технологиях.

    Интересно, если нельзя притянуть за уши какую-нибудь компанию покрупнее, то статья и не будет написана. Это так работает?

    • Per_Ardua
      /#20647227

      Что-то это начинает очень походить на akket.com. Даже обидно как-то за хабр.

  12. aroman313
    /#20647721 / -1

    Уже давно и смартфоны разработали, показывали, и внедряли планшеты в школы, и даже глонасс сделали, правда, ненадолго, и ракеты в мультфильмах.

  13. safari2012
    /#20648017

    На самом деле, очень своевременное решение (если действительно это решение работает, как заявлено). Основным поставщиком Infiniband оборудования является израильский Mellanox, который теперь является частью nvidia (плюс немного Qlogic, который тоже американский). Если сервера в режиме санкций можно закупить где-угодно, в том же Китае, то вот с Infiniband теперь могут быть проблемы.

    Однако, в настоящий момент на сайте Ангары нашел только PCIe-карты, коммутаторов не видать…

    • Pand5461
      /#20649947

      Есть публикации с тестами: раз, два.
      Во второй есть и статистика использования кластера, чтобы тут не думали, будто это оборудование годится только на то, чтобы тесты на нём прогнать и оставить пылиться.

      • safari2012
        /#20650635

        Прочитал, спасибо. Нет там коммутаторов. Узлы соединяются друг с другом, образуя кольцевую (тороидальную) шину. Коммутаторы Infiniband «могут быть организованы в сети с топологиями типа утолщенное дерево (Fat Tree), Сеть Клоза, реже — многомерный тор, двойная звезда, и в различных гибридных комбинациях», т.е.вариантов больше. Я также вижу слабое место — гигабитная сеть в параллели с ангарой. Infiniband в себя также инкапсулирует IP и не требует отдельной сетевой карты, отбирающей ресурсы PCIe шины, необходимой для CUDA и интерконнекта.
        Тем не менее, будем посмотреть, во что это все вырастет.

        • Pand5461
          /#20651229

          Да, тесты все для PCIe исполнения. Что в новой системе коммутаторная версия — я только из этой новости и узнал.
          Тор — это неплохо, по крайней мере, для HPC. IBM Blue Gene с тороидальной топологией сети какое-то время стабильно занимали первые места в Top500. Сейчас, правда, сами IBM ушли в сторону Fat Tree — как объясняют, на большой системе проводов меньше.
          С точки зрения MPI, тор даёт быстрее точечные обмены (send/receive) между соседними узлами, а fat tree — глобальные операции (broadcast, scatter/gather, reduce, alltoall).

  14. xmikex
    /#20648433

    Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?
    То есть экономически оно выгодно?

    • dolovar
      /#20648901

      Не думаю, что цена здесь является основным параметром, но позволю себе немного развить эту тему. Во имя пятницы.

      Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?
      Вы забыли про систему охлаждения и про энергоснабжение, соответствующее охлаждению. Но это мелочи, наверняка цена станет основным козырем, терафлопсы есть терафлопсы, не так ли?
      В оригинальном пресс-релизе:
      В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности «Фишера» могут быть существенно расширены
      Самое трудное — конкретность каких-то задач и возможность расширения. Но всё решаемо, конечно.
      До основания стартапа по закупке видеокарт осталось несколько шагов:
      — Уточнить решаемые задачи.
      — Прикинуть решение «на видеокартах».
      — Получить сертификаты по допускам и надежности.
      — С легкостью выиграть конкурс по цене.
      — Начать массовые продажи решения в другие институты и учреждения, в которых заседают замшелые старики, которые до сих пор думают, что видеокарты годятся лишь для игр и майнинга.
      — Написать книгу о свершившейся революции.

    • Pand5461
      /#20649581

      А что он дороже-то будет? Плюс-минус одинаково стоит, и доля утилизируемой производительности от пиковой выше, чем с видеокартами.
      Память, дисковое хранилище, интерконнект, система охлаждения, ИБП — нужны в равной мере CPU и GPU системам. Или видеокарты должны магическим образом без этого всего образовать параллельную вычислительную систему?

  15. gncl1000
    /#20650371

    Сравнить видюху с компом… Это только русские так могут!

  16. pavelcd
    /#20651469

    А бюджету эта "разработка" обошлась как строительство завода Nvidia? Покажут путену матплату Huanan с русскими наклейками и он ещё трилиончик на реализацию. Ничего нового.

  17. SovietTwins
    /#20652345

    Я немного не понял насчёт минусов… Если хабр прополитизировался, то может кто подскажет альтернативы?
    Никто так и не написал как связанны сетевая карта которая сама ничего не считает и видеокарта, которая сама считает. Какие террафлопсы? Зачем сравнивать пору с пальцем?