Какие видеокарты выгоднее для бизнеса — RTX 4090 или серверная RTX A5000? +10


В этой статье мы сравним новинку от компании Nvidia — GeForce RTX 4090 — с различными профессиональными картами от этого производителя и попытаемся ответить на вопрос «Выгодно ли использовать новую видеокарту в рабочих процессах или все-таки лучше использовать серверные видеокарты?».

Профессиональные и игровые GPU-карты имеют ряд значительных отличий, определяемых целью использования:

  • Сфера применения. Серверные видеокарты применяются в ML-разработке, рендеринге и моделировании сложных объектов, научных исследованиях, кинопроизводстве и т. д. Игровые видеокарты предназначены для индивидуального использования.

  • Охлаждение. Система охлаждения профессиональных карт выдувает горячий воздух из сервера или рабочей станции. Турбина охлаждения у них предназначена для постоянной работы. Игровые карты выдувают воздух вверх карты, они должны использоваться в специальных корпусах с хорошей системой вентиляции. Вентиляторы игровых карт не предназначены для длительной работы и выходят из строя при длительной постоянной эксплуатации.

  • Производительность и энергоэффективность. Профессиональные GPU позволяют производить больше вычислений при меньшем энергопотреблении. Эта особенность во многом определяет высокую стоимость серверных видеокарт.

  • Особенности производства. Контроль качества при изготовлении профессиональных карт строже, нежели при создании игровых.

  • Разъемы. Профессиональные карты не снабжены разъемами (HDMI, DVI) для вывода видео — есть только DisplayPort.

  • Дополнительный функционал. Не все серверные GPU могут быть использованы для игр.

Обзор технологии GeForce RTX 4090

Графический процессор GeForce RTX 4090 был выпущен в конце 2022 года и стал продолжением линейки десктопных ускорителей от компании NVIDIA, что вызвало большой интерес у игроков по всему миру. 

Ключевыми особенностями карты являются:

  • Как и во всей линейке GeForce RTX 40, используются новые графические процессоры AD10x (в 4090 — AD102) на основе архитектуры Ada Lovelace и с применением технологического процесса 4N (TSMC).

  • Повышена производительность операций трассировки лучей и машинного вычисления на тензорных ядрах.

  • Технологический процесс 4N позволяет повысить энергоэффективность на несколько процентов.

  • Размер карты (304 на 137 мм, 3 слота) осложняет ее монтаж как в настольных ПК, так и в серверах.

  • Игровая система охлаждения, что зачастую делает невозможным использование 4090 в GPU-серверах.

  • По сравнению с 3090, в AD102 на 70% больше CUDA-ядер.

  • Технология NVIDIA DLSS 3 использует алгоритмы анализа векторов движения и OFA.

  • Платформа NVIDIA Reflex с низкой задержкой позволяет повысить качество игры профессиональных геймеров.

  • Кодировщик NVEnc 8-го поколения с поддержкой кодирования AV1.

  • Приложение NVIDIA Broadcast.

  • NVIDIA Studio.

Технические характеристики видеокарт NVIDIA RTX A4000, NVIDIA RTX A5000, NVIDIA RTX 3090 и NVIDIA RTX 4090

RTX А4000

RTX А5000

RTX 3090

RTX 4090

Архитектура

Ampere

Ampere

Ampere

Ada Lovelace

Техпроцесс

8 нм

8 нм

8 нм

4N

Графический процессор

GA104

GA102

GA102

AD102

Количество транзисторов (млрд.)

17,4

28,3

28,3

76,3

Тактовая частота (ГГц)

0,74

1.17

1,39

2,23

Тактовая частота с ускорением (ГГц)

1.56

1.70

1.70

2,52

Memory frequency (МГц)

1,750

2,000

1,219

1,325

Пропускная способность памяти (Гб/с)

448

768

936.2

1008

Память GPU (Гб)

16 ГБ

24

24

24

Тип памяти

GDDR6

GDDR6

GDDR6X

GDDR6X

Cache memory (Мб)

4

6

6

72

Память ECC

есть

есть

нет

нет

Ядра CUDA

6 144

8192

10496

16384

Тензорные ядра

192

256

328

512

Ядра RT

48

64

82

128

Количество текстурных модулей

192

256

328

512

Максимальная мощность (Вт)

140

230

350

450

Вычислительная производитель­ность FP16 (half) (терафлопс)

19.2

27.8

35.6

82.6

Вычислительная производитель­ность FP32 (float) (терафлопс)

19.2

27.8

35.6

до 82,6

Вычислительная производитель­ность FP64 (double)

599 гигафлопс

867.8 гигафлопс

556 гигафлопс

1.3 терафлопс

Теоретическая максимальная скорость закраски (гигапикселей/с)

149.8

162.7

189.8

444

Теоретическая скорость выборки текстур (гигатекселей/с)

149.8

433.9

566

1290

Интерфейс

PCI-E 4.0 x16

PCI-E 4.0 x16

PCI-E 4.0 x16

PCI-E 4.0 x16

NVIDIA DLSS

нет

нет

есть

3

Nvlink

нет

Двухплатная низкопрофильная конфигурация (мосты на 2 и 3 слота)

нет

нет

Поддержка CUDA

8.6

8.6

8.6

8.9

Поддержка VULKAN

1.3

1.3

1.2

1.3

DirectX

12 Ultimate

12 Ultimate

12 Ultimate

12 Ultimate

Shader Model

6.6

6.6

6.7

6.7

OpenGL

4.6

4.6

4.6

4.6

OpenCL

3.0

3.0

3.0

3.0

Поддержка ПО Virtual GPU (vGPU)

NVIDIA Virtual PC (vPC) и Virtual Applications (vApps), NVIDIA RTX vWS, NVIDIA Virtual Compute Server

Цена (руб.)

111 917

216 000

116 990

от 138 000

Новая архитектура, пропускная способность памяти и количество тензорных ядер, технология DLSS 3 и другие характеристики GeForce RTX 4090 определяют широкий спектр применения графического процессора — не только гейминг, но и работа с искусственным интеллектом, сложными вычислениями.

Тестирование HOSTKEY

Описание тестовой среды:

  • Процессор AMD Ryzen 9 5900 X 12-Core Processor (3.80 GHz)

  • 32 GB DDR4-3200 ECC DDR4 SDRAM 1600 МГц

  • Microsoft Windows 10 Professional 64-разрядная

Tест V-Ray GPU CUDA

Points scored
Points scored

Tест V-Ray GPU RTX

Points scored
Points scored

Blender Benchmark

В этом тесте и в LuxMark мы сравним только карты RTX A5000 и RTX 4090, поскольку они наиболее интересны в контексте этой статьи.

Points scored
Points scored

LuxMark

Points scored
Points scored

Мы измерили относительную производительность GPU при рендеринге. Показатели GeForce RTX 4090 в тестах выглядят впечатляюще и превосходят практически вдвое не только результаты RTX 3090, но и профессиональные GPU. Тест V-Ray GPU RTX демонстрирует работу GPU с трассировкой лучей — показатели RTX 4090 также в два раза превосходят результаты RTX 3090.

«Собаки против кошек»

Для сравнения производительности GPU для нейросетей мы используем набор данных «Собаки против кошек» — тест анализирует содержимое фотографии и различает, изображена на фото кошка или собака. Все необходимые исходные данные находятся здесь. Мы запускали этот тест на разных GPU и в различных облачных сервисах, получили следующие результаты:

Полный цикл обучения (мин.)

Points scored
Points scored

Полный цикл обучения тестовой нейросети занял от 31 до 60 минут. Результат GeForce RTX 4090 составил 31 минуту и превзошел показатели всех остальных GPU. Наиболее заметна разница в результатах карт RTX 3090 и RTX 4090 — новое поколение ГПУ от NVIDIA справилось с расчетами почти вдвое быстрее предыдущего.

Тесты показали, что ближайшим конкурентом карты 4090 является A5000. Осталось сравнить эти карты по соотношению цена-качество. Во всех проведенных тестах новая карта от Nvidia показала результат, превышающий показатель RTX A5000 примерно вдвое. В то же время стоимость RTX 4090 значительно ниже: 138 тысяч рублей (минимальная цена) против 216 тысяч. Казалось бы, выбор очевиден — но есть нюансы. GPU A5000 потребляет значительно меньше энергии и может быть выгодным решением для задач с постоянной высокой нагрузкой на GPU на длинной дистанции. RTX A5000 поддерживает технологию NVLink, что полезно при обучении нейронных сетей. GPU A5000 не имеют ограничений на использование NVENC/NVDEC при задачах параллельного транскодирования видео. При покупке специализированной лицензии профессиональные GPU класса A5000 могут быть виртуализированны и доступны в сервере как несколько виртуальных GPU меньшей мощности. Еще одна проблема — запрет Nvidia на использование драйверов для своих игровых карт в дата-центрах и в удаленном режиме вне офиса.

Хотя на промофото NVidia много 4090 с большими вентиляторами и формате 3 юнита, в реальности эту конфигурацию практически невозможно купить. На складах есть только игровые карты большого размера на 4 юнита и повышенной высоты с выдувом вверх и вниз карты. Такие карты не могут быть использованы в серверах и большинстве рабочих станцией.

Заключение

Переход на новую архитектуру Ada Lovelace позволил значительно увеличить производительность GeForce RTX 4090. Улучшенные тензорные ядра и ядра RT значительно повышают качество и расширяют возможности трассировки лучей в реальном времени. Объем памяти в 24 Гб позволяет обрабатывать большие массивы данных. 

GeForce RTX 4090 в первую очередь предназначена для гейминга и прекрасно подходит для решения различных типов вычислительных задач: ИИ, анализ данных, машинное обучение. Новая архитектура значительно превосходит предыдущее поколение графических процессоров от NVIDIA. Важное ограничением в профессиональном использовании этой видеокарты — высокое энергопотребление и отсутствие возможности объединить несколько карт при помощи Nvlink.

Альтернативой приобретению видеокарты является аренда сервера с GPU. Наши расчеты показывают, что месячная аренда карт GeForce RTX 4090 и RTX A5000 сопоставима по цене. Соответственно, при необходимости выполнения профессиональных задач аренда карты GeForce RTX 4090 может быть выгодна за счет ее высокой производительности. 


Арендуйте выделенные и виртуальные GPU серверы с профессиональными графическими картами NVIDIA RTX A5000 / A4000 в надежных дата-центрах класса TIER III в Москве и Нидерландах. Принимаем оплату за услуги HOSTKEY в Нидерландах в рублях на счет российской компании. Оплата с помощью банковских карт, в том числе и картой МИР, банковского перевода и электронных денег.





Комментарии (31):

  1. JohnSelfiedarum
    /#25197362 / +2

    Бизнеса для - о боже! Не в серверном окружении, а на своей персоналке протестщено - прекрасно!

    А есть ли у автора понимание, что в сервер кое-кто из этих карт банально не влезет?

    • CaptGg
      /#25197542 / +2

      Вы забыли, что у бизнеса есть понимание выгоды. Если будет оправдано использование RTX4090, то будут и серверы в которые они влезут, причем от вполне себе какого-нибудь Supermicro.

      • dasafyev
        /#25197586 / +2

        Вы совершенно правы, для бизнес показателей важна стоимость покупки или аренды оборудования. Сейчас разброс стоимости очень большой на рынке, так что мы сосредоточились на перформансе.

    • lxnvr
      /#25198050 / +1

      Очень многие такие бизнесы выросли из кучки разносортных десктопов на полках в полуподвале. Я думаю, и сейчас не брезгуют.

  2. Squoworode
    /#25197752 / +1

    Игровые карты выдувают воздух вверх карты

    Мне казалось, материнки продолжают делать под правую стенку системного блока, и сверху у видеокарты текстолит. Поэтому она сосёт воздух снизу и вдувает его в радиатор, из которого ему деваться некуда, кроме как утекать через заднюю стенку...

    • Shnurokspb
      /#25197854 / +6

      Вы не видели новых видеокарт... теперь они еще продуваются насквозь и греют процессорный кулер и оперативную память...

      RTX 30XX-40XX

      • nicolas_d
        /#25202498

        На картинке изображён референс карты, и он, можно сказать, ещё нормален в части охлаждения. У меня 3070 от gigabyte, вот чем там думали инженеры при проектировании охлаждения, для меня загадка. Выдув идёт строго перпендикулярно материнской плате. Задний край радиатора чётко над южным мостом матплаты, как результат - постоянный сильный нагрев чипсета.

  3. IliaIT
    /#25197754 / +1

    Странное сравнение карточек. они из разных ниш и задач. в частности А5000 это из линейки для видеостен и ставятся обычно по 2 штуки на системник (а в теории до 32х мониторов поддержка). они адаптированы под NVIDIA® Mosaic, что позволяет использовать все мониторы как единый экран без всяких доп действий (то есть по простому если кликнуть на значок развернуть окно на весь экран то оно развернётся на все мониторы без вопросов). так же возможность синхронизации изображений между отдельными пк схожей конфигурации. в общем много чего там есть для больших разрешений.

    • dasafyev
      /#25197868 / +1

      У А5000 большой потенциал и используют их много где. Мы лишь предложили один из вариантов сравнения, цели сравнить карты во всех возможных вариантах использования мы перед собою не ставили

    • ULP
      /#25200240

      есть разные варианты использования, несколько не наш случай с нейросетями и транскодингом

  4. lxnvr
    /#25198068 / +1

    Вентиляторы игровых карт не предназначены для длительной работы и выходят из строя при длительной постоянной эксплуатации

    Майнеры тут бы поспорили. Также имеет значение ориентация карты к земле, если ось вентиляторов параллельно, нагрузка на втулки/подшипники меньше, чем если кулеры висят "вниз головой". Да и системы озлаждения на топовых игровых картах типа всяких Стриксов-Аорусов изготовлены с большим запасом, а это и более низкие скорости вращения, и благоприятный температурный режим.

    • ULP
      /#25200248

      у нас огромный опыт эксплуатации такого и всякого. ни разу не видел сломанную турбину, а запасных вентиляторов для радеонов и прочих подобных карт на алике ящиками брали. иногда долго работает, а обычно перестаёт крутиться или разбивает за полгода примерно

  5. PTM
    /#25198848

    потестите на физических задачах, ну хотя бы на ansys

    • ULP
      /#25200392 / +1

      мы к сожалению в этом не разбираемся, можем выдать машины на тесты - напишите отчёт для хабра?

  6. PowerMetall
    /#25199206 / +1

    Система охлаждения профессиональных карт выдувает горячий воздух из сервера или рабочей станции.

    Игровые карты выдувают воздух вверх карты

    Нуу, в общем случае я бы так не сказал ))
    RTX 4090 с "турбиной" (вентилятором тангенциального типа)
    RTX 4090 с "турбиной" (вентилятором тангенциального типа)

    • ULP
      /#25200258 / +1

      на картинке норм, да вот на складах нет. нвидиа явно запретила делать такие корпуса своим партнёрам

      • wizard_s
        /#25200420

        Ждем выхода на рынок правильных радиаторов под видеокарты? :) Вентилятор вообще можно будет выкинуть, сервера под теслоподобные часто сами нормально продувают gpu насквозь.

        • ULP
          /#25200618

          вам не понравится находится в одном помещении с таким сервером. рядом с ним шумно примерно на 90-100 dB. там радиатор во всю длинну карты и перед ним двойная турбина 80х80 на 10к оборотов. и их там часто 5-6 штук, иногда и столько же на выдув.

          водянки для 3090 свободно продаются, эти не проблема.

          • wizard_s
            /#25200684

            А зачем сидеть в помещении с сервером, если под них отдельные помещения есть? Для рабочей же станции и переделывать вентиляцию смысла особого нет, если в нее 4-8 штук засунуть не планируют. Кроме того, под нагрузкой это нормальный такой обогреватель получается на пару-тройку киловатт и в одном помещении с ним сидеть все равно будет не очень даже без шума.

            • ULP
              /#25200830

              мы немного отошли от темы. эти все карты не предназначены для такого продува, а те что предназначены, типа А100 - эксплуатируются в специальных серверах в ЦОД. более того А5000 в такой сервер можно поставить, но вентилятор сервера участвовать в охлаждении не будет

  7. CaptainFlint
    /#25199656 / +1

    Еще одна проблема — запрет Nvidia на использование драйверов для своих игровых карт в дата-центрах и в удаленном режиме вне офиса.
    А можно цитату про запрет на удалённый режим? Целиком вычитывать всё соглашение довольно накладно, а поиском по ключевым словам удалось найти лишь про датацентры, а про удалённый доступ — нет. Да и вообще странная формулировка. Это что, я не имею права удалённо зайти на свой домашний комп, на котором игровая видеокарта с соответствующими драйверами?

    Также было бы интересно сравнить соотношение производительности к энергопотреблению. В статье говорится, что A-карты потребляют меньше, но никаких цифр не приводится.

    • ULP
      /#25200274

      там одно предложение в самом начале. в вольном переводе дрова для игровой линейки нельзя использовать на системах установленных в датацентрах и удалённых локациях вне места, откуда работает оператор за исключением работ с блокчейн.

      • CaptainFlint
        /#25201568

        Если вы про фразу

        No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted.
        то, как я написал, да, про датацентры вопросов нет. Но я не не вижу тут ни единого слова про удалённую работу.

        • ULP
          /#25201932

          Customer may install and use multiple copies of the SOFTWARE on a shared computer or concurrently on different computers, and make multiple back-up copies of the SOFTWARE, solely for Customer's use within Customer's Enterprise. "Enterprise" shall mean individual use by Customer or any legal entity (such as a corporation or university) and the subsidiaries it owns by more than fifty percent (50%).

          это можно трактовать как "в офисе" или "дома".

          • CaptainFlint
            /#25202326

            Это чересчур широкая трактовка, не подкреплённая текстом. Понятие Enterprise тут никоим образом не относится к физическому местоположению, а говорит лишь о владении собственностью.

  8. snakers4
    /#25200172 / +1

    С одной стороны статья вроде хорошая, а с другой - очень много воды и не заданы самые главные вопросы, а именно:

    • Памятуя про про опыт с 3090 с турбинами от Gigabyte (они были так хороши, что поначалу никто не хотел покупать серверные карты), будут ли 4090 с турбинами, и будет ли там такой же треш с TDP и физическими размерами?

    • Реально ли вообще будет купить такие 4090? Не убьет ли Nvidia эту "лазейку" уже на старте?

    • Будут ли вообще серверные решения уровня А10 / A100 / A4000 / A5000 на новой архитектуре в ближайшее время, и можно ли их вообще будет купить, памятуя о текущих событиях в мире (H100, к примеру, доступны только для "своих" и в уже сборках с неплохой маржой сверху)?

    А так да, на любых тестах для игр карты серии 40* неадекватно дорогие (и, шапочка из фольги, новые игры специально для этого плохо оптимизированы), а для вычислений чудо как хороши.

    Вообще конечно с трудом верится, что для вычислений Pascal были хороши, Turing были не очень, Ampere были весьма и весьма очень (x2-x3), а Ada якобы опять очень (опять x2?).

    Где-то должна быть подстава. Наверное она в неадекватных TDP или в отсутствии поставок или чем-то таком. С другой стороны, если условная A10 или A5000 имеют TDP в районе 150-200 ватт (можно настроить всегда), а 4090 - 450, то как бы "прирост" в 2 раза улетучивается ...

    • ULP
      /#25200290 / +1

      1) им запретили так делать

      2) нет, их нет в продаже

      3) конечно

      подставы нет, карта рассчитана на любителей хорошо поиграть и поработать на своей рабочей станции. не все задачи можно разнести на несколько гпу, вот и одна мощная часто полезнее чем пара попроще.

      • snakers4
        /#25200302

        карта рассчитана на любителей хорошо поиграть и поработать на своей рабочей станции

        Для многих задач машинного обучения, да и имхо просто с точки зрения отказоустойчивости, 2 карты с 24 GB памяти предпочтительны одной, у которой TDP в 2 раза выше …

        и одна мощная часто полезнее чем пара попроще.

        Я думал, что карты давно обогнали игры, но в последнее время учащаются отчеты, что мол на максимальных настройках новых игры тормозят на карты 40*. Но это неточно.

        • ULP
          /#25200366 / +2

          нет. если модель большая, она должна влезть в память целиком и 2 мелких карты будут бесполезны. разложить задачу на несколько карт не такая простая история, это происходит совсем не автоматически.

          на 4К или 8К все что угодно может тормозить на хаях. у меня 3090 стоит с 4К монитором, в кибеопанке отнюдь не максималки.