Какие видеокарты выгоднее для бизнеса — RTX 4090 или серверная RTX A5000? +10
31
4300
В этой статье мы сравним новинку от компании Nvidia — GeForce RTX 4090 — с различными профессиональными картами от этого производителя и попытаемся ответить на вопрос «Выгодно ли использовать новую видеокарту в рабочих процессах или все-таки лучше использовать серверные видеокарты?».
Профессиональные и игровые GPU-карты имеют ряд значительных отличий, определяемых целью использования:
Сфера применения. Серверные видеокарты применяются в ML-разработке, рендеринге и моделировании сложных объектов, научных исследованиях, кинопроизводстве и т. д. Игровые видеокарты предназначены для индивидуального использования.
Охлаждение. Система охлаждения профессиональных карт выдувает горячий воздух из сервера или рабочей станции. Турбина охлаждения у них предназначена для постоянной работы. Игровые карты выдувают воздух вверх карты, они должны использоваться в специальных корпусах с хорошей системой вентиляции. Вентиляторы игровых карт не предназначены для длительной работы и выходят из строя при длительной постоянной эксплуатации.
Производительность и энергоэффективность. Профессиональные GPU позволяют производить больше вычислений при меньшем энергопотреблении. Эта особенность во многом определяет высокую стоимость серверных видеокарт.
Особенности производства. Контроль качества при изготовлении профессиональных карт строже, нежели при создании игровых.
Разъемы. Профессиональные карты не снабжены разъемами (HDMI, DVI) для вывода видео — есть только DisplayPort.
Дополнительный функционал. Не все серверные GPU могут быть использованы для игр.
Обзор технологии GeForce RTX 4090
Графический процессор GeForce RTX 4090 был выпущен в конце 2022 года и стал продолжением линейки десктопных ускорителей от компании NVIDIA, что вызвало большой интерес у игроков по всему миру.
Ключевыми особенностями карты являются:
Как и во всей линейке GeForce RTX 40, используются новые графические процессоры AD10x (в 4090 — AD102) на основе архитектуры Ada Lovelace и с применением технологического процесса 4N (TSMC).
Повышена производительность операций трассировки лучей и машинного вычисления на тензорных ядрах.
Технологический процесс 4N позволяет повысить энергоэффективность на несколько процентов.
Размер карты (304 на 137 мм, 3 слота) осложняет ее монтаж как в настольных ПК, так и в серверах.
Игровая система охлаждения, что зачастую делает невозможным использование 4090 в GPU-серверах.
По сравнению с 3090, в AD102 на 70% больше CUDA-ядер.
Технология NVIDIA DLSS 3 использует алгоритмы анализа векторов движения и OFA.
Платформа NVIDIA Reflex с низкой задержкой позволяет повысить качество игры профессиональных геймеров.
Кодировщик NVEnc 8-го поколения с поддержкой кодирования AV1.
Приложение NVIDIA Broadcast.
NVIDIA Studio.
Технические характеристики видеокарт NVIDIA RTX A4000, NVIDIA RTX A5000, NVIDIA RTX 3090 и NVIDIA RTX 4090
RTX А4000 |
RTX А5000 |
RTX 3090 |
RTX 4090 |
|
|---|---|---|---|---|
Архитектура |
Ampere |
Ampere |
Ampere |
Ada Lovelace |
Техпроцесс |
8 нм |
8 нм |
8 нм |
4N |
Графический процессор |
GA104 |
GA102 |
GA102 |
AD102 |
Количество транзисторов (млрд.) |
17,4 |
28,3 |
28,3 |
76,3 |
Тактовая частота (ГГц) |
0,74 |
1.17 |
1,39 |
2,23 |
Тактовая частота с ускорением (ГГц) |
1.56 |
1.70 |
1.70 |
2,52 |
Memory frequency (МГц) |
1,750 |
2,000 |
1,219 |
1,325 |
Пропускная способность памяти (Гб/с) |
448 |
768 |
936.2 |
1008 |
Память GPU (Гб) |
16 ГБ |
24 |
24 |
24 |
Тип памяти |
GDDR6 |
GDDR6 |
GDDR6X |
GDDR6X |
Cache memory (Мб) |
4 |
6 |
6 |
72 |
Память ECC |
есть |
есть |
нет |
нет |
Ядра CUDA |
6 144 |
8192 |
10496 |
16384 |
Тензорные ядра |
192 |
256 |
328 |
512 |
Ядра RT |
48 |
64 |
82 |
128 |
Количество текстурных модулей |
192 |
256 |
328 |
512 |
Максимальная мощность (Вт) |
140 |
230 |
350 |
450 |
Вычислительная производительность FP16 (half) (терафлопс) |
19.2 |
27.8 |
35.6 |
82.6 |
Вычислительная производительность FP32 (float) (терафлопс) |
19.2 |
27.8 |
35.6 |
до 82,6 |
Вычислительная производительность FP64 (double) |
599 гигафлопс |
867.8 гигафлопс |
556 гигафлопс |
1.3 терафлопс |
Теоретическая максимальная скорость закраски (гигапикселей/с) |
149.8 |
162.7 |
189.8 |
444 |
Теоретическая скорость выборки текстур (гигатекселей/с) |
149.8 |
433.9 |
566 |
1290 |
Интерфейс |
PCI-E 4.0 x16 |
PCI-E 4.0 x16 |
PCI-E 4.0 x16 |
PCI-E 4.0 x16 |
NVIDIA DLSS |
нет |
нет |
есть |
3 |
Nvlink |
нет |
Двухплатная низкопрофильная конфигурация (мосты на 2 и 3 слота) |
нет |
нет |
Поддержка CUDA |
8.6 |
8.6 |
8.6 |
8.9 |
Поддержка VULKAN |
1.3 |
1.3 |
1.2 |
1.3 |
DirectX |
12 Ultimate |
12 Ultimate |
12 Ultimate |
12 Ultimate |
Shader Model |
6.6 |
6.6 |
6.7 |
6.7 |
OpenGL |
4.6 |
4.6 |
4.6 |
4.6 |
OpenCL |
3.0 |
3.0 |
3.0 |
3.0 |
Поддержка ПО Virtual GPU (vGPU) |
— |
NVIDIA Virtual PC (vPC) и Virtual Applications (vApps), NVIDIA RTX vWS, NVIDIA Virtual Compute Server |
— |
— |
Цена (руб.) |
111 917 |
216 000 |
116 990 |
от 138 000 |
Новая архитектура, пропускная способность памяти и количество тензорных ядер, технология DLSS 3 и другие характеристики GeForce RTX 4090 определяют широкий спектр применения графического процессора — не только гейминг, но и работа с искусственным интеллектом, сложными вычислениями.
Тестирование HOSTKEY
Описание тестовой среды:
Процессор AMD Ryzen 9 5900 X 12-Core Processor (3.80 GHz)
32 GB DDR4-3200 ECC DDR4 SDRAM 1600 МГц
Microsoft Windows 10 Professional 64-разрядная
Tест V-Ray GPU CUDA
Tест V-Ray GPU RTX
Blender Benchmark
В этом тесте и в LuxMark мы сравним только карты RTX A5000 и RTX 4090, поскольку они наиболее интересны в контексте этой статьи.
LuxMark
Мы измерили относительную производительность GPU при рендеринге. Показатели GeForce RTX 4090 в тестах выглядят впечатляюще и превосходят практически вдвое не только результаты RTX 3090, но и профессиональные GPU. Тест V-Ray GPU RTX демонстрирует работу GPU с трассировкой лучей — показатели RTX 4090 также в два раза превосходят результаты RTX 3090.
«Собаки против кошек»
Для сравнения производительности GPU для нейросетей мы используем набор данных «Собаки против кошек» — тест анализирует содержимое фотографии и различает, изображена на фото кошка или собака. Все необходимые исходные данные находятся здесь. Мы запускали этот тест на разных GPU и в различных облачных сервисах, получили следующие результаты:
Полный цикл обучения (мин.)
Полный цикл обучения тестовой нейросети занял от 31 до 60 минут. Результат GeForce RTX 4090 составил 31 минуту и превзошел показатели всех остальных GPU. Наиболее заметна разница в результатах карт RTX 3090 и RTX 4090 — новое поколение ГПУ от NVIDIA справилось с расчетами почти вдвое быстрее предыдущего.
Тесты показали, что ближайшим конкурентом карты 4090 является A5000. Осталось сравнить эти карты по соотношению цена-качество. Во всех проведенных тестах новая карта от Nvidia показала результат, превышающий показатель RTX A5000 примерно вдвое. В то же время стоимость RTX 4090 значительно ниже: 138 тысяч рублей (минимальная цена) против 216 тысяч. Казалось бы, выбор очевиден — но есть нюансы. GPU A5000 потребляет значительно меньше энергии и может быть выгодным решением для задач с постоянной высокой нагрузкой на GPU на длинной дистанции. RTX A5000 поддерживает технологию NVLink, что полезно при обучении нейронных сетей. GPU A5000 не имеют ограничений на использование NVENC/NVDEC при задачах параллельного транскодирования видео. При покупке специализированной лицензии профессиональные GPU класса A5000 могут быть виртуализированны и доступны в сервере как несколько виртуальных GPU меньшей мощности. Еще одна проблема — запрет Nvidia на использование драйверов для своих игровых карт в дата-центрах и в удаленном режиме вне офиса.
Хотя на промофото NVidia много 4090 с большими вентиляторами и формате 3 юнита, в реальности эту конфигурацию практически невозможно купить. На складах есть только игровые карты большого размера на 4 юнита и повышенной высоты с выдувом вверх и вниз карты. Такие карты не могут быть использованы в серверах и большинстве рабочих станцией.
Заключение
Переход на новую архитектуру Ada Lovelace позволил значительно увеличить производительность GeForce RTX 4090. Улучшенные тензорные ядра и ядра RT значительно повышают качество и расширяют возможности трассировки лучей в реальном времени. Объем памяти в 24 Гб позволяет обрабатывать большие массивы данных.
GeForce RTX 4090 в первую очередь предназначена для гейминга и прекрасно подходит для решения различных типов вычислительных задач: ИИ, анализ данных, машинное обучение. Новая архитектура значительно превосходит предыдущее поколение графических процессоров от NVIDIA. Важное ограничением в профессиональном использовании этой видеокарты — высокое энергопотребление и отсутствие возможности объединить несколько карт при помощи Nvlink.
Альтернативой приобретению видеокарты является аренда сервера с GPU. Наши расчеты показывают, что месячная аренда карт GeForce RTX 4090 и RTX A5000 сопоставима по цене. Соответственно, при необходимости выполнения профессиональных задач аренда карты GeForce RTX 4090 может быть выгодна за счет ее высокой производительности.
Арендуйте выделенные и виртуальные GPU серверы с профессиональными графическими картами NVIDIA RTX A5000 / A4000 в надежных дата-центрах класса TIER III в Москве и Нидерландах. Принимаем оплату за услуги HOSTKEY в Нидерландах в рублях на счет российской компании. Оплата с помощью банковских карт, в том числе и картой МИР, банковского перевода и электронных денег.
Бизнеса для - о боже! Не в серверном окружении, а на своей персоналке протестщено - прекрасно!
А есть ли у автора понимание, что в сервер кое-кто из этих карт банально не влезет?
Вы забыли, что у бизнеса есть понимание выгоды. Если будет оправдано использование RTX4090, то будут и серверы в которые они влезут, причем от вполне себе какого-нибудь Supermicro.
Вы совершенно правы, для бизнес показателей важна стоимость покупки или аренды оборудования. Сейчас разброс стоимости очень большой на рынке, так что мы сосредоточились на перформансе.
Очень многие такие бизнесы выросли из кучки разносортных десктопов на полках в полуподвале. Я думаю, и сейчас не брезгуют.
Мне казалось, материнки продолжают делать под правую стенку системного блока, и сверху у видеокарты текстолит. Поэтому она сосёт воздух снизу и вдувает его в радиатор, из которого ему деваться некуда, кроме как утекать через заднюю стенку...
Вы не видели новых видеокарт... теперь они еще продуваются насквозь и греют процессорный кулер и оперативную память...
RTX 30XX-40XX
На картинке изображён референс карты, и он, можно сказать, ещё нормален в части охлаждения. У меня 3070 от gigabyte, вот чем там думали инженеры при проектировании охлаждения, для меня загадка. Выдув идёт строго перпендикулярно материнской плате. Задний край радиатора чётко над южным мостом матплаты, как результат - постоянный сильный нагрев чипсета.
Странное сравнение карточек. они из разных ниш и задач. в частности А5000 это из линейки для видеостен и ставятся обычно по 2 штуки на системник (а в теории до 32х мониторов поддержка). они адаптированы под NVIDIA® Mosaic, что позволяет использовать все мониторы как единый экран без всяких доп действий (то есть по простому если кликнуть на значок развернуть окно на весь экран то оно развернётся на все мониторы без вопросов). так же возможность синхронизации изображений между отдельными пк схожей конфигурации. в общем много чего там есть для больших разрешений.
У А5000 большой потенциал и используют их много где. Мы лишь предложили один из вариантов сравнения, цели сравнить карты во всех возможных вариантах использования мы перед собою не ставили
есть разные варианты использования, несколько не наш случай с нейросетями и транскодингом
Майнеры тут бы поспорили. Также имеет значение ориентация карты к земле, если ось вентиляторов параллельно, нагрузка на втулки/подшипники меньше, чем если кулеры висят "вниз головой". Да и системы озлаждения на топовых игровых картах типа всяких Стриксов-Аорусов изготовлены с большим запасом, а это и более низкие скорости вращения, и благоприятный температурный режим.
у нас огромный опыт эксплуатации такого и всякого. ни разу не видел сломанную турбину, а запасных вентиляторов для радеонов и прочих подобных карт на алике ящиками брали. иногда долго работает, а обычно перестаёт крутиться или разбивает за полгода примерно
потестите на физических задачах, ну хотя бы на ansys
мы к сожалению в этом не разбираемся, можем выдать машины на тесты - напишите отчёт для хабра?
Нуу, в общем случае я бы так не сказал ))
на картинке норм, да вот на складах нет. нвидиа явно запретила делать такие корпуса своим партнёрам
Ждем выхода на рынок правильных радиаторов под видеокарты? :) Вентилятор вообще можно будет выкинуть, сервера под теслоподобные часто сами нормально продувают gpu насквозь.
вам не понравится находится в одном помещении с таким сервером. рядом с ним шумно примерно на 90-100 dB. там радиатор во всю длинну карты и перед ним двойная турбина 80х80 на 10к оборотов. и их там часто 5-6 штук, иногда и столько же на выдув.
водянки для 3090 свободно продаются, эти не проблема.
А зачем сидеть в помещении с сервером, если под них отдельные помещения есть? Для рабочей же станции и переделывать вентиляцию смысла особого нет, если в нее 4-8 штук засунуть не планируют. Кроме того, под нагрузкой это нормальный такой обогреватель получается на пару-тройку киловатт и в одном помещении с ним сидеть все равно будет не очень даже без шума.
мы немного отошли от темы. эти все карты не предназначены для такого продува, а те что предназначены, типа А100 - эксплуатируются в специальных серверах в ЦОД. более того А5000 в такой сервер можно поставить, но вентилятор сервера участвовать в охлаждении не будет
Также было бы интересно сравнить соотношение производительности к энергопотреблению. В статье говорится, что A-карты потребляют меньше, но никаких цифр не приводится.
там одно предложение в самом начале. в вольном переводе дрова для игровой линейки нельзя использовать на системах установленных в датацентрах и удалённых локациях вне места, откуда работает оператор за исключением работ с блокчейн.
Если вы про фразу
то, как я написал, да, про датацентры вопросов нет. Но я не не вижу тут ни единого слова про удалённую работу.Customer may install and use multiple copies of the SOFTWARE on a shared computer or concurrently on different computers, and make multiple back-up copies of the SOFTWARE, solely for Customer's use within Customer's Enterprise. "Enterprise" shall mean individual use by Customer or any legal entity (such as a corporation or university) and the subsidiaries it owns by more than fifty percent (50%).
это можно трактовать как "в офисе" или "дома".
Это чересчур широкая трактовка, не подкреплённая текстом. Понятие Enterprise тут никоим образом не относится к физическому местоположению, а говорит лишь о владении собственностью.
С одной стороны статья вроде хорошая, а с другой - очень много воды и не заданы самые главные вопросы, а именно:
Памятуя про про опыт с 3090 с турбинами от Gigabyte (они были так хороши, что поначалу никто не хотел покупать серверные карты), будут ли 4090 с турбинами, и будет ли там такой же треш с TDP и физическими размерами?
Реально ли вообще будет купить такие 4090? Не убьет ли Nvidia эту "лазейку" уже на старте?
Будут ли вообще серверные решения уровня А10 / A100 / A4000 / A5000 на новой архитектуре в ближайшее время, и можно ли их вообще будет купить, памятуя о текущих событиях в мире (H100, к примеру, доступны только для "своих" и в уже сборках с неплохой маржой сверху)?
А так да, на любых тестах для игр карты серии 40* неадекватно дорогие (и, шапочка из фольги, новые игры специально для этого плохо оптимизированы), а для вычислений чудо как хороши.
Вообще конечно с трудом верится, что для вычислений Pascal были хороши, Turing были не очень, Ampere были весьма и весьма очень (x2-x3), а Ada якобы опять очень (опять x2?).
Где-то должна быть подстава. Наверное она в неадекватных TDP или в отсутствии поставок или чем-то таком. С другой стороны, если условная A10 или A5000 имеют TDP в районе 150-200 ватт (можно настроить всегда), а 4090 - 450, то как бы "прирост" в 2 раза улетучивается ...
Гугл выдает такую карту - не самые именитые проихводители взялись за такое - https://3dnews.ru/1080507/istoriya-geforce-rtx-4090-s-turbinoy-goryachaya-shumnaya-unikalnaya - а конкретно рассмотренная вообще похожа на штучный кастом какой-то
это кто-то одну сделал руками. у гигабайт нет такого scu
1) им запретили так делать
2) нет, их нет в продаже
3) конечно
подставы нет, карта рассчитана на любителей хорошо поиграть и поработать на своей рабочей станции. не все задачи можно разнести на несколько гпу, вот и одна мощная часто полезнее чем пара попроще.
Для многих задач машинного обучения, да и имхо просто с точки зрения отказоустойчивости, 2 карты с 24 GB памяти предпочтительны одной, у которой TDP в 2 раза выше …
Я думал, что карты давно обогнали игры, но в последнее время учащаются отчеты, что мол на максимальных настройках новых игры тормозят на карты 40*. Но это неточно.
нет. если модель большая, она должна влезть в память целиком и 2 мелких карты будут бесполезны. разложить задачу на несколько карт не такая простая история, это происходит совсем не автоматически.
на 4К или 8К все что угодно может тормозить на хаях. у меня 3090 стоит с 4К монитором, в кибеопанке отнюдь не максималки.