Дешёвый сервер из китайских запчастей. Часть 1, железная +31


Дешёвый сервер из китайских запчастей. Часть 1, железная



Размытая кошка позирует на фоне настраиваемого сервера. На заднем плане – мышка на сервере


Привет, Хабр!


В жизни каждого человека иногда назревает необходимость апгрейда компьютера. Иногда это покупка нового телефона взамен разбитого или в погоне за свежими андроидом или камерой. Иногда – замена видеокарты, чтобы тянула игру на минималках. Иногда – установка SSD в ноутбук, на который вы вкорячили десятую винду, а ей не очень нравится жить на Core2Duo и 2.5 гигабайтах адресуемой памяти, и она всё время выгружает неиспользуемые страницы в файл подкачки, изничтожая и без того не великую скорость обмена с 32-гиговым диском.


Моя история – апгрейд сервера, который был собран ещё на первом курсе института. Мои потребности за прошедшие шесть лет выросли, и он, конечно, получил прибавку как в оперативной памяти, так и в дисковой. Проблема в том, что с новыми знаниями были получены новые амбиции – желание применить эти знания на практике – и он с ними мог уже не совладать.


Сначала будет немного скучного вводного текста, а потом пойдут картинки.


Чисто для того, чтобы было понятно, какой сервер есть сейчас:

CPU: Core i3-2130 4 потока, 3.4 GHz
RAM: DDR3 8 GiB
SSD: 250 GB


Далее этот сервер упоминаться почти не будет, эти основные характеристики исключительно для того, чтобы было с чем сравнивать и было понятно, почему же я решил перебороть свою лень и потратить время и деньги.


Я ещё сам не уверен, чему именно предстоит работать на новом сервере, но некоторые абстрактные мысли заставляют предполагать следующие задачи:


  • Хостинг пары-тройки статических сайтов. Сейчас этим занимается nginx, но с не самым лучшим образом оформленными конфигами. Их тоже надо будет поправить, но про это – во второй части.
  • Хостинг просто статических файлов. Например, картинок из этой статьи. Они тоже идут через nginx, но загружаются они через WinSCP, что неудобно. Надо бы накопать подобие myOwnCloud, чтобы можно было легко и непринуждённо заливать картинки на сервер.
  • Билд-сервер для пет-проектов. Сейчас это Дженкинс.
  • Различные стенды для оных проектов: девелоперский, интеграционные тесты и прод. До прода пока дела не дошло, но стенд только один, хотя и в докере.
  • Какие-нибудь игровые сервера, если друзьям приспичит поиграть в что-то, что требует сервера: Starbound, Minecraft, Squad (хотя там нужно минимум человек сорок). Да хоть CS 1.6.
  • Виртуалки для друзей, если им вдруг срочно потребуется что-то где-то хостить. Или для себя, чтобы иметь своеобразный VDI. Чем загрузить – найдётся, было бы железо.

Политически отдалённые планы:


  • Торрентокачалка: чтобы поддерживать редкие раздачи на рутрекере. Правда, надо разобраться с тем, как их автоматизированно скачивать, где их хранить, не будет ли провайдер против постоянного фона раздачи и, главное, не заинтересуются ли дяди в погонах терабайтами целенаправленно распространяемых музыки с книгами.
  • Точка выхода из какого-нибудь TORа: мило, но нет. По той же самой причине.

Тем не менее, можно отдавать часть мощностей под аналог ныне закрытой SETI@Home. Может, знакомый с этим хабраюзер подскажет, куда можно деть пыл?


Выбор платформы


Ага. С мотивационной частью разобрались: хочется железа, но непонятно подо что. Надо бы определиться, какого железа хочется.


На Хабре регулярно упоминается дешёвое б/ушное оборудование: будь то раздача серверов оранжевым человеком или недавняя статья про б/ушные флеш-ускорители. Профессиональное оборудование стоит дорого. Для разработчика в Москве терпимо, но дорого.


Впрочем, профессиональное оборудование потому и дорогое, что у корпораций много денег имеет техподдержку и гарантию качества выше, чем у ширпотреба. Не всегда, но матожидание явно смещено в лучшую сторону.


Итак, цель – собрать сервер из б/ушных (читай – дешёвых) запчастей и оставить пространство для незначительного апгрейда в ближайшие лет пять. Такие запчасти дешевле новых, а ресурса для размеренного домашнего использования в них может быть ещё достаточно. (Эту цель я сочинил уже после того, как собрал сервер. Всё в лучших традициях написания диплома)


Как следствие из цели, оборудование должно иметь одно из лучших соотношений «попугай/рубль», где разрядность попугая зависит от типа оборудования: оперативка – объём (не быстродействие, нет), диск – объём (и быстродействие), процессор – тут сложно. Пусть это будут синтетические попугаи бенчмарка.


Желательно, чтобы сервер стремился к бесшумности. Экзотики в виде кастомных теплотрубок и безвентиляторных кулеров не обещаю, но серверу предначертано стоять в спальне aka удалённом офисе aka моей комнате, так что хотелось бы, чтобы он в режиме простоя не ревел, как реактивный самолёт на взлёте.


Отправная точка – дешёвые китайские ксеоны, о которых я узнал в незапамятные времена, пожалуй, тоже с Хабра. В комментариях к одной из проходных новостей упал уголёк холивара «Intel против AMD». Не сравнить нельзя, вдруг новые райзены действительно лучше интеловских процессоров – я не следил за ними уже лет пять, а то и больше.


Итак, в сравнении участвуют две стороны с примерно одинаковым показателем попугаев по мнению cpubenchmark: Ryzen 7 2700, Ryzen 7 2700x, пара Xeon E5-2689, пара E5-2690, пара E5-2696v2 и текущий Core i3-2130. Конечно, я сравнивал и другие процессоры, например, новые Core i7, новые Ryzen 7 и Ryzen 7 2600, но основной интерес представляет собой именно этот срез: они примерно одинаковы по вычислительной мощности. В конце концов, это не попытка разрешить холивар, а выбор наиболее подходящего мне процессора. E5-2696v2 и i3-2130 представлены лишь для сравнения с другими б/ушными процессорами и текущим сервером.


AM4 LGA2011
7 2700x 7 2700 e5-2689 2x e5-2689 e5-2690 2x e5-2690 2x e5-2696v2 i3-2100
Ранг, попугаи 17898 16021 10036 17945 10207 18967 23518 1839
Цена, рубли 15200 12500 5000 10000 5500 11000 18000 1000
Тепломощность, Вт 105 65 115 230 135 270 260 65
Ядра, шт 16 16 16 32 16 32 24 4
Частота, ГГц 3,7 3,2 2,6 2,6 2,9 2,9 2,5 3,1
Попугаи/рубли 1,18 1,28 2,01 1,79 1,86 1,72 1,31 1,84
Попугаи/Вт 170,46 246,48 87,27 78,02 75,61 70,25 90,45 28,29

?
Таблицу рассматривать скучно, давайте посмотрим на график абсолютных попугаев:


Я думал опустить этот график, но тогда пришлось бы смотреть глазами в таблицу, а это не все любят делать. Так что это обучающий график. Слева – шкала чего бы то ни было, в этом случае – абстрактных синтетических попугаев. Подписи снизу – процессоры. Слева – пара райзенов, по центру – пара одиночных и парных ксеонов. Путано, да, но это факт. Справа – два ксеона второго поколения и процессор текущего сервера.


Ознакомившись с расположением процессоров, стоит взглянуть на график стоимости одного попугая:


Из него видно, что самое выгодное – брать одиночный ксеон первого поколения. Двойные ксеоны чуть хуже одинарных: стоимость возросла в два раза, а кпд – в 1.7 раза, то есть соотношение снизилось. А вот ксеон второго поколения уже не выгоден: стоимость за попугая уже приближается к райзенам.


А райзены чертовски энергоэффективны в пересчёте на попугая:


Надо признать, в этот момент я испытал гордость за прогресс человечества и AMD. Это уже не экстенсивный путь развития, это попытки выжать максимум из куска кремния. E5-2690 вышел в 2012 году, а Ryzen 7 2700 – в 2018. Троекратный рост энергоэффективности за шесть лет – не возраст для технологии. А, ну и Core i3-2100 где-то совсем незаметен в углу. Не будем про него.


Промежуточный вывод: райзены рвут в соотношении «производительность/потребляемая энергия». Или это былинный разный способ замера TDP у AMD и Intel. А б/ушные ксеоны первого поколения рвут по соотношению «производительность/цена».


Таким образом, буду брать ксеоны. Вы ведь не забыли цель, которую я поставил в самом начале этого раздела?


Прочее сопутствующее железо


На самом деле, выбор AMD vs Intel ограничивает не только применяемый процессор. Процессоры Zen+ используют память стандарта DDR4 (тыц), а Sandy Bridge – DDR3 (тыц). DDR4-2933 теоретически в 1.87 раза быстрее DDR3-1600, если я хоть что-то в этом понимаю. Нет, я помню из институтского курса, как работает DDR, со всеми этими ¬CS, RAS, CAS и прочими. И Burst Mode. Просто не хочу в это углубляться, ибо помню очень смутно, да и DDR3 уже неявно выбран процессором, смысла мучаться нет.


К тому же 16 гигов DDR4-2600 стоит столько же, сколько 32 гига DDR3-1866* с ECC...


*Оно не 1866, а 1778. Понятия не имею, почему сумрачный китайский гений не смог осилить 1866, но и не стал спускаться до стандартных 1600 МГц...


Ограничения по сокету и типу памяти влияют и на выбор материнской платы: за те же 7к рублей можно взять китайскую плату с максимальными 256 гигабайтами оперативки, а любая AM4-сокетная имеет максимум 4 слота под оперативку, то есть ограничена 64 гигабайтами.


Выбор двухсокетной материнской платы ведёт за собой особые требования к блоку питания: у него должны быть два восьмипиновых контакта для питания процессора. Может, от видеокарты и подойдут, но там немного разной формы штырьки, я решил не рисковать и не читать документацию, благо блоки питания с нужными требованиями существуют.


Ещё у этой материнской платы некультурно расположены сокеты: расстояние между ними чуть меньше 10 сантиметров, что затрудняет установку двух кулеров параллельно. Изначально я хотел поставить кулеры так, чтобы забор воздуха происходил из щели между ними, но об этом ниже.


Для хранения данных я изначально хотел взять тот SSD, который уже есть в старом сервере, под систему, но решил взять с разъёмом M2 Crucial P1 на 1TB. На материнской плате есть шесть разъёмов SATA, и в них я планировал подключить шесть жёстких дисков WD Red 2TB, но пока я раздумывал, стоит ли тратить ещё 12к рублей на них, их уже купили. Так что настройка ZFS-рейда во вторую часть статьи не входит. Но это потом, повествование обратно про SSD. Гораздо более профессиональный обзор на него можно прочитать здесь. Его фишка в том, что он дешёвый. Сами посмотрите на этот график записи:



На него единовременно можно записать 75 гигабайт, а потом он становится хуже жёсткого диска. Спасибо, что хоть не начинает вращаться. А, и ещё его можно перезаписать всего 200 раз. Из чего он вообще сделан?!


На самом деле, это не столь страшно для того режима, в котором я планирую его использовать: преимущественно чтение данных и запись не критичных к скорости записи данных. Ну, мне хочется на это надеяться.


Ресурс перезаписи в 200 раз соответствует примерно 109 гигабайтам в день на протяжении пяти лет. 109 гигабайт в день – не то же самое, что 75 гигабайт единовременно. Да и с чтением у него всё нормально. Не лучшая производительность среди M2-дисков, но соответствует тому уровню записи, что он показывает в пределах кеша.


Сборка


Если до этого был преимущественно псевдотехнический текст, перемежаемый графиками, то сейчас пойдут картинки, разбавленные художественным повествованием.


Внезапно утром вторника позвонил курьер Почты России и сказал, что сегодня приедет с посылкой. Я обычно забираю посылки сам, а тут на карантине решили напрячь отдел доставки, видимо.



Внешний вид посылки


Хитрый китаец упаковал всё в один пакет, хотя я заказывал четырьмя разными заказами на алиэкспрессе, чтобы не попасть под пошлины о двухстах евро.



Содержимое коробки


К материнской плате поставляется целый лист с инструкцией! О сигналах спикера надо догадываться самому. На сайте написано, что оранжевые слоты оперативки – основные, надо ставить именно в них. Инструкция же бесполезна чуть менее, чем полностью. Я кнопку включения по ней подключил. Кстати, на коробке есть единственная надпись – MOTHERBOARD. Она не заслуживала отдельной фотографии, но упоминания определённо заслужила.


Вытаскиваем корпус, пылесосим. На самом деле, не стоило его доставать, от него оказались одни мучения. Но он эстетично выглядит. Выглядел...



Корпус, вид кверху ногами


В корпусе есть сказёвые салазки. (А я планирую 3.5” диски. Придётся вынуть плату)



Место под диски


Ещё на лицевой панели есть быстрозаменяемые вентиляторы. Наверняка шумны.



Они управляются чем-то более сложным, чем просто напрямую материнской платой


Снимаем верхнюю крышку и смотрим, что внутри. Если открутить пару винтов, то можно сдвинуть дисковое пространство и освободить место для манипуляций. А материнская плата формата E-ATX, она занимает почти всё место в сервере.



Родной блок питания


Блок питания у меня просто так вытащить не получилось, пришлось отвинтить все винты на задней части и почти разобрать весь корпус. Выяснилось, что он держался на двух винтах и куске скотча. Это было подло, но теперь я сам могу применить такую тактику.



Вот она слева, злополучная чёрная полоса!


Я уже устал выбирать наиболее удачные фотографии, отсеивать те, которые не нужны для повествования, обрезать картинки и грузить их на сайт. Тем временем наступает следующий день, а у меня на столе только китайские запчасти. Приходится спешно оформлять заказ и мчаться в магазин на другой конец Москвы.



У входа в магазин


Торговый зал закрыт, работает только выдача заказов. Хорошо, что была солнечная погода, не знаю, как пришлось бы в дождь. Заказы надо называть через видеодомофон, жаль, что это мало объясняется. Было бы неплохо напечатать хоть какую-нибудь инструкцию, кроме «соблюдайте дистанцию 2 метра». Ожидание не дольше десяти минут, здорово. Едем обратно.



Два кулера, один блок питания и махонький SSD
?
Поскольку кулеры, подходящие по габаритам корпуса были дорогие и шумные, пришлось выбрать негабаритный вариант. Это избавило от мук выбора с блоком питания: тихий ATX-формата, но с ним придётся снять крышку, или одноюнитовый, но шумный и дороже на две тысячи рублей. Начинаем примерять покупки. Изначальная задумка двух кулеров – забирать воздух из центра, но сдвигающаяся ёмкость для дисков внесла коррективы и пришлось переставить вентиляторы на последовательный продув. Будет интересно наблюдать на одном кристалле температуру на пару градусов выше, чем на другом.



Пока ещё без термопасты


Протираем основание кулера и процессор спиртом. Питьевым. Но он уже пару лет как технический, перорально лучше не применять. Равномерно наносим термопасту чем-нибудь плоским. На самом деле, я плохо разбираюсь в процессе нанесения термопасты, но результаты моих работ всегда приносили положительный результат. Видимо, тут сложно напортачить, если даже клей «Момент» способен работать годами, судя по байкам. Обычно я использую кусок ненужной пластиковой карточки, но его под рукой не оказалось. Оказался на её месте новомодный безногий четвёртый пень. Не беспокойтесь, после процедуры я протёр его спиртом и положил обратно на полку.



Что-то странное и беспокоящее
Нанесение неидеальное, да и кулер я прижимал не полностью: видно смещение «лысого» места относительно центра.



Пристрелка
?
Добавляем дополнительный слой термоинтерфейса в места, где его явно не хватает и немного по другим местам.



Йеп, удовлетворительно


Приступаем к установке материнской платы. В сервере явно стояло что-то другого формата, и те… э-э-э… штуцеры, в которые ввинчиваются винты для фиксации материнской платы, располагались не на местах для E-ATX платы. К сожалению, в куске металла, в который ввинчиваются штуцеры, не хватило трёх отверстий напротив тех, что были в материнской плате. К счастью, самих штуцеров тоже не хватило трёх штук.


Из-за этого материнская плата провисает в местах крепления 24-пинового коннектора и PCI-E разъёмов. С одной стороны, это текстолит. С другой стороны, это китайский текстолит, никогда не знаешь, чего от него ждать. Но давить надо аккуратно в любом случае, будь это даже сертифицированный военной приёмкой текстолит. Даже нет, в таком случае надо давить ещё бережнее – он тоже сделан в Китае, но штучная сертификация и приёмка увеличила стоимость устройства в пару десятков раз.



Куча дырок и все не там


Помните блок питания на скотче? История циклична, вот повторение:



И да, мне это не нравится


Сборка закончена, переносим компьютер в комнату к брату, отнимаем клавиатуру и монитор у живого сервера и пытаемся включить его. С первого раза не получается выйти даже в биос. Поскольку в ксеонах обыкновенно нет встроенного графического сопроцессора, а биос вывести на экран надо, ставим какую-то простенькую видеокарту. Боги, как же она шумит!


Со второго раза выйти в биос тоже не получается. Путём перебирания виновников приходим к решению: поменяв местами планки оперативки и вынув SSD можно достучаться до биоса. Вставляем на место SSD и включаем компьютер ещё раз – биос грузится, диск определяется. Видимо, что-то сбросилось при отсутствующей CR2032 батарейке.


Кстати, видите, что блок для жёстких дисков выдаётся вперёд более, чем должен? Он упирается в кулер. Это не идеальный корпус для компьютеров классического форм-фактора, что поделать.



Место для первичной настройки


Небольшое отступление по поводу шума: с видеокартой уровень шума был на уровне 27-30 децибел, а после установки операционной системы уровень шума сервера снизился где-то до 8-14 децибел. Точнее измерить было сложно, поскольку фоновый уровень шума был тоже где-то в этом диапазоне: стройка метро на улице, катающиеся шары у соседей сверху, топот кошки и прочее подобное. Сервер будет стоять в икеевском шкафу без дверец, поэтому такой уровень шума подойдёт. ?


Бонус


Технически, эта глава относится не к выбору и сборке железа, но на самостоятельную главу установка операционной системы не тянет. На многих ресурсах уже описана установка чего бы то ни было на разные устройства, и то, что произойдёт здесь – совершенно рядовое явление. Плодить лишний туториал, притом, возможно, неверный, мне совершенно не хочется.


Тем не менее, я опишу грабли, на которые наступил в процессе установки ОС.


Windows Server по причине отсутствия лицензии я ставить не стал, да и привык больше взаимодействовать с линуксовыми серверами. На старом сервере стоит Ubuntu, но на паре малоиспользуемых VPS стоит CentOS и на работе – RHEL. Поэтому будем знакомиться ближе с CentOS 8.


Идём на любое зеркало, скачиваем .torrent-файл – и за пару десятков минут выкачиваем семигигабайтный образ.


Вставляем флешку, находим её и копируем образ на неё.


frog@server:~$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sdb      8:16   1  14,6G  0 disk
L-sdb4   8:20   1  14,6G  0 part /media/localadmin/ANACONDA
sda      8:0    0 223,6G  0 disk
+-sda2   8:2    0    24G  0 part [SWAP]
+-sda3   8:3    0   128G  0 part /
L-sda1   8:1    0   243M  0 part /boot/efi
frog@server:~$ dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdb
dd: failed to open '/dev/sdb': Permission denied
frog@server:~$ sudo !!
sudo dd if=/home/frog/CentOS-8.1.1911-x86_64-dvd1.iso of=/dev/sdb

И уходим пить чай. Через час приходим в уверенности, что всё уже давно скопировалось – но приглашения на ввод не появилось. Значит, всё ещё копируется. Окей, новый терминал, запрашиваем у dd, сколько осталось.


  PID TTY          TIME CMD
 1075 tty5     00:00:00 bash
 1105 tty5     00:00:00 sudo
 1106 tty5     00:00:00 su
 1112 tty5     00:00:00 bash
 1825 pts/18   00:00:00 sudo
 1826 pts/18   00:01:08 dd
 2846 pts/0    1-23:03:42 java
 5956 pts/19   00:00:00 bash
 6070 pts/19   00:42:15 java
 6652 pts/20   00:00:00 ps
 7477 tty4     00:00:00 bash
 7494 tty4     00:00:00 sudo
 7495 tty4     00:00:00 su
 7497 tty4     00:00:00 bash
frog@server:~$ kill -USR1 1826
-bash: kill: (1826) - Operation not permitted
frog@server:~$ sudo !!
sudo kill -USR1 1826

Ответ в старом терминале:


9025993+0 records in
9025993+0 records out
4621308416 bytes (4,6 GB, 4,3 GiB) copied, 13428,4 s, 344 kB/s

И спустя ещё пару десятков минут:


14755840+0 records in
14755840+0 records out
7554990080 bytes (7,6 GB, 7,0 GiB) copied, 14971,5 s, 505 kB/s

Что это было? Оно его побайтно копировало? Бедный ресурс флешки. Или проверяло корректность записи. В любом случае, надо было man dd и использовать большие блоки копирования, и ещё что-нибудь, что пригодилось однажды при копировании 64-гигового HDD на 5400 обротов в минуту. Но даже он копировался с большей скоростью, чем треть USB 1.0.


А потом стандартные выбор флешки как Boot Device, Next, Next, Next, Finish. Никаких манипуляций с разметкой диска, настройкой Ethernet. Самая обычная установка ОС в 2020 году.


Заключение


Эта первая часть рассказа о настройке нового сервера. Я бы выпустил его сразу целиком, но у меня в черновиках лежат ещё две недописанные статьи, которые, как мне кажется, интереснее «yet another server build», а вторая часть про настройку софта грозится закончиться нескоро.


Итоговая стоимость составила 57973 рубля. Вот разбивка детальнее, правда, ссылки на алиэкспресс показывают уже немного иные товары.


Оперативная память 32GB DDR3-1866 – 4 шт 19078 рублей
Процессор Xeon E5-2690 – 2 шт 10300 рублей
Материнская плата Jingsha X79 Dual Socket – 1 шт 9422 рубля
Блок питания ExeGate ServerPRO RM-800ADS – 1 шт 4852 рубля
Кулер ID-Cooling ID-CPU-SE-224-XT – 2 шт 3722 рубля
SSD Crucial P1 CT1000P1SSD8 10599 рублей
Корпус Noname Бесплатно

Примерная стоимость владения – 3.89 руб/кВт*ч * 0.8 кВт * 24 ч * 31 день = 2315 руб/месяц. Но это если он будет молотить на всю катушку не переставая в течение месяца, в чём я очень сомневаюсь по причинам отсутствия таких задач и живучести железа. Для сравнения, стоимость аренды аналогичного сервера из качественных деталей составляет около 25к руб/месяц.


Думаю, это вполне хороший сервер за свои деньги.




Комментарии (82):

  1. norguhtar
    /#21588882

    Корпус нахаляву достался я так понимаю? Просто можно было купить 4U промышленный и так не страдать.

    • Xobotun
      /#21590468

      Да, халявный. И стоял года два за кроватью. Да, наверное стоило поискать другой или вообще без корпуса обойтись, благо компьютер пока что состоит из двух подвижных частей: блок питания и материнская плата со всем на ней.


      Но он два года стоял без дела, надо было найти ему хоть какое-то оправдание. :)

      • mapnik
        /#21590742

        Для него есть прекрасное оправдание — салазки и, скорее всего, SAS-бекплейн. То есть берем за десять долларов какой-нибудь HP SA 410, и машина превращается.

        • Xobotun
          /#21590758

          Я планировал ставить sata-диски и zfs raid на них. Насчёт того, чтобы задействовать SAS-бекплейн почему-то даже не думал – думаете, стоит?


          Спасибо за информацию.

  2. invite_ciel
    /#21589032

    Есть ещё чуть более новая тема с Xeon-ами Haswell-EP. Некоторые из них являются франкенштейнами с поддержкой DDR3. Это позволяет собрать железку с более новым процом, и дешевой памятью, что выводит соотношения производительность/цена и производительность/потребление на новые высоты.
    Китайцы исправно штампуют под них платы, но только односокетные.
    Собрал себе в хомлаб сервак под Proxmox на Jingsha X99 (как раз такая плата) — чуть дороже 6к, Xeon e5-2678v3 — 12 ядер, базовая частота 2.5 (в турбобусте на одно ядро до 3.2 вроде) — чуть дороже 7к, и память Samsung DDR3 1600 RDIMM — около 35к + 3к пошлины за 8 модулей по 32 ГБ.
    Все цены до мартовского скачка курса.
    Память дорогая, поскольку покупалась не из Китая с Али, а из Германии с Ибея. Китайская память всегда шитая и иногда с невнятными таймингами.

    • alexmay
      /#21589206

      Удаленная IP-KVM консоль есть? Типа HP iLo? Без нее иногда работать — мучение, даже на домашней лабе…

      • invite_ciel
        /#21589964

        Нет там IP-KVM, китайцы позиционируют их как настольные платы.
        Но вся эта сборка — больше о "дёшево, сердито и относительно надёжно", чем об энтерпрайзовости и удобстве. Кроме того, после того, как гипервизор установлен и настроен, в KVM нет нужды.


        Если принципиально важен KVM, то на ибее есть аналогичные серверные платы с поддержкой DDR3 от Asrock (EPC612D8T, EPC612D8TA, EPC612D8TA-TB и EP2C612D16T-4L). Но они редкие, и они дороже, что размывает выгоду от более старой памяти.

        • ClearAirTurbulence
          /#21590802

          У supermicro нет ничего подходящего? Там и ipmi есть…

          • invite_ciel
            /#21591714

            Об их платах на 2011-3 с поддержкой DDR3 ничего не слышал. :-(
            Но если о брендах — можно уйти в сторону DDR4. Те же 256 ГБ у того немца, у которого я брал, вышли бы чуть меньше 60 по ценам начала года. Тогда выбор материнок станет шире, да и колхоза меньше.

      • Xobotun
        /#21590510

        Да, IP-KVM хочется, но я надеюсь обойтись ssh и какими-нибудь vnc. На худой конец, X-сервер через ssh пробрасывать. Я человеческими встроенными удалёнными управлялками не аользовался, поэтому не могу судить, насколько неудобно будет. Мне кажется, что не очень.

        • invite_ciel
          /#21591772

          Сильно зависит от того, чего Вы хотите от сервера. Субъективно на мой взгляд — IP-KVM нужен только на этапе установки ОС, после этого SSH или VNC, если тачка физическая. А если гипервизор — всё ещё веселее, потому что он даст через админку доступ к консолям виртуалок и безо всякого KVM, а сам хост переконфигурируется редко, и лучше всё равно в таких случаях быть рядом с ним.


          Плюс ещё первое время доступ желателен, пока не устоялась конфигурация сервера, на случай "зависло/отвалилось/напортачил с сетью". С тем же vt-d я порядком нагулялся. Когда лажал, надо было ресетить, а сервер висит в кладовке. Но тут можно и походить ногами к серверу первое время. Ну и в биос вначале заходят чаще, чем потом.

          • Xobotun
            /#21591868

            Сильно зависит от того, чего Вы хотите от сервера

            Я хочу вынести все приложения "уровня бизнес-логики" (не знаю, как это правильно назвать. "Прикладного уровня"?) в виртуалки или контейнеры. По каким критериям куда – тоже пока не знаю. Но интуитивно понимаю, что производить манипуляции с хостовой ОС, которые её могут положить – не самая хорошая идея, и что лучше их вынести куда-нибудь, что можно легко откатить и начать с начала.


            Субъективно на мой взгляд — IP-KVM нужен только на этапе установки ОС

            В таком случае, у меня получилось именно так: во время установки ОС были подключены видеокарта, монитор, клавиатура и мышь – а сейчас только Ethernet.
            Но если придётся ещё что-то настраивать в биосе – тут IP-KVM был бы подспорьем.


            Кстати, о VT-d – я правильно понял, что она позволяет пробросить видеокарту напрямую в виртуалку, и без этой технологии сделать подобное проблематично? Не то, чтобы у меня была лишняя видеокарта под машинное обучение. :)

            • DurRandir
              /#21591878 / +2

              >Кстати, о VT-d – я правильно понял, что она позволяет пробросить видеокарту напрямую в виртуалку, и без этой технологии сделать подобное проблематично?

              Да. И не просто проблематично — невозможно. У интела какое-то время было очень интересно — топовые K процы шли без нее, а следующие за ними без К индекса — с ней. У ксеонов с ней все ок.

            • invite_ciel
              /#21592106 / +1

              Я хочу вынести все приложения

              Ну, у Вас не очень много вариантов. :-)

              Гипервизор, какой к душе ближе лежит, либо LXC (просто контейнеры)/Docker(контейнеры и оркестрация попроще)/Kubernetes(контейнеры и оркестрация покруче).


              Про преимущества и недостатки:


              1) Гипервизор:


              За:


              • Простота. Всё эквивалентно физическим машинам, легко управлять, легко обновлять, мало абстракций.
              • Изоляция. Разные ядра ОС — более спокойная жизнь, если нужно крутить что-то, чему Вы не полностью доверяете.
              • Гибкость. Настроить можно что угодно, было бы время.

              Против:


              • Необходимость ручной настройки и управления ресурсами (хранилище, память, адреса).
              • Небольшой оверхед по производительности, но на это можно наплевать. Он реально небольшой.
              • Чуть-чуть повыше задержки ввода-вывода дисков, сети. Весь обмен идёт через виртуальные устройства, они вносят свои коррективы.

              2) Контейнеры. Не особо касаюсь LXC, он близок к ВМ с меньшим оверхедом и чуть большими рисками ИБ. Основа основ — это докер.


              За:


              • Автоматизация многого. Можно стянуть с Docker Hub готовый образ практически с чем угодно, автоматизировано управление ресурсами, есть апи.
              • Сложные сети из коробки. Та же оверлейная сеть — это чудо.
              • Кластеры и оркестрация. Нужно, чтобы система автоматом поддерживала минимальное число воркеров и переносила их на другой хост, если первый откинулся? Легко. Централизованное логирование? Легко. И т.п.
              • Чуть лучше перформанс, чем у ВМ.

              Против:


              • Абстракции, куча их, причём в разных местах. Сеть временами слишком умная. Например, в том же докере есть встроенный ДНС, который не очень удобно стыкуется с внешним ДНС-ом.
              • Обновления — боль и костыли. Деплой чего-то, чего нет готовым — боль и костыли. Например, если Вы не публикуете свой образ в Docker Hub, он не будет автоматически перестроен при обновлении базового образа. Автоматически штатным образом обновить контейнеры не всегда возможно. Для своих образов Вам придётся, по сути, воссоздавать инит-скрипты, которыми оживляется Ваш сервис.

              По-любому потыкать надо и то, и другое. Ничего не мешает совмещать — докер/кубернетес прекрасно заживёт в виртуалке, и изучение его не будет мешать работе уже настроенных виртуалок, которые Вы используете, а не изучаете. Ну, при условии, что Вы отделите тестовые подсетки и рабочие подсетки, и не будете сплетать одно с другим.


              Дальше большая субъективщина, к которой был бы рад услышать альтернативные мнения:


              • ВМ — основополагающая технология. От неё стоит отталкиваться, а потом уже идти в контейнеры.
              • Бесстыжий пиар. Начать лучше всего с Proxmox, он бесплатный, открытый и офигенно мощный. Если сервер один, и нет СХД, то лучше использовать хранилище на ZFS. Для ознакомления на какую-либо машину попроще поставить vSphere, поучиться и ему. Но без vCenter ему до практичности Proxmox — как до Луны, поэтому он нужен для того, чтобы научиться технологиям лидера коммерческого рынка.
              • Сервисы, которые должны просто работать, и которые написаны не Вами, лучше деплоить в ВМ.
              • Сервисы, которые Вы пишете сами, лучше деплоить в контейнеры.

              • Xobotun
                /#21607966

                Спасибо за прекрасный комментарий-туториал.


                Я долго думал, что ответить. :)
                Это поле ответа висело открытым два три четыре дня.


                Сомневаюсь, что биос Вам после месяца-другого общения с сервером потребуется хоть сколько-нибудь часто

                Полностью согласен.


                Кстати, о VT-d

                Мне пробрасывать нечего, как мне кажется, поэтому я им заниматься, наверное, не буду.


                Дальше большая субъективщина

                Собственно, этот раздел я пару раз переписывал, но так и не смог написать ничего конкретного, кроме небольшого возражения на "Сервисы, которые должны просто работать, и которые написаны не Вами, лучше деплоить в ВМ.
                Сервисы, которые Вы пишете сами, лучше деплоить в контейнеры.".


                Мне кажется, что разумнее деплоить все сервисы в контейнеры, кроме тех которые:


                1. проще развернуть в ВМ (не могу сейчас придумать такого сценария, правда)
                2. требуют другой ОС (что-нибудь под винду, например. Но мне с таким ещё не приходилось сталкиваться)
                3. требуют изменяемых ресурсов или более одного процесса (Например, хостинг сайта, на который владелец иногда закачивает новые картинки по фтп, то есть нужны минимум веб-сервер и фтп-сервер, а у докера всё же изначально было правило "один контейнер – один процесс". (Тут можно возразить, что надо переделать рабочий процесс деплоя картинок на сайт, но для этого надо объяснить человеку, зачем я буду усложнять его жизнь))
                4. имеют риск плохого воздействия на хостовую систему (например, разрешают исполнять пользовательский код, или к которым разрешён доступ на запись третьими лицами. Какая-нибудь песочница или тот же фтп (хотя у него есть virtual home))

                То есть я не вижу ничего зазорного в том, чтобы запустить постгрес, дженкинс или чьё-нибудь простое single page application в докер-контейнере на хостовой машине. В конце концов, из контейнеров тоже надо постараться сбежать, но их проще настроить, чтобы из них была видна часть файловой системы хоста (bind mounts или volumes), как мне кажется. К ВМ же можно подключить read-only ФС, хотя я не углублялся так далеко в эту область. :)


                Но у меня есть сомнения касательно пункта 3: если при простой записи картинок на zfs я представляю, что произойдёт, то при записи картинок в образ диска виртуалки, лежащий на zfs – нет. Хотя я посмотрел беглым взглядом, что proxmox имеет плагин для поддержки zfs, так что наверняка ничего страшного. У меня, правда, ещё пока нет zfs. :/


                Кстати, ещё несколько заметок по ВМ:


                • в них можно экспериментпровать с операционкой, не боясь что-то запороть. Контейнеры, мне кажется, такую свободу не предоставляют. (Я имею в виду настройку фаервола, работу с кроном, возможность делать снимки образов диска (если они поддерживают), их можно приостанавливать и сохранять состояние на диск).
                • но они дают оверхед по оперативке и месту на диске, по сравнению с контейнерами. Впрочем, ресурсов у сервера из поста на это хватит.
                • их разумно использовать, если надо экспериментировать с работой какого-нибудь распределённого между несколькими компьютерами приложения.

                С вашего посыла я однозначно поставлю proxmox для игры с ВМ, но переходить с докера на LXC для меня пока как-то не хочется. Думаю задействовать cockpit для управления контейнерами (мне не нравится это разделение обязанностей, ведь proxmox, судя по вопросам в гугле, как-то умеет запускать docker на LXC) и для управления кубернетесом – proxmox в него точно не умеет, а полноценно с ним поэкспериментировать как-то не удалось, застрял на этапе написания .yaml-конфигов. Удалось запустить два сервиса в одном экземпляре, но для этого и docker-compose сошёл бы. :)

    • altai2013
      /#21596282

      Уже есть двухсокетная материнка с поддержкой DDR3 и Haswell-EP. Это HUANANZHI X99-T8D:
      image

      • invite_ciel
        /#21599176

        Спасибо! Не видел ещё эту штуку.
        Выглядит многообещающе, попробую собрать на ней ближе к концу года, как инфы будет побольше.

  3. Alexsey
    /#21589288

    Все было хорошо пока не появилась китайская мать… Ну зачем так извращаться если можно взять б/у supermicro и быть уверенным что оно не сдохнет через полгода и вообще будет работать без различных китайских особенностей? Тем более будет IPMI, который, в отличие от m.2, не добавишь через pci-e карту.

    • NickyX3
      /#21589636

      А у б/у SuperMicro есть NVMe? Почему-то мне кажется, что нет. В этом и смысл китайских плат.
      Если туда не ставить 12 ядерных камней, а ограничиться 8 ядерными — то даже Jingsha будет жить, хотя лучше всеж «оригинальную» Huanangi

      • DurRandir
        /#21589802

        Для v2, насколько я помню, только через карты расширений. Только для v4 появляются встроенные, да и то со своими приколами — не на каждой удается с него стартануть, приходится ставить обычный диск/флешку.

        • NickyX3
          /#21589890

          Ну так все эти X79/X99 хоть и несут обычно стандартный «серверный» чипсет, но основательно «допилены», не удивлюсь если там m2 nvme «внешним» контроллером сделан на материнке прямо

      • JerleShannara
        /#21590488

        На б/у supermicro хватает PCIe слотов.

        • NickyX3
          /#21590528

          Так вы определитесь — PCIe слотов или таки NVMe, с которого китайцы умеют грузиться. Чета не факт что серверная мать будет грузиться с внешнего адаптера PCIe->NVMe

          • JerleShannara
            /#21590594

            А в чём проблема втулить драйвер nvme в супермикру?

            • Xobotun
              /#21590624

              Если это повлечёт за собой ковыряние в исходниках биоса, то проблема в том, что моих навыков на это не хватит.


              Или я совершенно не представляю, как работают серверные материнки, как в них можно вставить драйвер для нового устройства.

              • JerleShannara
                /#21590640

                Ужа давно не надо знать магию ассемблера и ковыряться в исходниках.
                хороший гайд

                • Xobotun
                  /#21590740

                  Да, действительно, это оказалось проще, чем я думал. Оказывается, UEFI состоит из томов, и их туда можно достаточно невозбранно вставлять.


                  Другое дело, что это шанс выстрелить себе в ногу, в посте даже красным цветом выделено, и я вряд ли решился делать это. С другой стороны, купил же я китайское железо, которое куда непонятнее этих NvmExpressDxe_4.ffs модулей...

                  • JerleShannara
                    /#21590908

                    Вы купили себе лотерейный билет. Ставить топовые возможные камни на такое — это игра в рулетку, причём когда казино её затюнило.

                    • Xobotun
                      /#21590960

                      Менее выигрышный, чем б/у supermicro или любое новое железо, которое тоже имеет шанс сломаться.


                      Топовым камнем под LGA2011 всё же был бы какой-нибудь Xeon E5-269* v2. Однако у этого TDP 135 Ватт, что намекает, что электричества они едят тоже немало.

                      • Orient
                        /#21592662

                        E5-2667v2 или E5-1680v2

                        • Orient
                          /#21597510

                          По цена/производительность, я имел ввиду.

                      • DisM
                        /#21593024

                        Вот реально, какое вам дело до потребления электричества. Если у вас счет за него на 100 руб. увеличиться, вас это будет сильно волновать?
                        Другое дело если у вас система охлаждения не тянет, или блок питания, или шум… тогда это как критерий можно понять.

                        • Xobotun
                          /#21593258

                          С точки зрения электросети – никакого. Но я пребываю в убежднении, что TDP прямо коррелирует с потребляемой процессором мощностью, а значит, и нагрузкой на силовые компоненты материнской платы.


                          Я не знаю, на какую мощность рассчитаны цепи питания процессоров и из какого качества компонентов они состоят, но разница между 105 Вт и 135 Вт около 20%. Но это всё равно несколько натянутый критерий, согласен.

            • NickyX3
              /#21590818

              Как уже отметили — ковырять биосы так себе затея для многих. А там готовое, и в куче вариантов + разлоченный турбобуст

              • JerleShannara
                /#21590904 / +1

                И лотерея «а когда сдохнет» в подарок. Уже в каких-то темах отписывался о приколах хуана и ещё большего нонейма и том, как он дохнет.

                • NickyX3
                  /#21590922

                  Уже писал, не надо у Хан пихать 12 ядерники, там 8 линий питалова, по хорошему не одна на ядро.

                  • JerleShannara
                    /#21590930

                    Это да, на топах хуаны у меня дохли за 3-4 месяца под нагрузкой.

                    • nidalee
                      /#21593538

                      Под нагрузкой месяцами стоял: Blender, ffmpeg HEVC. 10 ядер, 2680v2, все работает нормально до сих пор, больше года, хотя с покупкой 3900X все тяжелые задачи с него ушли.

            • Loggus66
              /#21593088

              Это сложно, хотя с другой стороны, программатор обходит проверки подписей, но есть вариант грузиться с флэшки, там даже драйвер не нужен.

      • invite_ciel
        /#21591822

        Да без разницы сколько ядер на камне. На Haswell/Broadwell Интел использует FIVR — встроенные регуляторы на чипе, которые напряжением управляют для каждого ядра в отдельности.
        А на сокете осталось только одно напряжение — 1.8в (не считая просадок). В результате на VRM при той же мощности ток очень прилично упал, по сравнению с теми 0.6-1.3 вольт, которые были раньше на сокете. Плюс номинал напряжения теперь только один, т.е. все мосфеты только на одно дело работают.
        Имхо, у той же Jingsha X99 можно выкинуть половину фаз, и всё будет нормально.

    • Xobotun
      /#21590490

      Да, IPMI – штука хорошая, но я надеюсь, что не потребуется. Я хочу перенести заботу о восстановлении системы на софт, а здоровье железа – мониторить, как получится. Да и не будет оно на передел запаса прочности работать.

  4. romxx
    /#21589502

    Нафига так жить. Купите на ebay юзаный HP Z820, он вам примерно в те же деньги обойдется, но при этом будет надежный, прочный и ТИХИЙ. И без колхоза с «китайсками материнками» и «корпус NoName бесплатно».

    • Xobotun
      /#21590546

      Посмотрел на ebay – вот самый дешёвый. И не факт, что не подорожает – всё же ebay аукцион. В два раза меньше оперативки и E5-2667 против E5-2690 за те же деньги. Ну, не могу сказать, что то же самое, но близко, да.


      Сервер вышел достаточно тихим, чтобы его не слышать. По крайней мере, компьютер у меня шумнее.

  5. bzzz00
    /#21589630

    А вот ксеон второго поколения уже не выгоден: стоимость за попугая уже приближается к райзенам.

    мне кажется это обобщение не удалось. поглядите на ценник 2650v2 или 2630v2.

    • Xobotun
      /#21590606

      мне кажется это обобщение не удалось

      Вы знаете, похоже, вы правы. Можно было взять более эффективные процессоры. Я плохо изучил, какие бывают. Взял несколько старших поколений, посмотрел, что они менее производительные в пересчёте на рубль – и решил сконцентрироваться на древних Sandy Bridge.


      за 7 (ну может за 8) можно найти новую серверную ASUS под два камня, 16 слотами DIMM и IPMI.

      Жаль, о таких даже не слышал. Если бы видел – подумал бы насчёт них, но под них наверняка надо покупать EPYC, а один такой стоит как половина итоговой системы.

  6. stalinets
    /#21589924

    Кулеры можно взять дешевле, например, такие. Вообще на ютубе MaddyMurk и НостальжиПК регулярно собирают игровые компы на зеонах и подобных материнках, были у них и двухпроцессорные.
    Я вот задумываюсь об апгрейде домашнего ПК и всерьёз думаю взять не райзен, а китайскую сбонку на Зеоне: например, материнку HUANANZHI X99-TF с сокетом 2011v3, проц Intel Xeon E5 2678 V3 и 32 (может, 64) Гб серверной DDR4 памяти. Я получаю при этом дофига оперативы и много ядер. А в случае Райзена я получу за такие же деньги меньше ядер (хотя они будут более быстрые и более энергоэффективные), гигов 16 оперативы (хотя она и будет быстрая), ну и то, что всё новое и с гарантией локального магазина.
    По мне так вариант с Зеоном всё равно интереснее. Общий тренд последних пятнадцати лет — многоядерность и многопоточность, и большое количество ядер мне кажется предпочтительным.
    Я даже хотел собрать то, что собрал автор (двухпроцессорного монстра). В этом случае ещё больше ядер (правда, ещё более слабых), ещё дешевле серверная DDR3 оператива (которой можно за этот бюджет набить аж 64 Гб). Но меня отговорили, так как там будет медленная межпроцессорная шина и слишком слабая производительность на ядро, что для бытового и игрового ПК уже «не айс».

    Но точно я ещё не решил, что собирать.

    • Temtaime
      /#21590644

      Забавное видео на тему зионов.
      www.youtube.com/watch?v=GOkm2C0rk-w
      Райзены есть и на 32 потока под AM4. Те же 64 гб влезут. И в производительности на поток на голову выше. У вашего же E5-2678 v3 в passmark всего 14 тысяч очков. У того же 3600 с 6 ядрами — почти 18 тысяч.
      ИМХО, лучше взять что-то новое, что точно будет работать без бубнов, а не китайщину с возможными костылями и глюками.

    • NickyX3
      /#21590652 / +1

      С HUANANZHI X99-TF надо аккуратнее, 2678 конечно бодрые процессоры сейчас, но у платы по 8 линий питалова для процессоров, а Intel рекомендует по линии на ядро, так что может и пригореть.

    • Xobotun
      /#21590684

      Там по ссылке кулер для LGA 1151, а эта материнка под LGA 2011. Но это мелочь.
      Я на самом деле планировал взять сопутствующие товары вроде кулеров на месте, а не надеяться, что оба заказа придут в одно время.


      По мне так вариант с Зеоном всё равно интереснее

      Я пошёл по этому пути, ибо он действительно интереснее. Одно дело – собрать готовый рабочий компьютер, другое дело – заняться сомнительной экзотикой. Оно не факт, что будет стабильнее, но интереснее в плане хобби.


      Я вот задумываюсь об апгрейде домашнего ПК

      Думаю, что для домашнего ПК разумнее брать райзены: производительность выше, но он прохладнее и на нём, как мне кажется, будет меньше проблем совместимости в играх, чем на платформе с NUMA и нетипичным железом. К тому же, для домашнего компьютера не столь важно количество потоков, чем для сервера с виртуализацией и кучей мелких приложений.

    • Ahen
      /#21591928

      Главное чтобы не посетил отвал

    • onlinehead
      /#21593106

      Я вот задумываюсь об апгрейде домашнего ПК и всерьёз думаю взять не райзен, а китайскую сбонку на Зеоне: например, материнку HUANANZHI X99-TF с сокетом 2011v3, проц Intel Xeon E5 2678 V3 и 32 (может, 64) Гб серверной DDR4 памяти.

      У меня уже больше 2 лет трудится Dell T3600 с 64Гб памяти и Xeon E5-4650L (камушек довольно экзотичный, но по мощности весьма недалеко от 2678v3, хоть он и из первого поколения).
      Так вот — это хорошо, когда есть возможность купить все и задешево (мне все это в сборе обошлось в 450 евро с доставкой и 4 дня ожидания с eBay) и тогда Ryzen\TR только вышли, ценник был очень высокий и были проблемы с NUMA, но сейчас, тем более если самому собирать, то не смотря на все прекрасы — подкопите и купите Threadripper первого-второго поколения или Ryzen. Собственно я скорее всего поеду на новый TR, как толко подкоплю денег (негуманно они стоят третьей серии, но с точки зрения цена\производительность при наличии ECC памяти и большого количества PCIe линий аналогов у них нет).
      Более того, 24 потока это конечно хорошо, но 16 при мощности на ядро сильно выше будут работать лучше во многих задачах, только если ваша цель не машина под виртуалки в большом количестве, тогда да, чем больше, тем лучше, а производительность на поток можно пережить.
      На 80% более можный относительно 2678v3 (по попугаям) TR 1920x обойдется в 14300р по ценам computeruniverse (когда жил в России, заказывал комплектуху оттуда), 32 Гб ECC памяти еще в 11-13 тысяч двумя планками по 16, чтобы потом еще можно было докинуть так же 2х16 и получить четырехканалку полную, в зависимости от производителя.
      Еще 18 тысяч будет стоить материнка.
      Итого — 14300+13000+18000 = 45300.
      При этом, если судить по немецкому ebay, E5 2678 V3 обойдется примерно в 11 тысяч при покупке из Китая, материнка еще около 10, память с алика DDR4 ECC reg 2x16Gb получается около 8 тысяч (хотя мне было бы очень страшно ее покупать оттуда, очень уж там много можно начудить по таймингам).
      Итого — 11000+10000+8000 = 29000.
      Сборка на Ryzen 3600 обойдется за те же комплектующие примерно в 32 тысячи рубелей по ценам CU (14к камень, материнка 8к, 10к память).
      Да, разница c TR в 15 тысяч, но разница в производительности — 80%, не говоря уже о том, что все будет новое, точно рабочее, материнки еще будут поддерживаться (камни под TR4 еще официально продаются AMD и являются частью актуальной линейки) и камень в будущем можно апгрейдить вплоть до 2990x, аналогов которого по мощности просто не существует для 2011v3.
      А с Ryzen разница вообще не существенная, поэтому если нет ощущение что ECC память точно нужна — можно вполне идти с ним, благо там хороший сокет и при желании в будущем можно воткнуть даже 3650x, который уделывает в труху вообще все вышеперечисленное.

      • Alexsey
        /#21593252

        На Ryzen тоже можно ECC завести.

        • onlinehead
          /#21593380

          Можно, но надо уже внимательно искать материнку. Но при условии того, что есть желание заморочиться то да, можно и Ryzen с ЕСС.

      • stalinets
        /#21593528

        А есть где почитать/посмотреть на сборки TR с ECC памятью? Что там за материнки используются, какие-то серверные? Райзен-то понятно, бытовой, и бытовая память там дорогая.
        И что, у народа часто бывают проблемы с серверной памятью с Али?

        • nidalee
          /#21593556

          На AM4 точно работает ECC. Но без гарантий, как говорит сама AMD — работает, но тесты не проводились (тыц). Лучше смотреть наличие ECC в документации\информации о материнке.

          ECC is not disabled. It works, but not validated for our consumer client platform.
          Validated means run it through server/workstation grade testing. For the first Ryzen processors, focused on the prosumer/gaming market, this feature is enabled and working but not validated by AMD. You should not have issues creating a whitebox homelab or NAS with ECC memory enabled.
          Yes, if you enable ECC support in the BIOS so check with the MB feature list before you buy.

          Лично у меня стоит 3900X на ASUS Prime X570 — в настройках BIOS переключатель ECC присутствует. Но у меня память обычная, поэтому для меня он бесполезен (Auto\Disabled).

  7. dMac
    /#21590768

    Два вопроса:
    1) Не стремно использовать б/у, да еще и китайское?

    2) Где вы взяли такие суровые челябинские децибелы?
    По тексту — «с видеокартой уровень шума был на уровне 27-30 децибел, а после установки операционной системы уровень шума сервера снизился где-то до 8-14 децибел.»
    8 децибел — это примерно писк комара, 14 — то, что в быту называют тихой комнатой, а 27-30 — это примерно «а что там в углу шуршит», а не «какая же она громкая»

    • Xobotun
      /#21590882

      Не стремно использовать б/у, да еще и китайское?

      Оно наверняка нестабильно. С другой стороны – эти процессоры продают не потому, что они стали глючить, а потому, что их владельцы решили обновить парк машин. И я уверен, что ресурс у них изношен не до конца и ещё лет пять они проработают.


      А китайское – у нас больше половины электроники производится в Китае, не важно в каком. И большой разницы в том, будет это материнская плата Asus или фирма с таким же осмысленным названием Huananzhi – не суть важно. Но китайцы могут сэкономить на диодах-предохранителях ещё на этапе проектирования, да. Но проектировать они уже должны были научиться, всё же уже не первый год реверсят технологии, могут уже создавать свои платы достаточно надёжными для повседневного использования, мне кажется.


      Где вы взяли такие суровые челябинские децибелы?

      Замерял двумя разными телефонами. Да, они совсем не подходят на роль точного измерителя уровня акустического шума, но, кмк, это лучше чем сказать "видеокарта в сервере была настолько шумная, что вынув её, стали слышны доносящиеся с улицы звуки."


      Впрочем, этот пассаж можно было вообще выкинуть, он к делу мало относится. Но я просто зафиксировал малозначимый факт, что без шума временной видеокарты мне стало комфортнее.

      • NickyX3
        /#21590912

        ресурс у них изношен не до конца и ещё лет пять они проработают.

        Лет 20 еще они проработают. Сижу смотрю на MacPro 1.1 (на сток дуалкорах X5150, 2006 год), в который завтра вонзятся E5345

      • JerleShannara
        /#21590926 / +2

        Китайца на хуанов и компанию ставят компоненты вида «Собачатина третьего сорта, рубленая с будкой». Качество — примерно как у китайских ардуин, которые стоят дешевле, чем atmega, на них запаянная. Входного контроля компонентов там просто нет. С процессорами проще — их можно брать, только стрессом нагрузить на полдня для проверки — если не заглючило, то будет спокойно жить.

  8. swiing
    /#21591300

    Будет интересно посмотреть статистику загрузки CPU за месяц, сейчас у себя глянул, я 2хE5-2630L в среднем загружаю на 12% с пиками в 40%, а у меня ~20 VM под vmware. Не удивлюсь, что E5-2690 окажется overkill-ом, а на этом можно порядком сэкономить и и мать не насиловать. Или у вас таки планируются какие-то прожорливые задачи (те что в тексте статьи как-то не сильно)

    • Xobotun
      /#21591916 / +1

      Нет, особо сильных задач не планируется. Разве что раз в полгода-год нагрузочное тестирование чьего-нибудь пет-проекта, но подобное было пока что только один раз.


      Кстати, что используете для мониторинга сервера? Я смотрел в сторону заббикса, но быстрый гуглинг выдал красивые бесплатные(кажется) опенсурсные eZ Server Monitorтерминальная версия) и Netdata.

      • swiing
        /#21591980

        Telegraf + InfluxDB + Grafana, а точнее SexiGraf, это Grafana заточенная под vmware, но хочу поиграть c Zabbix и хитрыми алертами. Grafana конечно просто и красиво, но система алертов весьма примитивна по сравнению с Zabbix.

        • onlinehead
          /#21593108

          Grafana это визуализатор, алерты стоит делать инфлюксовыми средствами, к нему в комплекте специальный компонент для этого и поставляется.

      • Alexsey
        /#21592188

        Zabbix вещь хорошая. Если разобраться то с ним можно делать как-то так:
        image
        image

  9. aik
    /#21591664

    Энергопотребление замеряли?
    Насколько помню, основная беда китайских матерей — это то, что у них проблемы со спящими режимами.

    • Xobotun
      /#21591880 / +1

      Да, хочу замерить, но единственная "умная розетка", способная замерить напряжение и силу тока на входе в блок питания, оказалась уже год как сослана на дачу – а туда со всем происходящим сейчас в мире, попасть не так просто.


      Когда замерю – сообщу.
      Сколько я уж видел подобных сообщений на форумах… Надеюсь, я действительно напишу сюда, когда замерю потребляемую мощность.

  10. SinsI
    /#21592288

    Как следствие из цели, оборудование должно иметь одно из лучших соотношений «попугай/рубль»
    Насколько корректно считать это соотношение для каждой отдельной части, а не для всего компьютера в сборе?
    Например, сейчас у вас комп даёт 0.33 процессорного попугая/рубль.
    Стоимость процессора у вас 10 тыс рублей, т.е. 20% от всего компьютера. Если взять, допустим, AMD Ryzen 9 3900X c 32.887 попугаев за 432$ = 32 тыс руб, то сам процессор будет втрое дороже — но сборка подорожает только на 22 тыс руб, так что отношение процессорные попугаи/рубль — станет 0.41, т.е. существенно улучшится.

    • Xobotun
      /#21593386

      Да, считать попугай/рубль определённо имеет смысл и для всей системы. Только тогда надо для неё же посчитать объём оперативки/рубль и объем диска/рубль, иначе этот показатель перестаёт быть объективным для оценки производительности системы, как мне кажется. Им слишком легко манипулировать, посудите сами: убрав три планки оперативки (-14к рублей) и поставив систему не на NVMe SSD, а на старый 80 GB HDD (-10к рублей), можно поднять отношение процессорных попугаев к рублю с 0.41 до 0.59.


      Так что мне кажется корректным считать этот показатель для всей системы только когда мы считаем и другие для всей системы в целом.


      Кстати, если мы их каким-то образом нормализуем и установим веса для этих трёх показателей в зависимости от того, в какую сторону перевес нам действительно нужен, можно будет найти локальный максимум среди множества всех доступных систем и сказать "эта самая дешёвая в пересчёте на рубль". Осталось только понять, откуда получить данные о компьютерных компонентах и как учитывать их совместимость. Это уже что-то из теории графов, похоже.

      • SinsI
        /#21595676

        Только тогда надо для неё же посчитать объём оперативки/рубль и объем диска/рубль
        Не знаю специфики вашего конкретного использования, но обычно для оперативки считать показатель «объём/рубль» вообще некорректно — нужно считать «полезность/рубль», а для оперативки она резко ступенчатая, причём предельная полезность очень быстро приближается к нулю.

  11. capitannemo
    /#21593420

    Круто! Я не думал, что сейчас вообще доставка с алиэкспресс работает.
    Что касается выбора процессоров при всей дешевизне AMD у моего поколения остались воспоминания, когда хоть что-то из софта хуже работало на AMD.
    Да тот же эмулятор андроид студии, чтобы далеко не бегать. Только сейчас подпилили.
    Как говорится ложечки нашлись…
    Поэтому при всех отношениях процессорные попугаи/рубль я 100500 раз подумаю перед тем как AMD взять под промышленную нагрузку.
    Для дома для семьи конечно вполне возможно.
    По теплу раньше тоже AMD далеко проседал

    • werter78
      /#21595662 / +1

      Те времена давно канули в лету. Почитайте про архитектуру Zen2+. И 1-й 7-нм CPU — от AMD, а не Intel.
      А софт «тормозить» может из-за того, что скомпилирован под Intel и компилятором от Intel.
      «Синие» на этом уже попадались.

      • Alexsey
        /#21596986

        Ну эмулятор то андроид студии по вполне понятным причинам не работает нормально. Он гипервизор от интела использует.

  12. werter78
    /#21595636

    Спасибо за статью.
    Плюсую за Proxmox VE на этом сервере. Удобно, надежно (zfs же), универсально (привет, vmware).
    По винтам — только не wd red с их SMR. На хабре есть статья по этому делу.

    P.s. В догонку. Если надо оч быстро. Не знаю, умеет ли ваша матплата разваливать PCi-E x16 на x4+x4+x4+x4, но в природе существуют такие адаптеры как ASUS Hyper M.2 X16, ASRock Ultra Quad M.2 Card или «китаец» JEYI iHyper SSD 4x M.2 NVMe to PCIe Adapter (JP84A) Попробуйте поискать БИОС на 4pda.

  13. werter78
    /#21595830

    Для проброса PCI(-E) уст-в в ВМ на Proxmox VE (KVM):
    0. CPU и chipset должны уметь vt -x + vt-d в случае с intel или SVM + IOMMU для AMD.
    1. Обновляем БИОС.
    2. Вкл. vt-x и vt-d для intel или SVM + IOMMU для AMD в настройках BIOS матплаты.
    3. Устанавливаем (рекомендую ZFS — умеет из коробки), обновляем, перезагружаем Proxmox VE.
    4. В shell от root-а:

    if dmesg | grep -E -q "(IOMMU|DMAR)"; then
      grep -iqw "vmx" /proc/cpuinfo && echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT intel_iommu=on"' > /etc/default/grub.d/iommu.cfg
      grep -iqw "svm" /proc/cpuinfo && echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT amd_iommu=on iommu=pt"' > /etc/default/grub.d/iommu.cfg
      echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT pcie_acs_override=downstream,multifunction"' > /etc/default/grub.d/pcie_acs_override.cfg
    fi
    update-grub

    5. Перезагружаемся.
    6. Проверяем возможность проброса PCI(-E) уст-в в настройках ВМ в web gui Proxmox-а. Должно работать в ВМ и для UEFI и для Legacy BIOS.

    Это также позволит пользовать SR-IOV (для сетевых от интел и броадком, напр.), если такая возможность имеется.
    Зы. Мне попадались дешевые матплаты для АМД (чипсет b320 и выше), к-ые умели SR-IOV в БИОС. У Интела с этим сложнее.

    • Alexsey
      /#21596994

      У меня есть некоторые сомнения что на китайских платах это все будет работать корректно и стабильно (если вообще будет). Они любители влепить всякие непонятные чипсеты на свои платы.

  14. werter78
    /#21595980

    Зы2. Для работы SR-IOV на Proxmox-е дополнительно в shell от root-а и, повторюсь, только при наличие этой возможности у вашего «железа»:

    for module in vfio vfio_iommu_type1 vfio_pci vfio_virqfd; do
      grep -qx "${module}" /etc/initramfs-tools/modules || printf '%s\n' "${module}" >> /etc/initramfs-tools/modules
    done
    update-initramfs -u -v -k all

    И перезагрузиться.

    Далее www.facebook.com/notes/chris-hsiang/pve-42-????-intel-nic-sr-iov-??-passthrough/10209002585332379. Переводчик в помощь.

  15. crustal
    /#21597320

    Может что-то не понимаю, есть график процессоров доллар за попугай, есть график процессоров рассеиваемая мощность на попугай. И там и там старый I3 вроде как на самом верху. Что мешает просто умножить на 4. Еще три корпуса по отрицательной цене утилизации со свалки, еще три новых блока питания Zalman 400 — качество по смешной цене, новые материнские платы Asus — качественный ширпотреб баксов за 70, новые I3 или I5, ну и так далее.

    Четыре сайлент ящика под кроватью, каждый делает свое дело, никому не мешает, наращивать количество можно инкрементально, без риска повредить работающее. Тепловой пакет очень щадящий, — работать будет долго и надежно, по цене наверное даже дешевле будет.

    • Alexsey
      /#21598256

      Какое-то максимально расплывчатое предложение. Какие-то графики на которые ссылок нет, какой-то i3 без названия модели. Перечислите конкретный набор комплектующих который в виде 4 системников (что уже само по себе минус) заменит то что в посте и тогда хотя бы можно будет обсудить насколько это хорошая альтернатива.

      • crustal
        /#21601896

        Какое-то максимально расплывчатое предложение.

        Можно и конкретнее. У него есть PC, который делает то, что ему нужно, только уже начинает не успевать. Ну собери еще один холодный системный блок на новых комплектующих у ближайшего приличного дистрибьютора — и всех делов. У него задачи независимые, только выиграют от этого. Зачем нужно лезть в Китай, или куда там еще, покупать что-то бэушное, жутко греющееся с двумя супербашнями кулерами — мне непонятно. Я не пишу, что он не прав, я только лишь пишу, что мне из его спецификации такой финт неочевиден. Если комуто очевидно, — ну так для этого этот форум и предназначен, пусть разъяснит.

        • Xobotun
          /#21603930

          график процессоров рассеиваемая мощность на попугай. И там и там старый I3 вроде как на самом верху. Что мешает просто умножить на 4

          Ну, тех i3-2130, что упомянуты в посте, потребуется штук 10, чтобы покрыть разницу в попугаях. (2x e5-2690 – 18967 попугаев, i3-2130 – 1839) Мощность выделения теплоты – плохой показатель, я всё же не обогреватель собираю. И не факт, что если их объединить в кластер, выйдет такая же производительность, и потребуется ещё пара корпусов под кроватью для управления им.


          Зачем нужно лезть в Китай, или куда там еще, покупать что-то бэушное, жутко греющееся с двумя супербашнями кулерами

          Достаточно производительный гибкий сервер, который не особенно жалко. Под гибким я подразумеваю, что на нём можно пустить как большую задачу на полдня и задействовать 80% его мощностей, либо сотню-другую фоновых мелких задач, либо что-то посередине: десяток фоновых задач и изредка глобальные задачи. Зачем гибкость – я не знаю, что именно мне потребуется в ближайшие лет пять. Вряд ли что-то особенное, но приятнее иметь запас.


          Ну, и самая решающая причина – хобби. Оно уже года три зудит "купи себе бесплатно нормальный сервер, будешь на нём Пентагон взламывать." Теперь успокоилось. (правда, зря оно успокоилось, я же его настраивать ещё не начал. >_<)