Эпический комп. Собираем суперкомпьютер на AMD EPYC из подержанных комплектующих

В статье «Ме­гас­четы. Собира­ем мощ­ный компь­ютер для вычис­лений» мы уже обсужда­ли компь­ютер для тяжелых ресур­соем­ких задач. Тог­да мы исполь­зовали Xeon 2600v4, и это было недур­но в 2022 году, ког­да я задумал эту кон­фигура­цию, а сей­час и вов­се бюд­жетнень­ко. Но рас­четы съеда­ют столь­ко мощ­ностей, сколь­ко ты для них пре­дос­тавишь. А самое дорогое в этой жиз­ни — наше вре­мя, поэто­му уско­рение работы компь­юте­ра в 1,5–2 раза опре­делен­но сто­ит зат­рат и уси­лий.

Пла­ниро­валась эта машина как уль­тиматив­ное решение, но все пош­ло не по пла­ну. В кон­це 2023 года я уви­дел, что подеше­вело вто­рое поколе­ние про­цес­соров семей­ства AMD EPYC. «Надо брать», — решил тог­да я.

AMD EPYC — эпический процессор

Мно­гие даже не слы­шали об этих монс­трах. Пред­став­ленные в 2017 году, смот­релись они тог­да дей­стви­тель­но эпи­чес­ки. Куча ядер, мно­го кеша и огромные раз­меры самого про­цес­сора в форм‑фак­торе сокет SP3. На самом деле это не сов­сем про­цес­сор, это ско­рее SOC, пос­коль­ку кон­трол­леры памяти, дис­ков и все­го про­чего так­же находят­ся на крис­талле.

Ос­новной при­кол этой серии — в при­мене­нии чип­летной тех­нологии: по фак­ту в одном кор­пусе уста­нов­лены нес­коль­ко физичес­ких чипов, соеди­нен­ных общей шиной. Мож­но ска­зать, что это четыре про­цес­сора в одном кор­пусе.

Пер­вое поколе­ние име­ло до 32 ядер и под­держи­вало память ECC REG DDR4 с час­тотой до 2666 МГц. Вто­рое поколе­ние — уже до 64 ядер и ECC REG DDR4 до 3200 МГц. На момент выхода эти про­цес­соры сто­или кос­мичес­ких денег, а сей­час потихонь­ку дешеве­ют, что дела­ет их иде­аль­ным решени­ем для рас­четно­го сер­вера.

На фотог­рафии ниже — топовая вер­сия пер­вого поколе­ния AMD EPYC 7601 на 32 ядра, с час­тотой 2,6 ГГц по всем ядрам и 64 Мбайт кеша. Рядыш­ком — сред­нень­кий камень вто­рого поколе­ния: это AMD EPYC 7532 на 32 ядра с час­тотой 3,3 ГГц по всем ядрам и 256 Мбайт кеша. В тес­тах пер­вый уде­лыва­ет Xeon 2696v4 с неп­лохим отры­вом при схо­жей цене, про вто­рой и говорить нечего.

Ма­шина с ходу пла­ниро­валась двух­про­цес­сорной. В качес­тве про­цес­соров я выб­рал EPYC 7532. Да, у них не так мно­го ядер, как у стар­ших моделей, зато кеша целых 256 Мбайт и дос­таточ­но высокая час­тота тур­бобус­та: 3300 МГц на все ядра. Ну и цена доволь­но демок­ратич­ная. Кро­ме того, извес­тно, что парал­лелиза­ция в соф­те реали­зова­на неидеаль­но и в какой‑то момент добав­ление ядер не при­носит ожи­даемо­го эффекта. С этой точ­ки зре­ния 64 физичес­ких ядра в двух про­цес­сорах смот­рится дос­таточ­но разум­но.

Материнская плата

Ну, тут вари­антов нем­ного. В отли­чие от «Зионов», для «Эпи­ков» еще не налади­ли про­изводс­тво шир­потре­ба, поэто­му материн­ская пла­та — сер­верная. Да и вооб­ще с нашими задача­ми сер­верное железо справ­ляет­ся луч­ше бытово­го. Берем Supermicro H11DSi-NT, она име­ет фор­мат EATX и может быть уста­нов­лена в кор­пус от обыч­ного ком­па, что нам и надо.

Корпус

Тут всё как в прош­лый раз: выбира­ем кор­пус, в который мож­но напихать поболь­ше вен­тилято­ров. Я исполь­зовал вари­ант от DeepCool в минималь­ной ком­плек­тации, все рав­но род­ные вер­тушки пой­дут под замену. Штат­ные вен­тилято­ры меня­ем на 140-е 76.5 CFM: все‑таки при­дет­ся отво­дить целых 400 Вт. Ста­вим три вер­тушки на вдув и три на выдув. В прин­ципе, ком­пания — изго­тови­тель кулеров тут не осо­бо важ­на, глав­ное — про­изво­дитель­ность, ну и что­бы про­рабо­тали они подоль­ше.

Са­мо собой, необ­ходимо пре­дус­мотреть воз­можность кон­тро­ля обо­ротов. Иде­аль­ный вари­ант, конеч­но, взять сер­верный кор­пус, но уж очень мно­го денег за них про­сят.

Блок питания

Блок питания берем с запасом, не самый наворо­чен­ный, но и не деш­ман. Ему пред­сто­ит работать подол­гу. 1200 Вт для такой машины — это при­мер­но двук­ратный запас по мощ­ности. Кро­ме того, не сто­ит забывать, что у пла­ты два допол­нитель­ных разъ­ема питания про­цов.

Диски

В машине уста­нов­лены четыре дис­ка SSD M2 Samsung 980 Pro на 1 Тбайт для сис­темы. Еще есть сер­верный Western Digital Ultrastar DC SN640 U2 NVME 7,6 Тбайт, ранее он себя уже хорошо зареко­мен­довал в тяжелых задачах, да и цена у него впол­не при­емле­мая на вто­рич­ке. Ну и два HDD по 4 Тбайт для хра­нения дан­ных.

Память

Это, пожалуй, самое боль­ное мес­то: для наших целей памяти нуж­но мно­го. Опе­ратив­ка на момент сбор­ки этой кон­фигура­ции сто­ила немало, про сей­час я вооб­ще мол­чу. Поэто­му брать при­ходит­ся то, что лезет в бюд­жет. В ито­ге я взял 16 пла­нок 4DR LRDIMM 2400 МГц 64 Гбайт, ито­го 1 Тбайт опе­ратив­ки — вну­шитель­ная циф­ра. Впро­чем, если рас­кидать ее на 64 ядра, то выходит по 16 Гбайт на ядро, что уже не так впе­чат­ляет.

В любом слу­чае ука­зан­ного объ­ема памяти сегод­ня хва­тает на любую адек­ватную рас­четную задачу. Проб­лема тут толь­ко одна: пер­вое поколе­ние «Эпи­ков» такую память офи­циаль­но под­держи­вает, а вот во вто­ром под­дер­жки не заяв­лено. Но, забегая впе­ред, ска­жу, что все запус­тилось.

Па­мять — это доб­рая полови­на сто­имос­ти машины!

Сборка и запуск

Попытка первая

Же­лая избе­жать проб­лем, я заказал материн­скую пла­ту сра­зу с про­цес­сорами. К нес­частью, проб­лем мне это толь­ко добави­ло.

Че­рез некото­рое вре­мя в два захода доеха­ла память. Теперь мож­но было соб­рать и про­тес­тировать машину, что я, собс­твен­но, и сде­лал. Компь­ютер запус­тился, но даль­ше начались при­колы: спер­ва память завелась на час­тоте 1600 МГц и при попыт­ке под­нять час­тоту все перес­тавало работать. Лад­но, думаю, пусть так, а что там с быс­тро­дей­стви­ем? Запус­каем уже извес­тный нам тес­товый рас­чет, смот­рим.

Кру­то? Конеч­но, кру­то, быс­тро­дей­ствие пря­мо на зависть, но есть один нюанс. Тест‑то про­ходил, но вот при запус­ке более дли­тель­ных рас­четов машина про­изволь­но ухо­дила в перезаг­рузку, при­чем без вся­ких оши­бок в логах. Это ста­ло, пря­мо ска­жем, неп­рият­ным сюр­при­зом, пос­коль­ку дела­ет компь­ютер совер­шенно неп­ригод­ным для работы.