Эпический билд. Собираем компьютеры для сложных математических расчетов

Машина первая

По дво­ру уве­рен­но шагал мрач­ный 2022 год. Цены уже полете­ли вверх, а ко мне вне­зап­но приш­ло осоз­нание, что для моих целей малова­то Xeon 2696 и 256 Гбайт опе­рати­вы. Мне тог­да нуж­но было делать мно­го высоко­уров­невых рас­четов, и хотелось иметь что‑то позубас­тее. Кро­ме того, исполь­зовать единс­твен­ную рас­четную машину не очень удоб­но, осо­бен­но ког­да задача может счи­тать­ся дня­ми и неделя­ми. В пер­вую оче­редь все, как всег­да, упи­ралось в опе­ратив­ную память, которой хотелось 1 Тбайт. Дос­тупны были толь­ко плаш­ки по 64 Гбайт, соот­ветс­твен­но, их надо было шес­тнад­цать штук. В китай­скую материн­скую пла­ту столь­ко не вот­кнешь, поэто­му приш­лось искать что‑то посерь­езнее.

Процессор

Блуж­дание по интерне­там и алиш­ке навело меня на про­цес­соры AMD Epyc: они тог­да как раз начали появ­лять­ся на вто­рич­ном рын­ке по дос­тупным ценам. Итак, AMD Epyc 7601 ока­зал­ся впол­не при­емле­мым вари­антом, сто­ил он не силь­но дороже Xeon 2696v4 и при этом был шус­трее. 32 ядра, 64 Мбайт кеша — уже кру­че ста­рых «Зионов», а глав­ное, восемь каналов памяти. Если по две плаш­ки на канал, то будет как раз то, что надо. Впос­ледс­твии этот камень был заменен более про­изво­дитель­ным AMD Epyc 7532, о чем мы погово­рим чуть поз­же.

Материнская плата

В качес­тве материн­ской пла­ты я выб­рал Gigabyte MZ32-AR0 v2, они как раз толь­ко появи­лись на вто­рич­ке. Из ее несом­ненных дос­тоинств — наличие шес­тнад­цати сло­тов опе­ратив­ки и форм‑фак­тор E-ATX, что дает воз­можность уста­новить ее в бытовой кор­пус. Еще заяв­лена под­дер­жка пер­вого и вто­рого поколе­ния «Эпи­ков», что давало задел на апгрейд. Кро­ме того, у нее дос­таточ­но про­думан­ная про­шив­ка BMC, во вся­ком слу­чае, там есть тер­мопро­фили управле­ния кулера­ми и ком­мутация веб‑интерфей­са на все сетевые пор­ты. Пос­леднее в дата‑цен­тре может счи­тать­ся недос­татком, но в неболь­шой локал­ке однознач­но плюс.

Гиб­кость и слож­ность нас­трой­ки железок у этой пла­ты — как у всех сер­верных матерей. Есть пара разъ­емов под NVMe и куча PCI-E. Из неп­рият­ных момен­тов я отме­тил разъ­емы Mini SAS для под­клю­чения хар­дов, впро­чем, вся неп­рият­ность све­лась к поис­ку и покуп­ке пра­виль­ного кабеля.

Вто­рой момент — разъ­емы PCI-E находят­ся перед опе­ратив­кой, поэто­му пол­нораз­мерную видяху мож­но уста­новить толь­ко одну, ну да в моем слу­чае это не так страш­но.

Корпус и блок питания

Тут все прос­то: кор­пус бытовой, в который влез­ла материн­ская пла­та фор­мата E-ATX. Род­ные вер­тушки я поменял на про­изво­дитель­ные с потоком 72 CFM, три на вдув, три на выдув. Блок питания — 800 В Deep Cool: тут и запас мощ­ности есть, и два 8-пиновых разъ­ема для CPU.

Ма­терин­ская пла­та в кор­пусе

SSD

Под сис­тему исполь­зует­ся бытовой SSD Samsung 980 Pro 1 Тбайт — дешево и сер­дито. Под рас­четы дол­гое вре­мя был задей­ство­ван WD Ultrastar DC SN640 U2 NVMe 7,6 Тбайт, который успел себя хорошо зареко­мен­довать и в то вре­мя сто­ил на вто­рич­ном рын­ке весь­ма скром­но. Впос­ледс­твии он пере­ехал в «двух­головую» машину, а его мес­то занял китай­ский бытовой SSD на 2 Тбайт, который пока вро­де работа­ет.

Эпопея с памятью

Вот тут была целая эпо­пея, которую я под­робно опи­сывал в прош­лый раз, — у «Эпи­ков» это час­тая боляч­ка. В соот­ветс­твии с пла­ном были при­обре­тены восемь пла­нок 4DR LRDIMM DDR4 2400 по 64 Гбайт с надеж­дой на то, что впос­ледс­твии объ­ем памяти удас­тся рас­ширить. Одна­ко пос­ле сбор­ки ока­залось, что с пол­ным набором памяти комп не стар­тует. Тог­да для меня это еще было в новин­ку.

В общем, пос­ле манипу­ляций с лас­тиком и добав­лени­ем пла­нок по одной ста­ло ясно, что один канал не работа­ет. Тог­да я гре­шил на про­цес­сор, но ока­залось, что дело не в нем. Впро­чем, аппа­рат и с семью канала­ми памяти недур­но работал. Кон­фигура­ция опе­ратив­ки на этом компь­юте­ре менялась нес­коль­ко раз, на пике там сто­яло 896 Гбайт памяти, и в такой кон­фигура­ции машина про­рабо­тала пару лет в режиме 24/7. Дол­гое вре­мя это был основной компь­ютер для тяжелых рас­четов.

В ито­ге эти план­ки пере­еха­ли в «двух­головую» эпич­ную машину, а сюда вста­ли четыр­надцать пла­нок по 32 Гбайт. Собс­твен­но, на этой машине я и выяс­нил, что один из моих AMD Epyc 7532 — битый и это тот камень, который был ведущим (незало­чен­ным). Парал­лель­но уда­лось выяс­нить, что в сокете име­ются пог­нутые пины, и для SP3 это прям очень боль­но. Ког­да появи­лась воз­можность обно­вить про­цес­сор на впол­не исправ­ный AMD Epyc 7532, я доз­рел и до ковыря­ний в сокете.

Соб­равшись с духом и воору­жив­шись мик­роско­пом, я решил най­ти и вып­равить пог­нутые пины. В ито­ге разоб­рал машину, вынул ста­рый камень и дол­го раз­гля­дывал сокет под мик­роско­пом. В мел­коско­пе сре­ди нес­коль­ких тысяч пинов я нашел толь­ко один пог­нутый. Вып­равлять его — это тоже неп­ростая задача: хотя под мик­роско­пом вид­но, что нуж­но делать, лег­че делать не ста­новит­ся. Вро­де поп­равил.

Кста­ти, из под­ручных средств для прав­ки пинов очень хорошо под­ходят медицин­ские иглы: работать ими гораз­до удоб­нее, чем пин­цетом. Вста­вил новый камень. Вклю­чил — вклю­чает­ся. Вста­вил две недос­тающие план­ки — вклю­чает­ся, план­ки не видит. Вытащил, матюк­нулся, потер лас­тиком, вста­вил назад. Все зарабо­тало.

Об­радовал­ся, но решил прог­нать мем­тест, который показал ста­биль­ную ошиб­ку в одном из тес­тов в одном и том же мес­те. Для меня это было тоже уди­витель­но, ведь боль­шая часть тес­тов про­ходи­ла успешно. Путем еще нес­коль­ких переты­каний я выяс­нил, что в вось­мом канале без глю­ков работа­ет лишь один слот. Печаль­но, конеч­но, но это луч­ше, чем пол­ностью нерабо­тающий канал. На этом я пока успо­коил­ся: работа­ет, и сла­ва богу. В тепереш­ние вре­мена ломать рас­четный комп как‑то не хочет­ся.

Имен­но на этой машине я впер­вые поз­накомил­ся с сер­верны­ми желез­ками и «Эпи­ками» в час­тнос­ти. На ней при слу­чае тес­тирова­лись про­цы и память. А еще был нас­читан матери­ал на нес­коль­ко ста­тей (науч­ных, не уго­лов­ных!).

Машина вторая

У этой машины тоже есть своя пре­дыс­тория. Минув­шим летом мы зате­яли апгрейд: хотелось добавить памяти, обно­вить про­цес­соры и заменить материн­скую пла­ту с пог­нутыми в сокете пинами. Одна­ко суровая реаль­ность внес­ла свои кор­ректи­вы: летом цены были на миниму­ме, а до закупок мы дош­ли лишь в сен­тябре, ког­да уже начал­ся рост цен на память. Ста­ло оче­вид­но, что пла­ны надо менять и брать что есть.

Тут мне повез­ло нат­кнуть­ся на б/у рабочую стан­цию, по кон­фигура­ции очень близ­кую к тому, что хотелось. Gigabyte MZ32-AR0 v2, AMD Epyc 7702, 512 Гбайт DDR4 2933, Samsung 980 Pro M2 SSD — она уже в то вре­мя выходи­ла в цене при­мер­но в сто­имость уста­нов­ленной в ней памяти. С про­дав­цом мы стор­говались на 198 тысяч, так он еще и при­вез этот аппа­рат и тер­пеливо подож­дал, пока я погоняю тес­ты, на что ушло око­ло часа. В ито­ге это ока­залась единс­твен­ная бес­проб­лемная машина в моем зоопар­ке. Прос­то купил, прос­то вклю­чил, и все работа­ет!