Исследователи из Массачусетского технологического института предложили решение проблемы, с которой сталкиваются многие компании, работающие в области big data. Энергопотребление серверов и их эффективность, это вопросы первоочередной важности для данного сегмента рынка. Специалисты МТИ предлагают отказаться от использования оперативной памяти в серверах, заменив ее на флеш-память.
Доказать эффективность и работоспособность идеи в МТИ взялись не только на бумаге. Исследователи создали работающую сеть из 20 серверов, при поддержке компаний Quanta, Samsung и Xilinx. Каждый сервер оснастили программируемой вентильной матрицей (FPGA), которую можно запрограммировать на имитацию различных типов электрических цепей. Каждую матрицу подключили к флеш-памяти объемом 500 Гб и двум соседним матрицам в серверной стойке, соединив таким образом между собой все серверы. FPGA также отвечали и за контроль над работой флеш-памяти, а это непростая задача: контроллеры, которыми оснащаются современные флеш-накопители, сами по себе имеют 8 процессоров и 1 Гб оперативной памяти. Кроме того, на FPGA легла функция предварительной обработки данных, расположенных на флеш-накопителях.
Исследователи разработали и протестировали три алгоритма, отвечающих трем основным задачам big data: поиск похожих изображений по заданному образцу, оценка и сравнение релевантности веб-страниц (подобно алгоритму Google PageRank) и приложение Memcached, которое используют крупные веб-сайты с базами данных.
Тесты, произведенные при участи вышеупомянутой сети, показали, что идея специалистов МТИ более чем жизнеспособна. Ключевая особенность идеи в том, чтобы заставить флеш-накопители и их контроллеры заниматься предварительной обработкой данных, сняв эту задачу с CPU. Конечно, это не поможет покрыть разницу в скорости между привычной ОЗУ и флеш-памятью (так как флеш-память дешевле почти в 10 раз, но и в 10 раз медленнее), но в итоге этой разницей можно пренебречь. Так, в ходе одного из проведенных тестов, 20 серверов с 20 Тб флеш-памяти на борту показали такую же производительность, как 40 серверов с 10 Тб обычной RAM. Также важным фактором может стать то, что флеш-память потребляет значительно меньше энергии.
Впрочем, сами исследователи понимают, что из разработка не сможет заменить обычную оперативную память полностью: «Это не замена DRAM, но существует множество приложений, которым могли бы пригодиться преимущества новой архитектуры. Компании это понимают. Сейчас все экспериментируют с разными аспектами работы флеш-памяти».
Фото: kgrocki@flickr
