Энергоэффективное охлаждение суперкомпьютеров

Энергоэффективное охлаждение
суперкомпьютеров.
Автор Егор Дружинин, технический директор компании «РСК Технологии»
Краткий обзор технологий охлаждения ЦОД
Задачи охлаждения полупроводниковых компонентов стояли перед индустрией давно, но рядового
пользователя они коснулись порядка 20 лет назад, после выхода на рынок процессора i80486, который
потребовал специализированного охлаждения.
На тот момент процессор довольствовался крохотным игольчатым радиатором. Изменения,
происшедшие с того времени в системе воздушного охлаждения, огромны – увеличение эффективности
радиаторов, работа с потоками воздуха, использование тепловых труб. И все это только ради одной
цели – создания оптимальных условий работы полупроводниковых компонентов. Однако за последние 3
года стало очевидно, что на дистанции этого бесконечного марафона наметился отстающий. Воздух уже
не справляется со все увеличивающейся плотностью энергии в корпусах или вычислительных стойках. А
большинство производителей все активнее заявляют о разработке систем жидкостного охлаждения для
сегмента высокопроизводительных вычислений.
Жидкостное охлаждение горячих компонентов компьютера впервые было применено в американском
суперкомпьютере Cray-2 в 1982 году.
Платы этого суперкомпьютера были погружены в охлаждающую токонепроводящую жидкость. Конечно,
на сегодняшний день это выглядит немного наивно, как и первый игольчатый радиатор i80486. С тех пор
существенно изменилась производительность электронных компонент и плотность энергии в объеме
пространства – все это требует промышленных подходов к решению вопроса охлаждения ЦОД. Но надо
понимать, что технологии жидкостного охлаждения практически не развивали, так сказать, создали
работающий концепт и оставили «до поры». И вот эта пора наступила.
Теперь стоит немного поговорить о способах охлаждения воздуха. Добиться снижения температуры
можно несколькими способами. В одном случае охлаждение происходит за счет предмета, температура
которого ниже температуры окружающего воздуха, им обычно является теплообменник кондиционера.
Другой способ – адиабатическое охлаждение. Адиабатическая система охлаждения, наверно, является
самым древним способом охлаждения. Еще древние люди заметили, что воздух около озера
прохладнее, чем ветер, дующий с другого направления. В Риме по этому принципу охлаждали жилища:
бассейн с фонтанчиком во дворе и над ним окна, в которые дует ветер от бассейна. Проходя над водой,
воздух охлаждался в результате ее испарения. Снижение температуры приточного воздуха в летнее
время с помощью адиабатического процесса широко практикуется на предприятиях текстильной
промышленности, расположенных в районах с сухим и жарким климатом, когда преобладает выделение
явного тепла и при незначительных выделениях влаги. Физические процессы, проходящие в указанном
способе снижения температуры, заключаются в следующем. Наружный воздух поступает в камеру, где
происходит разбрызгивание воды. Воздух вступает в контакт с каплями воды, имеющей температуру
мокрого термометра, повышая свою влажность за счет происходящего в этом случае испарения влаги.
Естественно, что испарение происходит лишь тогда, когда обрабатываемый воздух имеет
относительную влажность ниже ф = 100%. Источником теплоты в процессе испарения для
рассматриваемой системы «вода–воздух» является воздух, а потенциалом переноса теплоты – разность
температур между воздухом и водой. В результате происходящего теплообмена воздух, отдавая явное
тепло, снижает свою температуру. В условиях теоретического процесса при достижении полного
насыщения конечная температура воздуха должна быть равна температуре мокрого термометра.
Однако практически такого состояния воздуха в реальной системе достичь не удается. Обычно конечная
относительная влажность воздуха близка к ф = 95%. На практике можно получить воздух с температурой
ниже окружающей среды на 5–6 градусов.
Применение адиабатического способа для охлаждения ЦОД порождает ряд неудобств:
• Испаряющаяся вода повышает влажность воздуха в ЦОД.
• Нужен дополнительный контур для циркуляции воды.
• Угроза быстрого размножения микроорганизмов в контуре, поскольку он является открытым.
Также необходимо регулярно восполнять воду в контуре адиабатического охлаждения.
• В этом контуре нельзя использовать бактерицидные добавки, так как они окажутся в воздухе
помещения ЦОД.
Реализации систем охлаждения
Система охлаждения – это в первую очередь самый крупный потребитель электроэнергии, кроме
самого IT-оборудования, и места она требует больше всего. Зачастую помещение, в котором
располагается вычислитель с воздушным охлаждением, приходится делать в несколько раз большим,
чем площадь самой установки, только из-за того, что необходимо правильно организовать потоки
воздуха, разделять холодный и горячий воздух в ЦОД и т. д. Система охлаждения в круглосуточном
режиме занимается перемещением огромного количества воздуха, поддерживая его низкую
температуру и влажность в пределах 40–60%.
Классическая система прецизионного кондиционирования с фреоновыми кондиционерами
Принцип работы фреонового кондиционера и его устройство похожи на конструкцию обычного
бытового холодильника, только такой «холодильник» предварительно «вывернули наизнанку».
Кондиционер предназначен для удаления теплопритока, образованного оборудованием, за пределы
охлаждаемого помещения.
Тепловая энергия переносится за счет циркуляции фреона в замкнутом контуре. Фреон активно
испаряется в теплообменнике внутреннего блока, забирая избыточное тепло из воздуха. Далее он
перекачивается компрессором по трубам контура в радиатор внешнего компрессорно-конденсаторного
блока, в этот момент температура фреона повышается примерно до 50°С за счет работы сжатия
компрессора, вентилятор охлаждает трубки развитого радиатора и охлажденный фреон обратно
конденсируется в жидкую фазу. Электроэнергия тратится на работу большого количества
механических систем: компрессоров, наружных вентиляторов компрессорно-конденсаторного блока,
вентиляторов внутреннего блока, насоса и испарительной системы увлажнителя. Фреоновые
кондиционеры работают все время в неэкономном режиме – независимо от времени года. Оснастить
фреоновое кондиционирование свободным охлаждением, или Free-cooling (системой, использующей
низкую температуру атмосферного воздуха в зимний период), невозможно – движущей силой
фреонового цикла является именно компрессор.
Еще одним важным моментом является температура испарителя в системах холодоснабжения на
основе фреоновых кондиционеров. Стандартным является такой температурный график, что
значительная часть холодильной мощности расходуется на получение конденсата из предварительно
увлажненного воздуха ЦОД (вплоть до 25% холодопроизводительности). Применение данной
технологии подразумевает высокие затраты на электроэнергию. Обычно минимальный коэффициент
PUE (Коэффициент эффективности использования электроэнергии), достигаемый при применении
этой технологии, не может быть менее 2.0. То есть для обеспечения работы 200 кВт вычислительного
оборудования к ЦОД необходимо будет подвести не менее 400 кВт электроэнергии.
Чиллеры с применением свободного охлаждения
(Free-cooling)
Система охлаждения с жидким хладоносителем, объединяющая в себе чиллер с применением
технологии Free-cooling и кондиционеров воздуха, работающих на охлажденной жидкости. В таком
решении используются водовоздушные теплообменники кондиционеров внутри помещения и чиллер
снаружи. В качестве транспорта тепловой энергии из ЦОД используется жидкость. Система позволяет
не использовать фреоновый контур чиллера в холодное время года. Но электроэнергия все же
тратится на работу механических систем: насосов, наружных вентиляторов компрессорноконденсаторного блока, вентиляторов внутреннего блока, насоса и испарительной системы
увлажнителя. В теплое время года система работает по принципу фреонового кондиционера, но в
процесс переноса тепла добавляется еще одна среда – жидкость, из-за чего снижается общая
эффективность системы охлаждения. Тем не менее подобное решение позволяет оптимизировать
годичное энергопотребление инженерной инфраструктуры ЦОД. Использование данной системы
позволяет снизить значение PUE до 1,7, но для применения системы необходимы более высокие
начальные инвестиции.
Системы непосредственного охлаждения наружным воздухом
На самом деле типов систем два, но позволю себе объединить их описание в одну главу: Direct Free
Cooling (DFC) – системы прямого охлаждения наружным воздухом, и Natural Free Cooling (NFC) –
системы естественного охлаждения. В первой системе допускается подача атмосферного воздуха
непосредственно в ЦОД, а во второй используется промежуточный теплообменник, который переносит
тепловую энергию из внутреннего контура в наружный, естественно теряя потенциал в процессе. Обе
системы в обязательном порядке требуют постройки нового здания с полной интеграцией компонент
систем охлаждения, обязательного применения IT-оборудования, выполненного по классу ASHRAE не
ниже A4.
Система охлаждения напрямую подает атмосферный воздух с улицы внутрь ЦОД. Вентиляторы
забирают атмосферный воздух и подают его в систему воздухоподготовки. Первая стадия подготовки –
фильтрация. Система фильтрации многостадийная: сначала грубая очистка (фильтрация по классу от
EU1), далее удаление вредных взвесей и частиц (фильтрация по классу от EU4), затем финальная
подготовка (фильтрация от EU8). При высокой температуре наружного воздуха включается
дополнительная система адиабатического охлаждения. Далее воздух подается в серверную комнату.
Отепленный воздух сбрасывается на улицу вытяжными вентиляторами. Эффективность системы
гораздо выше, пиковый PUE до 1,3. Открытый контур охлаждения вносит свои коррективы –
необходимо постоянно менять фильтры. Большое количество фильтров приводит к высокому
сопротивлению тракта охлаждения, вынуждая существенно переразмеривать систему вентиляторов,
что приводит к росту потребляемой мощности, внесению дополнительной тепловой энергии в тракт, а
также вибрации и шуму.
Система естественного охлаждения (NFC) аналогична предыдущей DFC, только атмосферный воздух не
попадает напрямую в ЦОД, а охлаждает промежуточный теплообменник. Так отпадает необходимость
использовать сложную систему фильтрации достаточно грубой очистки воздуха на входе в
теплообменник, высокая влажность адиабатической камеры не попадает внутрь ЦОД. Коэффициент
PUE теоретически остается таким же высоким на уровне 1.3. Но за все это придется заплатить двумя
комплектами вентиляторов с разных сторон теплообменника и существенным увеличением разницы
температур между атмосферным воздухом и воздухом внутри ЦОД.
Считается, что обе системы могут полностью обойтись без использования энергозатратных и
ненадежных фреоновых машин, но IT-оборудование ЦОД должно быть специально подготовлено к
работе после применения адиабатического испарения, т. е. выдерживать около 95% влажности. Пока мы
видим лишь несколько примеров функционирования таких систем – крупные компании построили
специально спланированные ЦОД на специально выбранных территориях. Ведь система
адиабатического охлаждения является важной частью систем охлаждения в таких реализациях.
Рассмотрим зависимость эффективности работы системы от влажности атмосферного воздуха.
Допустим, на улице +35°С – не такая уж редкая ситуация. Далее начнем увеличивать относительную
влажность от 30 до 100%. Мы видим на графике, что эффективность адиабатического охлаждения с
ростом влажности падает вплоть до нуля, а оптимальный режим работы системы лежит в зоне левее
55–60% атмосферной влажности.
Так что же получается: прошел где-то рядом дождик, влажность поднялась и мы остались без
адиабатического охлаждения? Так и есть. Недаром компании строят свои ЦОД в сухих регионах. На
территории Европы системы все же комплектуются фреоновыми контурами. Зачем? Говорят, на всякий
случай…
Системы жидкостного охлаждения
Жидкостная система охлаждения представляет собой систему поддержания заданной температуры
тепловыделяющих компонент, где в качестве охлаждающей среды и транспорта тепловой энергии
используется жидкий хладоноситель. Существует несколько подходов к реализации систем жидкостного
охлаждения. Система непосредственного жидкостного охлаждения обычно объединяет в себе
теплообменник с применением технологии Free-cooling, насосную станцию для перекачивания
хладоносителя и систему снятия тепла с IT-оборудования. Система позволяет НЕ использовать
фреоновый контур чиллера и постоянно работать в режиме свободного охлаждения. Дело в том, что
перенос тепла от горячего IT-оборудования происходит непосредственно в жидкость. Этот факт дает
нам множество преимуществ. Так как объемная теплоемкость воды более чем в 3200 раз выше
теплоемкости воздуха, для удаления тепла необходимо и перекачивать в 3200 раз меньший объем
жидкости. Появляется возможность полностью избавиться от сложных и дорогих кондиционеров, при
этом размеры как IT-оборудования, так и остальных подсистем резко сокращаются, т. к. нет
необходимости прокачивать внутри огромные объемы воздуха. Современные системы жидкостного
охлаждения создают очень комфортные условия работы полупроводников.
Например, вычислительный кластер класса РСК мини-ЦОД на базе архитектуры «РСК Торнадо»,
установленный в Росгидромете и МФТИ, использует самые высокопроизводительные процессоры – Intel
Xeon E5-2690. Причем жидкостное охлаждение обеспечивает постоянную работу встроенной в
процессор технологии Intel Turbo Boost 2.0 и, соответственно, повышение тактовой частоты на 400 МГц
от номинальной – до 3,3 ГГц. Такой режим работы позволяет на 10% повысить эффективность работы
вычислительной системы, и реализуем он только совместно с системой непосредственного жидкостного
охлаждения.
При этом использование системы непосредственного жидкостного охлаждения позволяет снизить
значение PUE до рекордного в индустрии значения 1.06, к тому же для применения системы нет
необходимости модернизировать существующие помещения.
Судя по ISC’11 и ISC’12, «на подходе» и другие, порой весьма экзотические технологии охлаждения.
К таким можно отнести охлаждение маслом, когда вычислительный узел полностью погружается в ванну
с жидким маслом.
Подобная система уже известна нам по суперкомпьютеру Cray-2 1982 года выпуска. Существует также
множество других прототипов, сравнению которых стоит посвятить отдельную статью. Насколько такие
системы имеют право на существование, сказать пока сложно. Нужно отталкиваться от опыта
конкретных рабочих коммерческих инсталляций, а такового у «экзотов» пока нет.