液冷服务器,助力绿色数据中心建设

发布时间:2023-02-07 作者:中兴通讯 范皓龙 阅读量:

        在当前“东数西算”时代背景下,随着云计算、大数据、人工智能等信息技术的快速发展,数据呈现几何级增长,作为“动力源”的数据中心,其计算、存储和网络资源的性能不断提升,密度也在不断变大,随之而来的是单位空间内功耗的增加;而在节能减排需求的驱动下,通信领域对数据中心节能降耗的要求越来越严格。

        算力的增长带来硬件能耗的攀升,在保证算力运转的前提下,只有通过降低数据中心辅助能源的消耗,才能达成节能目标下的PUE(Power Usage Effectiveness)要求。典型数据中心制冷系统能耗占比达到24%以上,是数据中心辅助能源中占比最高的部分,因此,降低制冷系统能耗能够极大促进PUE的降低。

        液冷技术是中兴通讯打造极致PUE、助力绿色数据中心的关键路径之一。中兴通讯已推出全液冷系统解决方案,由室外冷源、液冷服务器机柜、CDU(Coolant Distribution Unit)、EDU(External cooling system Distribution Unit)四部分组成(见图1)。

Network diagram

图1   液冷系统架构

        整个系统包含两个热量传递路径:其一,液冷服务器内主要发热元件产生的热量经液冷板传递给二次侧工质,二次侧工质在二次侧水泵的驱动下进入板式换热器,换热器内二次侧工质将热量传递给一次侧工质,一次侧工质在一次侧水泵的驱动下进入闭式冷却塔,在冷却塔内一次侧工质与室外空气进行换热,完成散热循环;其二,室内空气在风机的驱动下带走液冷服务器内次要发热元件产生的热量,之后空气经过液冷背门将热量传递给一次侧工质,一次侧工质在一次侧水泵的驱动下进入闭式冷却塔,在冷却塔内一次侧工质与室外空气进行换热,完成散热循环。

        中兴通讯自研高性能液冷服务器采用双路Intel XEON高性能CPU、32根内存条,可应用于大规模数据计算与存储场景,关键部件包含:液冷工质、液冷板、流体连接器、液冷管路以及漏液检测装置等。

  • 液冷工质

        二次侧液冷工质是IT液冷方案设计中首先需要确定的部分,直接影响液冷系统的设计方案、工作环境、可靠性、维护方式等。选型过程中需要考虑工质热物性(密度、粘度、比容、导热系数等)、兼容性(金属、非金属)、成本和可获取性等多种因素的综合影响。中兴通讯液冷服务器选用了水基溶液,如去离子水、乙二醇水溶液、丙二醇水溶液等,并配合具有一定缓蚀、杀菌、阻垢功能的化学药剂使用,在保证可靠性的同时,兼具高性价比。

  • 液冷板

        服务器液冷板设计需满足定制化和通用性,首先液冷板设计需要根据单板芯片和芯片布局进行芯片冷板和管路布局设计,具有一定的定制化特性,其次在定制化结构设计中应尽量保证内部零件的通用性,如芯片冷板内部流道、外形尺寸,以及液冷板进出口组件结构尽可能一致,以降低成本。液冷板的选型还需要结合实际功耗、工作压力、流速等条件,综合考虑冷板材质、工艺等。

        同时,为了提升节能效果,IT设备应尽可能提高冷板板式液冷占比。中兴通讯自研液冷服务器支持不同的液冷解决方案,如CPU液冷、CPU+内存条液冷,以及CPU+内存条散热+VR液冷,冷板液冷占比最高可达80%以上,满足不同的制冷需求。

  • 流体连接器

        流体连接器主要用于液冷散热系统环路中各部件间的快速连接和断开。选型要点包括工作流量、温度、压力、介质、壳体材料、流阻特性、颜色标识、安装方式、接口形式等多方面因素。现阶段,中兴通讯自研液冷服务器产品选择了业界主流的UQD(Universal Quick Disconnect)系列流体连接器,促进行业标准化进程,满足最终用户兼容替代需求。

  • 分液器

        分液器安装在IT设备液冷机柜内,起到流量分配作用,将系统的循环工质分配到各个IT设备节点,在液冷板内换热后将热量带出到主水管路。其设计选型需要考虑流量分配一致性,并根据结构空间、充注量和机柜总重量综合考虑分液器的体积。

  • 液冷软管

        液冷管路是循环工质流通通路,参与整个液冷系统的流量-流阻分配,同时为外接液冷设备提供简便的转接接口。液冷管路选型需要考虑材料兼容性、流速、管路布置、安装方式、流量分配设计以及可靠性方面的要求。

  • 漏液检测装置

        漏液检测采用节点级和整柜级智能监控漏液检测技术,及时告警,快速处理。主板提供了液冷方案漏液侦测接口,可快速识别泄漏情况,提供漏液检测秒级精细化告警,并支持应急下电动作。

        液冷技术实现全年自然冷却,除制冷系统自身的能耗降低外,采用液冷散热技术有利于进一步降低芯片温度,带来更高的可靠性和更低的能耗,整机能耗预计可降低约5%。液冷数据中心PUE可降至1.2以下,每年可节省大量电费,在确保“东数西算”数据运输“大动脉”的畅通和高效前提下,更加绿色节能。