服务器浸没式液冷技术研究进展.pdf

服务器浸没式液冷技术研究进展侯富民李超恩吴佳育蔡伟邵璟璟胡俊明刘一诺温小栋（宁波工程学院，宁波；上海杰筑建筑规划设计股份有限公司，上海）摘要：减少数据中心冷却系统的能耗是实现数据中心节能减排的重要途径。传统机房空调存在高功率、局部热点等问题，导致冷却系统的运行能耗居高不下。由于 浸没式液冷技术高效换热的特点，是目前数据中心冷却技术的主要发展方向之一。本文以服务器浸没式液冷技术为研究对象，综述了冷却介质、换热表面特性对沸腾换热的影响，并讨论了基于服务器浸没式液冷的沸腾机理研究进展。最后对浸没式液体冷进行了展望，为建设绿色高效的数据中心提供参考。关键词：数据中心；浸没式液冷；服务器；沸腾换热浙 江 省基 础 公 益 研 究 项 目（编 号：，），宁波市自然科学基金资助项目（编号：），宁波市公益类科技计划项目（编号：），国家自然科学基金（编号：）侯富民，男，年生，在读硕士研究生李超恩（通信作者）浙江省宁波市江北区风华路 号 ：收稿日期：引言随着数字技术（物联网、人工智能、大数据、云计算等）的不断提升，其在运输、通信、制造、医药和教育等许多行业被广泛应用，对数据处理、存储和传输的需求正在急剧上升。伴随数字技术的发展，数据机房的建设需求增长迅速，海量的服务器产生了巨大的能源消耗。数据中心是一种高能耗的设施，研究报告显示，当前全球数据中心的耗电量约占社会总耗电量的，预计到 年总耗电量将达 以上；在美国，数据中心年消耗电能占比超过了，预计这个数字将每年增长；到 年末，我国数据中心年耗电量已达到 亿，约占全社会用电量的 。未来，我国大数据产业规模依旧伴随着高增长率快速发展，中国将成为世界第一数据资源大国和全球的数据中心。如图所示，数据中心能耗结构中冷却系统能耗占比高达，成为数据中心进行能效优化的重要因素。另一方面，根据摩尔定律原理，单位面积集成的晶体管越来越多，芯片性能提升导致热流密度不断增大，预计到 年，柜将成为主流，常规的风冷换热系统已经不能满足高热密度服务器的散热需求且严重影响电子元器件的性能和使用寿命。图典型数据中心的能耗构成在数据中心更高密度、更大功率的发展趋势下，空气冷却越来越难以满足散热和节能的要求，冷板式、喷淋式、浸没式液冷的出现为解决这一问题提供了新方向。其中，浸没式液冷由于其高效的能力，越来越成为数据中心冷却技术的主要发展方向。根据换热介质的相态变化可分为单相液冷和两相液冷。单相液冷的冷却液不发生相态变化，直接通过系统强制对流带走热量；两相液冷的冷却液通过沸腾换热，具有较大的换热系数，成为近年来解决高能量密度芯片散热问题的研究热点。本文从服务器浸没式液冷关键技术出发，综述了冷却介质、热源表面特性对沸腾换热的影响，介绍了浸没式液冷沸腾换热机理的研究现状，以及系统评价方式。从微观到宏观系统阐述了现有服务器浸没式液冷技术的发展现状，并对浸没式液冷技术的发展进行了展望，对展开浸没式液冷技术应用的研究具有重要意义。液冷原理与分类根据目前技术进程的研究成果及冷却原理，将液冷技术分为冷板、浸没和喷淋种主要形式。冷板式液冷冷板式液冷系统是在常规风冷服务器基础上，将 等高密度散热元件一侧紧贴板式换热器，元件热量通过热传导至板内绝缘介质或可相变的热管的系统。冷板式液冷方案中冷却液不与发热设备直接接触，该种技术可实现对 和内存等部件进行精确制冷。值得注意的是，冷板式液冷系统不是纯粹的液冷，而是通过冷板进行热传导，系统中的低热流密度元件仍采用风冷散热方式。冷板式液冷系统在设计时主要分为种类型，一类是在机柜外部部署冷却液分配单元（），另一类是无冷却液分配单元形式。数据中心最常见的液体冷却实施形式是使用 将设施冷却系统与机柜冷却系统分开安装处理。由于液体的高比热，相较于传统风冷散热模式，冷板式散热效率有了很大提升。实际的数据中心制冷方式中，一般将冷板式液冷与风冷系统结合来进行制冷，既可以有效减少总体拥有成本，也显著提高了数据中心的能源利用效率。冷板式液冷系统的安装维护与常规风冷系统基本一致，所以该种液冷技术的运维难度基本与传统空调一致。因此，暖通空调 年第 卷增刊 空调制冷冷板式液冷系统是目前使用最为广泛的液冷系统。浸没式液冷浸没式液冷系统是指冷却液与电子发热设备直接接触，将 设备直接浸没在绝缘冷却液中，依靠冷却液带走发热元件产生的热量，然后通过水循环将热量传递到室外散热装置。根据冷却液是否发生相变，浸没式液冷分为单相浸没式液冷和相变浸没式液冷。单相浸没式液冷系统设计简单，冷却液容纳更易实现，材料兼容性更强，流体中污染物顾虑更少，其系统原理如图所示。两相浸没式液冷系统指 设备产生的热量直接有效地传递给绝缘冷却液，依靠冷却液的沸腾凝结相变过程及流动循环将处理器等设备运行产生的热量带走，其原理如图所示。图单相浸没式系统原理示意图两相浸没式系统原理示意相较冷板式液冷系统，浸没式液冷具有更低的对流热阻和传热系数；与此同时，相较于冷板进行热传导，与散热原件直接接触的冷却液具有更高的热导率和比热容，运行温度变化率更小，制冷效率更高。浸没式液冷系统无风冷散热系统特点，使得整体耗电降低 以上，时效性更加突出。该液冷技术适用于对热流密度、绿色节能需求较高的大型数据中心、超级计算、工业及其他计算领域和科研机构，特别是应用于地理环境或安装空间苛刻的数据中心具有明显的优势。喷淋式液冷与浸没式液冷系统相同，喷淋式液冷的冷却液与散热设备直接接触，喷管将冷却液喷淋到发热元件，冷却液将热量吸收后再排出系统，排出的废热由换器热与外部环境直接或间接进行换热，最终将来自散热元件的热量排走。喷淋液冷系统具有器件集成度高、散热效率强、高效节能和静音等特点，是解决大功耗数据中心散热问题的有效手段之一。但喷淋式液冷系统中存在喷淋板流量不均匀问题，因此喷淋装置对流体力学计算要求较高，无法应对实际发热过程中随处理器运行效率的变化发热量也不断变化的制冷需求。浸没式液冷系统在浸没式液冷换热过程中，冷却介质、换热表面特性均会对浸没式液冷系统沸腾换热产生影响，下文介绍关于冷却介质、换热表面特性、沸腾换热模型及系统评价方式的国内外研究现状。冷却介质对散热性能的影响用于电子设备的液体冷却剂应不易燃、无毒且价格低廉，具有优良的热物理特征，包括高导热系数、比热、传热系数，高绝缘及低黏度，较强的兼容。常见的冷却液分为介电冷却剂和非介电冷却剂，其中介电冷却剂有芳香烃（二乙苯（）、甲苯、苯和二甲苯）、脂肪类（石蜡、矿物油等）、硅酮（硅油）和碳氟化合物（，和 ）等。非介电冷却剂有水（）、乙二醇（）及这种物质的混合物（）。冷却剂的沸点、黏度、密度、比热容、表面张力、填充率等特性都是影响系统换热的重要因素。单相冷却液杨明明等人综述了冷却液的分类及其物理化参数，结果表明 脂类化合物冷却液主要用于贯通式液冷计算机和侧壁液冷计算机中，氟碳化合物冷却液主要用于采用射流冷却液和雾化冷却的液冷计算机中，乙二醇水容易主要用于贯通式液冷计算机和侧壁液冷计算机中。肖新文综述了应用于数据中心的不同液冷技术及其冷却液，结果表明液冷技术冷却温度高，节能效果明显；合理分配使用侧及冷源侧的温差，提高部分负载下液冷系统的节能性，探索冷却温度、节能效率及热回收性能三者之间的最佳 耦 合 关 系 是 数 据 中 心 液 冷 技 术 应 用 的 研 究 方 向。等人采用 模拟研究了 介质对 散热的影响，模拟结果表明，加快液体冷却液的流动速度能带走更多的热量，从而降低 的温度。但是，由于循环速度较慢，冷却液的流量不变，引起了较高的温度值和不平衡的热分布。值得注意的是散热器的材料不会显著影响结果。等人设计一种新型的微通道散热器 ，利用 进行散热测试，实验测量了芯片热通量在、时与传统微通道散热器相比，当使用 冷却剂时微通道具有更低的压降，散热器可以保持 的最高芯片温度而压降仅为 。钟杨帆等人测试了单相浸没式液冷服务器中电子氟化液长期使用后物理特性及成分变化情况，结果表明，单相浸没液冷服务器各项指标均能满足运行基本要求，且电气特性和物理特性均可满足 要求。同时，与风冷系统服务器相比，浸没液冷服务器的 等关键散热原件的失效率降低 以上。氟化液长时间使用后的黏度、介电常数和击穿电压等物性常数均保持稳定，能满足企业长期使用的要求。两相冷却液 等人基于纯 氟化液，搭配了不同比例的醇或醚并以 的硅发热面作为池沸腾的测空调制冷暖通空调 年第 卷增刊试表面，对冷却液的冷却传热能力进行了研究，实验对比了纯 氟化液，验证了合成的含氟冷却液具有更好的冷却性能。结合全球环境保护的现状，要求开发具有更好传热性能和适用性的新型传热流体，所以含氟冷却剂具有很大的研究前景。等人比较了 和 在 池 沸 腾 时 的 临 界 热 通 量 和 传 热 系 数，不 同 于 等人的研究，等人使用光滑铝平面作为加热面进行沸腾换热实验，结果表明 具有更高的传热系数和，此外 的两相传热性能与碳氟化合物 具有很强的相关性。等人通过计算分子设计（）和优异值（）分析研究了 种新型流体对沸腾换热的影响，质量分数为的 和质量分数为 的 的混合物的换热属性要比单纯的 介 质 好。等 人 研 究 了 和 工作介质对氮化镓晶体管器件散热的影响，实验测试表明，热流量达到了 ，能够为的电源 进 行 散 热，电 源 的 转 化 效 率 达 到 。等人模拟研究了 沸腾换热对 换热的影响，当入口速度大于 时，使用 冷却液可以确保芯片的正常运行，相比于 工作介质，较低的沸点能使芯片的平均温度降低 ，上下芯片之间的水平挡板可以显着改善机柜的整体温度均匀性。等人实验和模拟研究了两相液浸冷匀热板（工质）对 散热的影响。研究表明，匀热板表现出良好的散热性能，散热量达到 。等人采用 模拟研究了矿物油不同热物性对 沸腾换热的影响，与碱性矿物油相比，碳化硅基纳米流体显著增强了传热，当纳米流体在体积分数为 和 的范围内时，最大增强率分别为基本流体的 和 ，纳米流体在低雷诺数下具有更好的热量耗散效应，而 纳米流体在高雷诺数下的表现更好。冷却液流量与流速换热冷却液的流动速度亦是影响换热效果的重要因素。李斌研究了单相浸没式液冷机柜不同流量下服务器温度变化趋势，结果表明，在流量增加的过程中，流道温度下降趋势显著。李棒等人采用 模拟发现浸没式液冷系统中 散热的温度场与冷却液流量呈负相关。杜明徽等人通过 模拟了较小流速流体，随流速增大，散热模块最高温度降低；同时当流速越来越大时，散热原件温度降低的幅度逐渐减小，此时出现热饱和的现象。综上，冷却介质是浸没式液冷的关键技术，冷却介质的种类、流速均影响其换热效率。换热表面的物理特性热源表面的物理特性对液冷效果有着重要影响。本节从换热面材料、表面特性出发综述换热表面特性对浸没式液冷系统的影响。换热表面物理结构对热换的影响用于电子元件散热的散热器大小、厚度等结构特点是芯片散 热 过 程 中 的 重 要 影 响 因 素。李 棒 等 人 利 用 研究了不同规格散热器在单向浸没式液冷中的散热性能。结果表明，最佳散热器宽度为 ，基板长度取 时效率最高；肋片间距大小与温度变化趋势成反比；肋片厚度的增加会使散热原件的温度变化呈现出先变低后变高的趋势。夏爽分析了肋片厚度对散热原件的影响，发现基板厚度主要影响温度分布均匀性，对最高温度的影响较小。换热平面形状对沸腾过程亦有重要影响，朱静利 用 模拟对水平微通道平面凹槽结构及数量进行了探究，通过设置不同凹槽数量，发现增加平面凹槽数量可提高微通道流动沸腾的临界热流密度（），与光滑微通道相比，型凹槽拥有更高的；对于浸没式冷却换热系统的处理器构建多采用多孔、微通道等以增大换热面积，可增强沸腾换热的效果。在大气压下对水、乙醇和 作为工质进行可视化研究，实验探究了高度为 的微翅结构加热面的换热特性，对比气泡参数（直径、成核位置、密度、频率）以确定微翅片热通量差异，得到微翅片结构表面的沸腾换热系数比光滑表面提高约 倍。换热表面材料与表面特性对换热的影响处理器或液冷接触面的物理特性对浸没式液冷系统换热有着重要影响。等人针对不同导热系数的表面材质进行了研究，发现处理器中的 浓度和含碳纳米管数量越高，对流换热系数则越大，表面温度和热阻越低，使得 表面温 度分布更加均匀，散热性能更好。采用多孔石墨（）改性换热介质表面，研究表明介质液体核态沸腾传热系数和 显著增强。电子元件表面特性如液体接触角、粗糙度等均对对流换热及沸腾换热有重要影响。张璐在模拟计算时发现气泡产生时，气泡生长速率随接触角的增大而变快，疏水性好的材料可促进气泡生长，增强换热效率。戴含晖等人总结了核态沸腾传热及强化的模拟研究，从微结构角度出发，对比了目前常见的类数值模拟方法，即宏观方法、微观方法和介观方法，选择介观方法（格子 方法）进行核态沸腾气泡生成的数值模拟，进一步佐证了湿润性对散热性能的影响，强调了换热表面的疏水性与核态沸腾气泡生成速度呈正相关。肖翾等人对气泡脱离散热面板的规律进行了研究，通过建立非稳态数学模型，得到气泡脱离难度随材料表面润湿性的增加而增大。等人利用纳米涂层方法实现了接触角从 到 的加热面润湿性变化，实验研究表明超亲水表面的超强再湿润能力可增大临界热流密度（），显著增强换热效率。潘丰等人绘制出沸腾曲线预测高热流密度下的沸腾传热过程，证明粗糙度较大的表面对壁温更敏感，粗糙度较小的加热壁面上气泡脱离周期较稳定。池内沸腾研究浸没式液冷系统中冷却液体处于受热面一侧的较大空暖通空调 年第 卷增刊 空调制冷间中，依靠气泡的扰动和自然对流而流动，因此浸没式液冷系统以池内沸腾形式为主。准确测定沸腾换热过程中的临界热流密度可有效调节换热过程，避免传热工况恶化。戴含晖等人总结核态沸腾传热及强化的模拟研究时，同样发现亲水表面相比疏水表面能够达到更高的临界热流密度。等人发现随液体过冷度的增大而线性增大。通过可视化研究了 工质在改性铜表面的沸腾换热过程，研究表明，随着纳米孔表面涂层厚度的增大（从 增大到 ），从 增大到，而相应的表面过热度从 降低到。董安琪等人总结了当下常用的 个池沸腾临界热流密度的计算方式，但 篇文献通过实际数据对比均发现这些公式误差较大，平均绝对误差为 的 公式误差最小。采用修改物性后的水和水蒸气作为工质，等人通过修改水和水蒸气的 物性 参 数，对 不 同 润 湿 性（接 触 角 范 围 为 ）的光滑表面的池沸腾过程进行数值模拟了，模拟结果首次证明壁面润湿性对整个沸腾曲线的影响。模态沸腾是沸腾过程中气泡生成时的一类特殊情况，小气泡逐渐聚成大气泡，此时在换热壁面形成一层蒸汽膜覆盖在壁面上，沸腾形式从核态沸腾变为膜态沸腾。当温差足够大，致使沸腾过程超过临界状态，沸腾传热系数随温差的进一步增大而减小，所以当换热面和冷却液之间形成蒸汽膜时，蒸汽膜使整个换热过程的热通量减小，换热效率降低，壁面温度迅速升高时有烧毁的风险。李晶等人通过实验得到微重力与常重力环境下核态池沸腾过程具有差异性，在微重 力 情 况 下，当 过 冷 度 增 加 时 气 泡 产 生 速 率 减缓。张璐模拟计算出散热面增大时气泡产生速率也随之增大，通过建立数学模型发现气泡形状在过冷度较小时形状保持球形，相反过冷度较大的冷却介质气泡扩张和收缩交替出现。等人采用 工质作为换热介质，研究了两相式浸没式液冷的换热效率，并研究了沸腾换热过程。随着 主板温度的升高，壁面附近的冷却液被加热，当冷却液过热时（，其中为主板温度，为换热液体温度，为过热度），主板附近的小气泡迅速增大，会产生沸腾现象；大部分气泡生长并到达相界面，液体表面产生蒸发现象（，其中 为液体沸点温度）；液体中的另外一些气泡被周围的液体冷凝（）；最后，蒸发的蒸汽上升至冷却池上部并被上部冷凝器盘管冷凝（）后重力回流至下部液体，往复循环。等人通过可视化实验研究了乙烷、异丁烷及其二元混合物在水平面上的池沸腾传热特性；对于纯制冷剂和混合物而言，增加热通量可以明显增加气泡脱离直径和频率；对于纯 和 ，气泡脱离直径也会随着压力的增大而增大。系统评价方式 （）为数据中心消耗的所有能源与 负载使用的能源之比，通常作为数据中心电力利用效率的衡量指标，越接近，表示能效水平越高。严逊等人在不同室外温度、不同服务器发热功率条件下对浸没式液冷实验台进行了测试，相比于使用传统风冷为主的空调 数 据 中 心，服 务 器 浸 没 式 液 冷 系 统 能 耗 降 低 了 ，据此上海市数据中心全年 值仅 。李聪聪等人的研究表明使用浸没式液冷技术时，设备负载越高 值越低。等人实验研究了两相浸没式液冷系统，研究表明，系统 和 最佳值出现在高负荷时，分别为 和 ；而最小 和最高 值出现在低负荷时，分别为 和；通过对单相和两相浸没式冷却数据中心系统进行热力学、经济性和热经济性评估，两相冷却系统的 比单相冷却系统高 。侯晓雯等人通过对比机房环境实测数据发现，浸没式液冷服务器空调 因子达到了数据中心 值下降到 以下的节能目标。刘帆等人针对高热流密度 路由器开发了液冷散热样机，同时对设计的液冷系统开展了仿真评估和回归分析；并从电能使用效率 角度对路由器浸没式液冷散热系统解决方案进行了收益评估，最后得到机房 小于 ，若采用纯液冷解决方案，机房 将降至 。企业评效方面，浸没式液冷系统已经进入应用阶段，到 年，中科曙光已实现首个刀片式浸没相变液冷技术的大规模部署，单机柜功率密度达到 ，是传统风冷数据中心的倍，单枚刀片上可搭载颗 ，是过去的倍，至 年末，年总体能效比提升，值可降低至 。中科曙光凭借技术优势及经验，参与制定了首批行业标准，标准将于 年月日起正式实施，有效填补了当前国内外数据中心液冷行业标准的空白。相较于过去风冷服务器部件故障率，阿里巴巴公司对浸没式服务器进行了年期试运行，发现故障率下降约，值低至 。结论与展望数据中心能耗问题日益成为发展的焦点，对其制冷系统的节能提效尤为重要。浸液式液体技术的高效冷却效果有效地提高了服务器的服务效率和稳定性，单位空间可容纳更多处理器，提高了数据中心的整体运行效率。本文从浸没式液冷技术在数据机房的应用出发，介绍了浸没式液冷的原理与分类，综述了冷却介质、换热表面特性对浸没式液冷换热的影响。结果发现，国内外针对浸没式液冷系统的冷却介质趋同于使用氟化液为主的制冷溶剂，相较于其他溶液，氟化液具有更好的冷却效果，提高其流速与流量会增强换热效果；液冷过程中的接触面导热系数是影响换热效果的最主要因素，疏水表面更有利于浸没式液冷中的沸腾过程。目前已有的换热介质生产技术均掌握在欧美国家，如 公司的（介质）。开发自主产权的高效冷却液是目前我国解决浸没式液冷技术的研究重点，是重要的“卡脖子”关键技术。对于浸没式液冷领域基础实验的相关模空调制冷暖通空调 年第 卷增刊拟及验证研究较少，有待补充与解决，需要在此领域继续努力。参考文献：，：，：张海南，邵双全，田长青数据中心自然冷却技术研究进展制冷学报，（）：苏林，董凯军，孙钦，等数据中心冷却节能研究进展新能源进展，（）：，：，：，：，：庄泽岩，孙聪，张琦，等冷板式液冷技术与应用现状分析通信管理与技术，（）：肖新文直接接触冷板式液冷在数据中心的节能分析建筑科学，（）：谢丽娜，郭亮对液冷技术及其发展的探讨电信网技术，（）：潘洋洋，向军，肖玮基于喷淋液冷系统的数据中心节能降耗研究通信电源技术，（增刊）：，：杨明明，董进喜，赵亮液冷计算机用冷却液综述机械工程师，（）：肖新文 数据中心液冷技术应用研究进展暖通空调，（）：，：，：钟杨帆，郭锐，张京，等基于电子氟化液的单相浸没液冷服务器长期可靠性评估中国电信业，（增刊）：，：，（）：，：，：，：，：，：李斌服务器单相浸没式液冷数值模拟与优化济南：山东大学，李棒，陈前，林智服务器单相浸没式液冷散热性能影响因素分析电子世界，（）：杜明徽，郑心玮，江振文，等电动车电池组液冷散热性能影响因素分析广东化工，（）：夏爽浸没式相变液冷服务器的数值模拟研究山东大学，朱静型凹槽微通道内流动沸腾换热 的数值模拟镇江：江苏大学，暖通空调 年第 卷增刊 空调制冷 ，：，：，：张璐核态池沸腾中近壁面汽泡动力学特性对传热的影响北京：清华大学，戴含晖，张程宾沸腾相变传热机理及强化的数值模拟研究综述建筑热能通风空调，（）：肖翾，马杨，沈阳，等气泡脱离基板规律的数值模拟中 国 科 学 院 研 究 生 院 学 报，（）：，：潘丰，贺缨，唐元梁，加热表面粗糙度对高热流密度沸腾传热影响的多尺度数值模拟工程热物理学报，：董安琪，方贤德，黄永宽池沸腾临界热流密度关系式分析研究热能动力工程，（）：，：李晶，赵建福，闫娜，等微重力池沸腾现象中的汽泡行为特性工程热物理学报，（），：，：严逊，于航，刘成，等服务器浸没式液冷的换热效率及节能潜力建筑热能通风空调，（）：，李聪聪，唐本亭，鲁江华，等边缘数据中心节点的液冷系统部署可行性评估电信工程技术与标准化，（）：，：，：，：侯晓雯，杨培艳，刘天伟液冷服务器在数据中心的研究与应用信息通信，（）：刘帆，陶成，李振杰，等 路由器液冷系统的设计和探究电子机械工程，（）：张一迪数据中心散“热”忙中国电子报，（）空调制冷暖通空调 年第 卷增刊