刀片服务器及其他高端应用 下一代IT系统
关键业务全保障TM领域
专家的白皮书
刀片服务器及其他高端应用:下一代IT系统的柔性制冷方案
在企业数据中心，设计者面临一个挑战：在不清楚未来3到5年技术变化的情况下必须设计具有20年寿命的设施。 总结
高密度服务器和通信交换机的发展、越来越高的不间断运行的要求、语音和数据业务的融合以及新的支撑系统技术都驱动传统数据中心的变革。
在企业数据中心，设计者面临一个挑战：在不清楚未来3到5年的技术变化情况下必须设计具有20年寿命的设施。而且由于服务器更换周期为平均3到4年，数据中心热负荷的多样性带来一个重要挑战：如何对一不均衡的环境进行有效制冷。该挑战由于能源成本的上升而变得更加复杂化。传统制冷方法仅仅对某个点有效或具有高效率。它们缺乏为当今高热密度的刀片服务器有效制冷而需要的可扩展性、柔性和高精度，更不用说适应未来的应用。
因此，数据中心管理者对设施进行调整以优化目前的制冷方法，同时为这些系统补充新领域产品--基于单点的制冷系统。该柔性混合方案为满足当今系统需求而提供了一高性能价格比和高效率的解决方案，同时可灵活适应未来发展。
柔性制冷方案为处理新的或现存设施内持续增加的，不可预测以及不均衡的热密度提供了一个新的路标。
设备趋势
新的高性能设备比如双CPU 服务器和高速度通信交换器的功率密度超过30 Kw/机柜。图1显示了电子设备随时间热负荷的变化并预测未来的热负荷趋势。
随着服务器的功率需求超出预期，制冷策略必须比预计的速度更快地适应这种需求以避免宕机、设备故障增多以及电子设备寿命减少。
随着降低数据中心运营成本的压力逐渐增大，许多机构都试图尽可能地把更多设备放置在一个空间。
这就造成机房温度上升并且这些机构已经感觉到这种影响。现在许多数据中心已经要求每平方英尺的功率超过100W 。
最新一代的刀片服务器把功率和散热量提升到一更高的水平。单个机架装载4个满配置的IBM BladeCenter? H 机箱，每个需要 5.8 kW ，则一个机柜负荷达到24kW ，而占地面积仅仅只有7平方英尺。这和2000年时一个机架的平均功率为1kW 有天壤之别。
通信设备也朝同样方向发展。取决于电源配置，思科CRS-1路由器的热负荷达到一个机架15到16.6kW 。
服务器更换的平均周期是3到4年，这样在数据中心产生了多样化的机架散热需求，这使得制冷策略复杂化。例如4年前购买的机架服务器可能每个机架使用2 kW 功率，前面提到的IBM BladeCenters 的机架消耗功率---加上相应的热负荷--几乎达到24kW 。
计算机服务器机务通信-极高密度
—1U ，刀片和定制
通信—高密度计算机服务器—2U 及更高存储服务器工作站（独立）
磁带存储器
设备功率趋势
产品声明年份
计算
服器
每个产品足印的热负载瓦/设备平方英尺
图1 设备密度比预测的增长更快
? 2005 ASHRAE TC 9.9 Datacom 设备功率趋势 & 制冷应用
对这样的机房，若采用传统的精密空调系统对热点进行制冷，则会大大高估您的系统容量，浪费大量能源，而且无法避免热点对可用性的威胁。
若机架内的热量不能有效散去，则机架内设备的性能、可用性及寿命会大大降低。当机构现有数据中心采用最新服务器技术时，则面临更高的故障率，尤其是在机架上部1/3设备。由于从架高地板向上送冷空气，这些冷空气被机架底部高密度设备消耗，而机架顶部则没有被有效冷却。这种情况还会使问题更加复杂化，因为高热密度会引起热空气从机架上部循环回去，如图2的红色柱所示。 这就是为什么机架高层设备的故障率会高。Uptime 组织报告指出在一数据中心机架的上部1/3的设备故障率是机架下部2/3的设备的2倍。该机构也估计若温度高于21℃，每升高10℃，，则长期电子产品的可靠性降低50%。
机架顶部设备故障率持续增加的原因是目前从架高地板送出的冷空气一般不能够满足每平方米1500W 热密度的机房或2到3kW 发热量的机架冷量需求，除此之外，送到机架顶部的风量也不足够。
应对设备发展趋势
由于设备热密度比预计增加的更快，并且数据中心的热负荷变得多样化，数据中心的管理者被迫考虑数据中心制冷的新方法。以下方法已经经过尝试：
增加空间
一些数据中心管理者把负荷分散以应对该问题。他们确定只是部分机架的热量比较集中，于是增加高热密度机架之间的过道宽度。这样可以把热量在一个更大的区域扩散，但占用更多宝贵的地板空间及能源。
精密空调
机架
图2 随着热密度增加，机架底部设备消耗来自地板的冷空气，使热空气通过机架顶部循环
Uptime 机构报告指出在数据中心机架的上部1/3的设备故障率是机架下部2/3的设备的2倍。
数据中心管理者目前安装机架的功率密度超过20 kW/机架。基于在不同地点的现场测量，架高地板的平均实际风量可以解决2kW的热量。提高设备之间的间距从而使目前的风量可以解决20kW的散热量，则要求过道宽度超过16英尺。
通过增加机架之间的空间来解决制冷容量的问题会减少数据中心内安装机架的数量。使用传统的地板下送风，并在热通道/冷通道配置中增加机架宽度，机架平均散热量为10 kW，一个1万平方英尺的数据中心只能支持50个机架。Turner建筑公司最近分析了4000kW设备负荷的数据中心的建筑和制冷成本。针对3种不同等级的热密度，计算了每种热密度的数据中心成本(建设、安全、制冷、功率和UPS)，参见图3。
第一个方案，设计制冷设备可以支持每平方米500瓦，需要8000平方米的机房容纳4，000 kW 负荷。该方案每千瓦负荷的投资成本为大约$6，250。若把制冷容量提高到每平方米4000瓦，同样的负荷可以压缩为一个1000平方米的机房。而该方案每千瓦负荷的投资成本为大约$4，750。
很明显，建筑成本大大超出了应对更高密度负荷的制冷成本。采用面积更小的机房以及应对高热密度的制冷方案，本例中节省24%的总投资成本。增加散热风扇
另外一个通常做法给机架增加散热风扇。注意，
风扇不能除去热量，只能转移热量。实际上风扇
增加了房间的功率需求、热负荷以及噪音等级。
例如，若一个有500个机架的机房中，每个机架风
扇的功率为200到500瓦，则需要额外一个到3个
100KW空调设备以除去风扇产生的热量。
图 3 每平方英尺更高的制冷容量可更好地利用空间并显著减少数据
中心成本
基于在不同地点的现场
测量，架高地板的平均
实际风量可以解决2kW
的热量
数据中心成本
50w/150w/
(4000w/
固定负荷为4,000 kW
制冷系统
建筑成本
建筑面积(平方英尺)
平方英尺
(500w/平方米)
平方英尺
(1500w/平方米)
400w/平方英尺
平方米)
建
筑
和
制
冷
成
本(
$
)
由于数据中心的热负荷增加很快并不可预测，最好的做法是用新的，柔性制冷方法取代传统方法。
图4显示了在没有制冷的情况下，不同热密度的机房达到过热温度所需的时间。对于密闭的系统，若机房没有应对过热问题的缓冲区，则该问题更严重。
用柔性方案应对不确定性
为了应对散热需求爆炸式增长的挑战，应该改变方法而不是采用有局限的传统的方法。由于数据中心的热负荷增加很快并不可预测，最好的做法是用新的、柔性制冷方法取代传统方法。某拥有100个成员的数据中心组织调查显示，数据中心管理者最关心的三个问题是高热密度和功率密度(83%)、可用性(52%)和空间限制/增长(45%)。
为解决这些顾虑，则要求有一个可靠的并能灵活应对增长的方法，同时又能使设备拥有成本尽可能最低。 这意味着：
?
提供可以有效并高效解决高密度区域制冷的
解决方案
?
灵活及易扩容的方案 ?
提高能源效率的技术
?
容易维护和管理的系统
机架
机架
机架
到104 F 的时间
机架负荷
图4 按功率密度的热关机时间
这些需求可以通过优化空调冷却方案以及精心设计柔性空调方案来满足，主要包括两个部分：传统地板下送风方案和局部制冷方案。物理设施优化
当优化空调冷却方案时，应评估以下方面：
抬高地板
当今的数据中心一般建设在18到36英寸的架高地板上。地板高度越高，气流越可以平均地分布在地板下，并且空调系统的潜在制冷量就越高。
在现有数据中心中，通过增加地板高度来解决热密度上升的问题是不现实的，因为这会中断数据中心的运作并且大多数公司不能承受。假设数据中心允许这种中断，并且天花板高度足够高，增加地板高度对制冷效果的改善也是有限的。例如：1.5米的地板高度可对每平方米4000瓦的热负荷制冷。
热通道/冷通道配置
当今制造的大多数设备都是从前面进风后面排风。这使得设备机架可以按照热通道和冷通道的方式布局。根据 ASHRAE TC9.9（美国暖通制冷和空调工程师协会）在它的专刊“数据中心环境的热设计指导”中的建议，采用面对面的机架布局使冷通道的空气从两侧机架的正面进入，并从机架背面排出热空气到热通道中（参见图5）。只有冷通道有打孔地板，并且空调机组被安装在热通道末端和机架排并不平行。平行放置会使来自热通道的热空气从机架顶部回风并和冷空气混合，这样会使得机架顶部设备的制冷不足，并减少总体能源效率，如图2所示。电缆管理
对应热通道/冷通道方案，改善机架内部和地板下
的电缆管理也可以提高效率。电缆应尽可能安装
在热通道架高地板下面的空间，这样不会阻碍流
向设备的冷空气。
另外，一些机架有扩展通道可以改善电缆管理并
有利于高密度机架的散热。在一些情况下，可以
用这些扩展通道改造现有机架。机架上走线也越
来越普遍，因为这样可以减少地板下电缆的数
量。许多公司通过使用机架级先进的电源端子排
使配电更接近负载，从而减少进入机架的电缆数
量。
可以通过优化制冷设
施并仔细选择柔性制
冷的两个部分—传统
地板下制冷和追加制
冷来满足这些要求。
许多公司通过使用机架级先进的电源端子排使配电更接近负荷，从而大大减少进入机架的电缆数量。
图5 机架按照热通道/冷通道布局
机房密封-水蒸气
由于设备密度增加，把机房受控环境和周边建筑物环境隔离的水蒸气屏障变得十分关键。若没有好的水蒸气密封性能，在炎热夏天月份，水蒸气会进入数据中心并且在冷的冬天月份会离开数据中心。良好的水蒸汽密封性能可以减少加湿和除湿所需要的能源消耗。
应对需求变化
传统地板下送风的空调机组仍将在数据中心冷却中扮演重要角色。建议传统空调系统负责满足对数据中心的每平方米1000到1500瓦的热负荷进行制冷，同时满足控制机房湿度和洁净度需求。
随着地板安装制冷系统的优化，柔性制冷的下一个重要部分是局部制冷方案，它可以对数据中心超出1500W/m2的热负荷进行制冷（每个机架3到5kW ）。
尽管如此，首先应该最大化利用传统制冷方案，确保它能为柔性制冷提供高效、
灵活和可靠的基
础。
优化传统地板下送风方案
随着需求增加，地板下送风方案也在变化以更好地满足新的需求。有以下可以带来最高可靠性和最高效率，同时又可保证最低投资成本的方法：
热通道/冷通道方案
精密空调设备
精密空调设备
[ 热通道]
[ 热通道]
[ 冷通道][抬高地板]
电缆管理
电缆管理打孔地砖
可变容量
ASHRAE 确定最大制冷负荷的运行时间不到总运行时间5%。相应地，制冷系统应该在不同负荷下有效工作。空调机组的压缩机应该能够进行有级卸载（或变容量）以满足期望的制冷要求，同时不需要对压缩机开关机。
新的可变容量系统提供了更精密的容量控制。通过减少压缩机启停循环，可变容量系统减少压缩机启动和停止次数，而启动和停止次数是压缩机磨损的主要原因。
空调机组之间的通讯
空调间的通信使各空调机组组成一个系统（组）运行，实现群组控制，这提高了制冷效率。这对于有高密度负荷的机房尤其关键，因为高热密度区域内的温度比其它区域会更高。群组控制可确保各空调机组不会工作在相反的工作模式，比如一些机组在除湿而另一些机组在加湿。空调可以给高热度区域进行专门制冷，从而提升数据中心的能源效率。服务有效性
当热负荷增加时，制冷系统的容错设计变得更关
键。要求有经过培训的专业人士提供24小时的本
地服务和常规预防性维护以应对机械磨损和损
坏。
另外，空调机组通信功能的新技术可以为维护项
目提供更多的支持。包括诊断和支持工具、维护
通知提示和内置维护事件的记录，以及预测性诊
断。
局部冷却方案
为有效补充传统冷却方案，并对高热密度区域
制冷，空调设备必须靠近热源。当确定采用什
么技术进行高密度负荷制冷时，有三个要考虑
的方面：载冷剂、系统架构和未来能力。
载冷剂：水与制冷剂比较
水作为载冷剂经常被应用在机房空调设备中，当
这类空调机组接近敏感的电气设备时，载冷剂对
安全的威胁成为主要考虑的问题。这就是为什么
R134a制冷剂是高热密度应用方案载冷剂的理想
选择。由于制冷剂进入空气时变成气体，泄露不
会对IT设备造成安全危险。同时，R134a制冷剂溶
液也使能源利用率提高25%-35%左右。
水经常被应用在机房空
调设备中，当这类空调
机组接近敏感的电气设
备时，安全成为主要考
虑的问题。
开放式架构在需求变化以及需要额外制冷容量时，允许更大灵活度的再配置。系统架构：开放与封闭比较
空调设备可以通过一个开放或封闭的系统架构
来冷却热负荷。
在封闭式系统中，电子设备和制冷设备安装在
一个密封的环境中。此方案可以提供高容量制
冷能力，但代价是没有灵活性，而且若没有故
障应急功能，容错能力会差。封闭式系统更适
合较小的系统，可以采用故障通风模式应急；
开放式系统更适合应用在数据中心环境等中大
型机房。在数据中心中，对于封闭式系统，机
架组合灵活性比较差并且无后备紧急制冷，若
空调设备故障，机架和机房环境隔离，同时机
架内温度在15秒内上升到服务器的过温极限。
而在开放式系统的机房环境中没有该风险。
在开放式系统中，空调设备在机架上或靠近机
架，但不是机壳的一部分，机房内空气在故障
时被用作缓冲，使得该方案在大多数情况下更
安全。另外，开放式系统在需求变化以及需要
额外制冷容量时，允许更大灵活性，可以调整
或重新配置空调系统。
面向未来：空调系统的可扩展性
选择一个可以为将来需求进行扩容的技术平台
是选择一个解决方案的重要部分，这为增加设
备和选择新型服务器奠定了环境基础。大多数
主要服务器制造商目前正研究一种新解决方
案，该方案把基于制冷剂的制冷模块放入机架
内以应对未来 30 Kw/机架或更高热密度的制
冷问题，从而和基于制冷剂的空调系统和下一
代制冷系统相兼容。
优缺
基于制冷剂的系统
数据中心内无水
无电气危险
微通道盘管效率和低压力降使运行成本更低
更小的管道尺寸需求
热交换设备更小基于制冷剂的系统
和小机房存在兼容性问题更高流体成本
基于冷冻水的系统流体成本最低
对机房尺寸无限制基于冷冻水的系统
电气危险
运行效率
要求流体处理以防止污垢顶部制冷可选方案有限
图6载冷剂的选择影响容量、可靠性和效率
图7给出了每个主要制冷技术的容量极限。
吊顶式冷却方案
吊顶式冷却方案是使用R134a 制冷剂作为载冷剂的高热密度开放式系统。按需增加的吊顶式空调会具备最大的灵活性、可靠性和效率。
吊顶式冷却方案和传统的地板下送风系统配合使用，并通过提供地板下送风不能提供的制冷能力，解决了现有的以及新的数据中心高密度散热的问题。
高可靠性
可以让提供局部制冷的空调设备安装在天花板、机架上部或旁边，尽量靠近高密度热源来获得高可靠性。该方案可给机架顶部供应必要的冷空气以“补充”来自地板下的空气。
使用R134a 替代水可以提高可靠性，并可消除采用水而带来的风险。 另外，由于制冷模块并没有直接和热负荷“密闭”，机房内的空气在制冷系统停电或故障时被用作缓冲，提供过渡时的冷却直到电源恢复。
能源效率
同样提供1KW 的显冷量，吊顶式局部冷
却方案比目前在市场上传统的地板下送风精密空调节省32%
的电力。省电的其中一个原因是使空气流动的风扇的耗电少
64%，因为它克服静压力而移动空气的距离只有1米 。
顶部追加制冷系统目前在市场上比传统地板安装精密空调在制冷1kW 显热时节省
32%
的电力。
制冷解决方案的可扩展性制冷剂嵌入式机架解决方案
扩展制冷剂制冷模块
制冷剂制冷模块
冷冻水模块
带制冷的封闭机架
机架负荷
落地安装(C R A C )
图7 制冷解决方案极限值 (标准24-英寸机架)
由于空调模块提供100%的显热制冷，所以在控制湿度时无能源浪费。
采用制冷剂作为载冷剂，对于1 kW 显热负荷可减少0.2 kW 的冷水机组容量(参见图8)。这不但减少能源消耗，在大的应用场合，可以在不增加冷水机组的情况下增加制冷容量，或减少一新建筑物的冷水机组的数量 。
最大的灵活性
最后，吊顶式空调系统给最终用户在应对数据中心增长和布局的问题上提供最大的灵活性。由于没有占用宝贵的架高地板空间，它在机架方向、冷凝水排放、管道连接和设备安装方面对最终用户无限制。
另外，空调设备符合任何机架制造商的设备要求。由于具有管道预装选件，在天花板上安装必要的管道，可以使最终用户在任何时候采用“即插即用”连接方式增加或拆除8-16 kW 模块，而与此同时，其它制冷模块继续运行。
这种柔性制冷方法使Virginia 工程院可以解决其超级计算机中心的有关空间、热密度和能源需求的挑战性问题。原本该中心的设备负荷超过2000瓦/平方米 ，但是考虑到未来的可用性，Virginia 工程院在原先一半的机房空间内重新配置了数据中心并重新安装了局部制冷空调模块，使其能处理每平方米3500瓦的热负荷，这样不但能保护他们的
初期投资，还可以满足未来扩容的需求。
加里佛尼亚的Pomona Valley 医院医疗中心是从局部制冷方案获得益处的另一个例子 。来自6英寸高的地板下的冷气的制冷容量的限制，使其不能采用自动医疗记录的新技术，于是他们增加了机架补充制冷设备。数据中心的温度下降了15度— 机房环境来到了安全工作温度— 同时消除了和过热有关的故障。 Pomona 估计仅仅在防止和过热相关的设备损失方面，第一年就节省了$300，000 。另外，系统的可用性和灵活性允许再增加1倍的设备容量。
采用制冷剂对于1 kW 显热负荷可减少
0.2 kW 的冷冻
器容量。
风扇负荷
冷冻器容量
潜热负荷显热负荷
传统 C W Crac C W 密封机架制冷剂模块
图8 和传统制冷设备比，采用制冷剂流体制冷系统对冷冻器容量要求更小
每k W 显热负荷的k W 冷冻器容量
结论
柔性制冷架构可以随着电子设备系统的变化而灵活变化。若对下一代设备正确规划和正确使用，则数据中心的总运营成本甚至在网络可用性变得更高时会保持稳定，甚至下降。
柔性系统包括最新型的地板下送风空调机组、高热密度局部制冷空调设备以及针对热点的机架冷却设备。
柔性制冷系统给出了一种路标规划，该路标可以帮助数据中心管理者应对不断超出预期的负荷增加以及数据中心环境的多样性变化。柔性制冷方案在能源、成本和空间方面是灵活、可扩展、可靠以及高效率的。和其它方法不同，它不必牺牲地板空间和可靠性。
风扇
每年电力消耗
低27%
水泵(CDU)
水泵(CW)
冷冻器
传统 C W Crac C W密封机架制冷剂模块
图10 带制冷剂的追加制冷提升了效率
冷
却
1
k
W
显
热
的
电
力
k
W
27%Lower
艾默生网络能源有限公司
关键业务全保障?的全球领导者https://www.wendangku.net/doc/2d17856326.html,/wp
交流电源连接
直流电源嵌入式计算
嵌入式电源
监控
户外柜
电源开关和控制
精密制冷
机架和一体化机柜
服务
浪涌保护