郭树石:阿里巴巴数据中心的节能实践

郭树石:阿里巴巴数据中心的节能实践 随着国家能源消耗的增加，随着越来越多的数据中心的建设，对液冷的需求和对制冷的渴望，这种发展在未来将是不可持续的。需要研究的是冷液体。液体冷却有三种方式，一种是浸没式，冷板式和喷淋式。 第12届中国国际数据中心行业年会将于12月21日至22日在国家会议中心举行，这是中国和业界最具意义和影响力的标志性事件。在昨天的主会议厅，许多领导和来宾对数据中心当前的整体市场进行了分析和评论。在今天的数据中心技术创新分论坛上，许多嘉宾将分析和解读数据中心的技术创新。让我们一起欢迎今天的数据中心技术创新分论坛。

作为中国云计算和数据中心领域最大、最具影响力的标志性事件，中国国际数据中心行业年会由阿里巴巴国际数据中心运营专家郭树石出席，并就“阿里巴巴数据中心节能实践”发表主旨演讲。

郭树石，阿里巴巴国际数据中心运营专家

以下是这次演讲的文字记录:

我今天稍微改变了一下话题。最初给我的题目是关于节能。当前的主题是“阿里巴巴数据中心节能实践”。这份PPT是基于张北的案例。郭亮刚才说的话很感人。当他研究液体冷却时，我们实际上做了深入的研究。对于未来的发展方向，我们认为液冷将成为未来的主流方法。在张北，我们已经进行了几个月的实验，包括整个私人房间的大规模应用。随着国家能源消耗的增加，随着如此多的数据中心的建设，对液冷的需求和对制冷的渴望，这种发展在未来是不可持续的，迫使我们分析下一个更好的应用。例如，液体冷却。

液体冷却有三种方式，一种是浸没式，冷板式和喷淋式。

在此之前，有人敢于认为，随着数据中心能源的大量使用，很难在北京找到一个能够满足中型电力需求的数据中心。我们的数据中心消耗大量电力。我不会详述社会、企业和团队的结构。以下是一些操作实践。

首先，应用新鲜空气。新鲜空气在这个行业已经被提及很多年了，据说每个人都在真正地应用它。在天津、北京和张北，许多数据中心都在尝试使用新鲜空气。它真的受欢迎吗？进入张北一年多后，我们在三个包间里进行了实验。在一定的清洁度、湿度和温度下，一些地区可以获得新鲜空气。这种新鲜空气可以大大减少我们的PUE。它的风险控制点主要来自硫化氢和二氧化硫，因为它会与我们的银和铜一起产生硫酸铜和硫酸银。我们必须在这里控制这些，新鲜空气可以利用，我们目前积累了大量的数据，运行了一年多，看到的效果是好的。

如果不是张北，但在天津，青岛，上海可能不可用。

新鲜空气有三种模式:新鲜空气和半新鲜空气。有新鲜空气、回风和混合空气。这是一个气流模型。这是实验室和测试的照片。我们更担心服务器的使用寿命和故障率。通过控制腐蚀程度，我们将看到新鲜空气是否可以广泛推广，以及在哪里可以推广。通过实验和小规模试验，我们在张北进行了有益的实验和探索。这就是新鲜空气的问题。

第二热通道被密封。许多传统的计算机房仍然封闭在寒冷的通道里。冷通道封闭需要机架空地板，而热通道封闭可以具有更高的热交换效率，并消除机架空地板。这是扩散冷通道的空气供应。我从热通道收集热量，尽可能提高温度，然后进行高温回风的高效环境。这是热通道关闭。今天，通过这个PPT，我也希望我们在座的所有人，或未来数据中心的员工，将共同努力探索更多的节能方法，或降低功耗的方法，或技术。

第三，冷热水的供水和回水温度。目前，我们已经看到许多设计有非常传统的供水系统的计算机房。也有许多在7度供水，在12度回水，并继续提高水位。目前，张北的出水温度为17度，回水温度为25度，即温差为6度。出水温度从7度提高到17度，甚至19度，回水也相应提高。这种增长非常明显。

第四，变频技术。这种频率转换非常成熟，但并不是所有的数据中心都广泛使用频率转换技术。各种电动底座和冷底座在固定频率下有固定的消耗。根据需求，按需供应，按需变频，这种变频技术已广泛应用于一次泵、二次泵、冷基和冷塔。我希望这种变频技术能为更多的数据中心所借鉴。其技术要点是低频自适应变频技术和电气基础低频值的优化。我们现在一般将其应用于28到32HZ。频率与转速成正比。功耗是一个立方关系。变频节能效果明显。

第五，冷却塔流道延伸技术。有许多冷塔。冷塔建成后，不同的地区有不同的需求，比如南方和北方。此外，普通的冷塔将不得不在到达张北后进行翻新。张北必须防冻。此外，原来的品牌更小更浅。到达张北后，我们将再次进行优化和改进，即延长水流路径，增加散热面积和时间。冷却塔的设计不是标准，但应根据其所在区域进行优化。它不仅仅是路径的延伸，包括独立控制你的两个电动底座或三个电动底座，两个电动底座是否同时，或者是否只有一个风扇在运转。这座冷却塔在未来的发展中仍有许多改进之处。

第六，液体冷却技术。郭医生刚才说的和我们以前说的很相似。这确实发生了，效果仍然很好。你为什么要这么做？当我们将传统橱柜从3千瓦、4千瓦和5千瓦转变为6千瓦时，我们发现这些还不够。当我需要20千瓦、30千瓦和50千瓦时，普通的冷却方式不能满足消除热传导的局部过热。液体冷却可以浸泡或喷洒。我呼吁我们的合作伙伴或朋友继续增加在这一领域的投资。这是未来的趋势，而大型行业的机遇是未来的趋势。

第七，这是对空的最佳控制逻辑的选择。首先，温差，当冷通道和热通道被关闭和分开时，目的是什么？或者增加温差，温差是多少？在送风速度空调节结束时，当温差增大时，我们的转速空调节结束时可以降低。常见的空调节有四种模式，其中最好的是空气控制、回风控制、压差控制和温差控制。当您选择这四种模式时，它们的节能效果是不同的。目前，一个好的做法是增加冷热通道之间的温差。出口空气的温度可以通过例如机器或温差来设定。

第八，服务器的进气温度。还是回到传统的机房，可以继续提高，24±2可以，25±2可以，目前这些企业已经尝试过了。我们现在已经达到了25±2，也就是说，整个机房的温度一般都是经过调整的，服务器制造商也可能有这种情况。其耐受温度在34-35度是合理的，可以满足要求。当25±2或26±2时，通过数据的积累，我们有了空的进一步改进。

当然，进气温度升高，相应的中央处理器速度也会提高。此时，要找出它们之间的缺陷，不能简单地提高温度。例如，当温度达到正负25度时，就需要停止。您需要测量三条曲线的交点，以找到最佳集合。

第九，冷却塔应保持无泄漏。如何除冰和减少浮水也需要冷却塔和电力系统的配合。目前的方法仍然是手动或半自动的，并通过电力系统的调解，或通过打开空气供应出口，或增加一个漏斗。就像张北的冷却塔一样，已经进行了大量的改造。这个小技巧仍然有一定的借鉴意义。

第十点是冷却水的净化和再利用。在考虑电源时，我们还应该考虑到数据中心的水流量也相对较大这一事实。我们有一个词叫做WUE，如果做得不好，它的值会超过4.0，如果做得好，它的值会达到0.4。这种差异相当大。冷却水的电导率达到排放的酸碱度，需要维护人员进行大量的数据勘探，如1500、1600、1700。有必要确保水的可用性并减少排放。一个是电导率，另一个是酸碱度，这是我们目前的关键指标。

十一点，室内和室外湿度是一项后续控制技术。我知道目前一些机房的湿度仍然在40%-70%之间，这个值已经被优化为0+，比如30-75，30-80，20-80。从配电室到信息技术机房的湿度要求是不同的。加湿器能用来自然解决问题吗？目前，该值已经在很大范围内进行了优化。在这种湿度下有许多加湿器，这也是一个很大的能源消耗。目前，湿度值可从40%提高到70%，从25%提高到80%，配电室可从18%提高到90%。通过对这些数据的优化，可以在加湿方面向数据中心行业甚至普通机房推荐或参考。我们有两个指标，温度和湿度。优化这两个指标对降低PUE非常有效。

第十二点是英航自动控制系统。目前，钡剂在中国仍被广泛使用。自动驾驶有几种模式，包括全自动、手动和半自动。目前，我们新建的大部分机房都是全自动的，自动加法机、自动减法机和各种模式的自动切换。这包括例如冷却机的控制模式和新鲜空气的控制模式，例如3+3，即冷却机有三种模式，新鲜空气有三种模式，张北有六种模式要切换。上一次，张北的PUE在疾控中心大会上有一定的价值，并获得了疾控中心的科技节能优秀奖。正常运行时的PUE值在1.1以上，这是实际运行，不是实验数据。我仍然希望更多的制造商会参与进来。目前，制造商的数量仍然很少，我希望它将更加人性化和自动化。

第十三，新风焓差节能空调节技术，在南方得到广泛应用。

让我们谈谈电气实践。

首先，互联网行业不再是一项新技术，它所担心的高压直流现在也不那么担心了。然而，与传统的2N UPE、一路市电和一路高压直流相比，其效果明显。然而，仍有许多数据中心使用2N不间断电源。即使阿里使用一条市电线路加一条高压直流线路，它仍然有两种技术。据说1线是负荷分担技术，即一人一半，各占50%，另一半是负荷不对称技术。我能承受90%甚至95%的商业用电，而让高压直流侧承受得更少吗？只有这样才能降低高压直流转换效率的损失。目前，高压直流输电广泛应用于互联网应用中心，且价格相对较低。例如，这些常用的包括东大、东塔和新兴。我们希望这些制造商将有更多的节能技术，更不用说高压直流输电肯定会节省能源。高压直流输电也适用于低效率、中效率和高效率。我们甚至希望它能开发出一个高效的DC模块。如果提高1%，对数据中心的整体节能效果仍然很大，1%的用电量仍然很明显。

第二，变压器，你现在遇到了什么瓶颈？当你向电力局和电力公司报告新容量时，它的容量是有限的。当您报告2N时，整个电锯的一半在数据中心是多余的。当变压器不再是2N结构，而是4+1、5+1、6+1时，国家能源的占用和储备将大大减少。例如，在北京5月份供电质量相对稳定的地方，这种方法可以大规模应用或使用。当然，这将测试运营商的应急能力。因此，在降低结构的同时，它实际上增加了对操作者的要求，从2N到N+1，以将N阱控制到小于或等于5。这种结构性变化实际上减少了整个国家的能源资源。

第三，智能照明，我们的照明甚至占数据中心的0.01%，这是一个相当大的数额。特别是对于大型互联网公司来说，0.01%的能源被占了。例如照明，传统照明包括T5、T8、发光二极管和普通照明。例如，张北采用的是LED固态照明，按需分区控制，照明不是通过技术创新来控制的，而是需要从设计的源头进行细节控制和设计。

第四，电池组在线升压自放电测试技术。改变原来的直接放电降低电压的方法，因为它是直接放电，当时一旦停电是有风险的，相反，我们认为换个方向，用升压放电，我这条路电压高，除了放电，换个方向思考，这种方法至少可以保证没电。当然，2N不间断电源并非如此，但互联网的放电技术仍值得业界研究。我们现在正在应用它，普通的电池接口在传统的计算机房里是不存在的。因此，我们希望新的数据中心在建设期间保留这个接口。给配电箱增加一个接口非常简单，可以大大提高操作人员的排放效率。这种电池技术已经使用了十年，是一种成熟的技术，但现在不会用太多，敢于用得更少。你可以试试。这对能源有什么好处？对于空气体，信息技术不直接消耗能量。它不会散发现有蓄电池的热量，也不会将热量返回给It负载。事实上，这也是一种间接的能源循环。

第五，一路高压直流有它的优点和缺点。我们在张北的不同模块做了不同的尝试。如果我说我应该保持2N结构并保持其转换效率，我应该做什么？我们最初有三种架构。不间断电源做得很好，高压直流输电也做得很好。如果能够达到4N，则四种线路被等分，并且使用四种线路交互冗余技术。它不仅满足2N架构，而且通过负载分担和项目备份提高了高压直流的利用效率，这是另一种架构模式。

第六，模块睡眠和自动唤醒技术。这种模式可能适用于所有设备，但可能没有太多的设备敢于使用并且能够真正使用。有可能。通过唤醒和睡眠，该区域的节能将减少3-5%，其中有两点。一个是负载电流加充电电流。你必须设置一个计算。第二种是自动唤醒甲类警报。当它在睡眠期间发出警报时，它停止税收变化并开始工作，因为有15到20个模块依赖于高压直流输电，并且10到15个模块可以睡眠。它会根据负载自动调整。不间断电源也有这一功能。我们称这种模式为整体经济模式。这就像是菜单中的一些主流。例如，中恒(语音)和仲达(语音)本身就有这个功能。我们希望我们的操作和维护人员能够开启此功能。如果你不放心，你可以做一些局部打开，或者你可以做制造商的重复测试，然后做系统应用。因此，高压直流输电的后续使用和研发仍需更加贴近用户需求。现在有，但我认为仍有许多领域需要优化。该品牌的睡眠和唤醒功能对我们来说并不太重要。我们将限制该品牌入围的时间。

第七，应用削峰填谷水进行冷藏。储电技术、充电、储水、储冰、削山填谷、储能、储水或储冰当电价降低时，我们都尝试过这三种技术。

第八，电扇。不要低估粉丝。风扇占用了数据中心的大量功耗。在空开关的末端，我们有n个电子控制风扇。这仍有一定的节能效果。事实上，如果你仔细想想，现在建造一个数据中心的成本并不高，但更有价值的是今年的电费，这超过了几年内一个数据中心的总投资。因此，在选择设备和购买设计时，应优先考虑节能，例如，电风扇的成本为5000元。有可能在一年内收回成本，例如高压直流电。你好像丢了一万元。例如，十年后，它提高了1%的能源效率。节省了多少电费？高压直流电是300千瓦，1%是3千瓦，每小时3千瓦，一年能节省多少电。因此，我们希望更多更好的产品能够应用到数据中心。

第九，让我们谈谈不间断电源。不间断电源已经非常成熟。不间断电源是一种非常成熟的产品。在选择和匹配时，我们有公平性、高频、六脉冲、十二脉冲，有些模块有睡眠模式，也叫VMSS。这是一种模式，另一种模式称为静态高效节能模式。该功能称为ESS模式。如果该功能在设备采购和设计期间可用，实际上对于后续维护、降低PUE和总体成本是非常必要的。这里说的不仅是型号的选择，还有功能的选择。

第十，无功自动补偿，其要点是自动补偿和滤波，提高利用率。

十一、木柴水套电加热伴热节能。当数据中心对PUE的要求极度苛刻时，我们发现我们有几个常年在高压配电和打柴的取暖设备，比如打柴，一个打柴有两个电伴热，一个小时消耗这么多电，而且超过100台。像张北这样的数据中心一般有100多台，附近有150台发电机。

最后，我想谈谈管理的观点。

首先，目前，阿里新建的数据中心普遍采用租金和电费分离，以及PUE奖惩激励措施。例如，我们希望PUE小于1.3。每个人都存一半的钱。当它在1.3和1.4之间时，我既不奖励也不惩罚。例如，如果它超过1.4，你将支付盈余，但我不会支付。根据负荷率和装机率，评估应分段、人性化进行。不同的评估可能在春季、夏季、秋季和冬季进行。

第二，能效指标评价。简单的PUE不足以衡量。我们还有一个加权平均PUE，即WAPUE，这是我们需要的多个评估指标。

第三，WUE也是有限的。我们努力把WUE控制在0.9以下，这比0.2-0.9好。

第四，过程是精炼的。这包括密封、保温、隔热、防爆、除尘、电磁屏蔽、环氧树脂地板、地面硬化等。整篇文章。善待运行维护人员，提高他们的积极性和责任感。

第五，能效管理和评估体系。这是张北的控制DCOS，IDCM，DCIM，BMS，GOC。这是未来最大的方向。现在有了DCM。我希望它来自更智能的管理，而不是手动数据分析，而是更高级和更智能的分析软件。目前，业内有许多制造商在做这件事，但与我们的需求仍有一定差距。当数据中心蓬勃发展的时候，我们希望会有更多优秀的制造商涌现出来，例如中国已经在进行DCM和中联重科创新。简而言之，在未来，我们需要更多的智能平台，或者机器人，或者更先进的人工智能来管理我们庞大的数据中心，以便充分利用和最大化国家的能源和未来能源的消耗。

这是我今天演讲的初衷，谢谢！

2020-02-29 21:22:12 国际信息公司谷歌今年将在其美国办公室和数据中心投资100亿美元。 谷歌宣布了2020年的扩张计划，计划在11个州投资100多亿美元建设办公室和数据中心，包括加州、科罗拉多州和乔治亚州。