[2018亚太数据中心峰会]李:节能增效，提高数据中心产出率

本篇文章8660字，读完约22分钟

[2018亚太数据中心峰会]李:节能增效，提高数据中心产出率 他在会上指出，传统的数据中心建设存在成本高、流程系统复杂等诸多不利因素。经过近几年的快速发展，数据中心已经开始向标准化和规模化发展。 他分享了腾讯在数据提示方面的工作。目前，数据中心标准、模块化和产品的快速发展主要通过两种方式:一种是增加收入和减少支出，另一种是获取。例如，根据不同的负载波动特性分析节流。通过对机柜级、通道级等细节的监控和分析，进行有针对性的设计，确保节能。数据中心的节电、碳排放和环保意识不断增强。在绿色节能方面，腾讯还尝试了光伏、风能、三联供和绿色能源。 过去2017年，亚太地区的市场增长率接近15%，领先于世界其他主要地区，与整体经济增长水平保持同步。该地区多元化的经济发展特征使得各国的数据中心市场有着明显的差异。以香港和新加坡为代表的成熟市场保持了稳定增长，而以印度、印度尼西亚和其他国家为代表的新兴市场表现出强劲的增长势头。

2018年5月15日至17日，由中国国际数据中心年会组委会主办、中国国际数据中心圈和云百思买主办的“2018亚太数据中心峰会”在深圳举行。

5月17日，“2018亚太数据中心峰会”正式召开。腾讯数据中心总设计师李现场分享了精彩的“节能增效，提高数据中心产出率”。

腾讯数据中心总设计师李

以下是这次演讲的文字记录:

李:今天介绍的内容和前面的话题有点不同。在这段时间里，有很多事情和准备都有点仓促。PPT有点老了。它更多的是关于与每个人讨论，不一定是沿着PPT，而是关于相应的变化。

我们今天看到的消息，比如数据端口和一些重大项目的披露，表明这些项目在未来的数据中心将有数十亿美元。我们看到，海外谷歌和Face图书研究是如此巨大的投资，数十亿美元将被加速。未来会有很大的变化。需求将非常大。未来将是一个数万平方米的大型公园。许多同事提到，未来的数据量会越来越大。在可能的质量条件下，公司对效率和成本有更高的追求。尤其是在海外的互联网行业，每年的电费账单是几十亿甚至几十亿的天文数字。成本匹配也是大家非常关心的，希望有很高的效率。交付，现在的业务发展是爆炸性的发展，包括我们看到的许多新的巨人，或现有的巨人，都说云时代的业务压力和交付压力很大。如何提高运行和维护的效率，如何实现包括无人值守在内的大规模运行，也是我们的一大难题。

在传统的数据中心中，无论是投资成本还是运营成本，流程系统都非常复杂，其中的耦合性和安全性可能包括个案设计，包括灵活性、灵活性、交付时间表等。这是数据中心的七宗罪。起初，每个人都有一个好主意，公园很漂亮，相应的设计效果图也很好。最后，当它着陆时，它严重偏离。这就是我们所认为的非常工程化、非常个案化、非常复杂的系统以及在传统数据中心中的糟糕位置。如何使复杂的市场系统成为一个标准、简单的数据中心是我们一直在研究的相应方向。数据中心是一种生产手段，一种支持系统，正如我们所说，它应该是一种工业产品，而不是一件艺术品。如何以低成本和高效率满足业务需求是我们解决问题的方向。今天，没有人应该买砖或水泥建房子，基本上买一个标准的商品房，做相应的定制和装修，很快满足生活或休息的需要，等等。从国内来说，规模发展就是一个很好的体现。

如今，在构建数据中心时，基本上每个人都不会购买机柜来设计、购买设备、安装和建造，包括后续操作和维护。今天，我们买了一个产品过来。不久，我们将接通水电，并迅速投入生产。操作和维护可由制造商处理。我们过去有自己动手做的笔记本市场，但现在基本上没有自己动手做的组装机。我们基本上是买一台电脑，用完后扔掉。这就是我们所说的标准化和产品化带来相应的价值。通过将一个非常技术化、非常复杂和非常工程化的数据中心转变为一个非常标准化和非常面向产品的数据中心，我们可以通过标准化和模块化实现高可用性和灵活的增长需求灵活性，包括降低总拥有成本。这是我们相应的巨大价值。

从数据中心技术的发展趋势来看，这里电和空调整是两个主要内容。在电力行业，数据中心正慢慢看到谷歌和Face book等公司从原来笨重庞大的传统不间断电源系统中脱颖而出。它的发展方向是将非常集中和非常大的系统分散到非常小的系统中，按需购买，按需投资，非常灵活。将从左到右的漫长过程转变为非常简化和高效的过程是整个行业的发展趋势。在未来的发展中，电池是不间断电源，商用电源是我们机房的主要电源。电网和中央处理器之间的路径越简单越好。像今天的笔记本电脑一样，它们可以在没有不间断电源的情况下快速投入生产，并直接接入商业电源。在数据中心行业，电池将继续从计算机机房发展到模块级、机柜级，甚至服务器级。制冷也是一个类似的想法，从非常集中的超大型冷却器和超大型和非常重的超大型系统到中央处理器级，从集中式系统到分布式系统。我们也不需要机械制冷、压缩机制冷，去掉了中间转换环节，降低了能耗，并从房间级转移到芯片级。这也是一个类似的想法，删除不必要的链接，使架构更加平坦、简单、高效和分布式。

之前，我介绍了可能的开发难点，希望实现更好的产品化、高效率以及对大规模架构和操作维护的要求。数据中心是一个非常复杂的系统，使得整个非常复杂的系统越来越简单，产品越来越多，越来越标准化，越来越高效。如何在复杂的系统中找到它的起源？它的起源是我们行业的王海峰老师提炼出来的逻辑。它的本质是数学和逻辑。数学是粒度。我们认为硬件是粒度最好的模型。软件如何制作最佳产品和最佳模型，以实现逻辑上的最佳控制和最佳调整，从而实现整个数据中心的最佳实践？数学和逻辑是最重要的东西。

在我面前，我谈到了许多产品，许多最佳模型，最佳粒度等。如何推导这个模型，如何细化最佳粒度和最佳控制？有迹可循，也有科学证据可循。我们知道模糊性具有边际条件，是一个非线性系统。此外，不同系统和粒度的成本影响是巨大的。数据中心的典型变压器基本上是2500和1600，这也是非常有限的。开关也类似，1600或1300、5000、4300、3200等。基本相似。例如，如果你想切换2300，你找不到它。它有粒度。如前所述，对于如此复杂的系统，我们如何找到最佳模型和最佳实践？这就是我们正在讨论的粒度问题。它有最好的性价比和非常好的东西。

我们现在知道一些关于电的知识，比如不同层次的数据中心，从上到下，从小到大，可能有微模块层次或房间层次，然后到数据中心层次，然后到甚至公园层次。通过不同的设备，它有不同的级别定义和不同的影响范围。不间断电源影响一个房间，空音调影响一个通道，分组数据单元影响一个机柜，不同的系统有不同的影响面。从机柜到POD到房间到基础设施，甚至公园，不同的设备有不同的型号。我们都做相应的技术处理。

这个行业也有类似的好例子。我们一直在谈论如何在众多复杂的系统中找到最佳实践和最佳模型，以及如何标准化和生产数据中心。万科在这个行业给了我们很好的思考，是一个很好的例子。它有一个工业化和面向产品的住宅产品。它的建筑是将一所房子分成门、板、墙、连接器等。通过这些标准部件，它可以快速组装和建造房屋。我们开始提到未来的房子都是我们的集合建筑或绿色建筑。如果它们只是工业产品，可以通过标准化、面向产品和模块化的设计思想快速设计，成本低、效率高。数据中心也是相似的。服务器被视为砖块，机柜服务器被视为厨房和阳台，微型模块被视为小单元和大单元。如此多不同的房间被组合成商品房，一个住宅建筑，不同的建筑被组合成一个住宅建筑。这一概念用于建造数据中心大楼。通过刚才提到的标准化、数字化和产品化，从设计的角度来看，如何复制和建造，从大到小，按照外壳，在里面安装家具和家用电器，快速复制和快速建造数据中心，使整个数据中心能够实现产品化和模块化。模块化是脱钩。与非常复杂和耦合的原始系统不同，它可以快速复制、堆叠和构建。

例如，虚拟中心的园区，服务器规模在80，000-100，000单位的建设中心，占用一块土地，其中有许多租赁条件。例如，前面提到的外部线路是10，000个单位。这10，000台机器可以为一栋建筑或一栋建筑生产20，000多台机器。每栋建筑都有一个大约10，000平方米的接口。这四栋建筑基本上是80，000-100，000台机器的模块。对于走廊和办公室，这也是一个类似的想法。让我们为数据中心公园、建筑和房间等制定计划。如何实现不同粒度下产品的复制和堆叠？复杂的数据中心刚刚被分解成非常简单的结构模块。每个模块由两个重要模块组成，8-10个变压器，8-10个低压模块，对应3-4个大房间，每个房间15-20个微型模块，5-6个柴火模块等。基本上，数据是累积的。一旦框架构建完成，在构建过程中前往每个房间和每个模块，根据需要随时扩展构建并随时进行配置。

根据该模型，刚才提到的数据中心园区的规模为4栋建筑或80，000-100，000台机器。它基本上是按照4栋建筑建造的。每栋建筑基本上配备了20，000台服务器，例如2，000台变压器，10，000台是2，000或4，250台变压器，基本上是16，000或25，000台变压器，它们被分成3-4个房间，每个房间有数千台机器。在每个变压器或每个房间下面，有十或二十多个通道或主机或微模块，每个微模块大约有数百台机器，然后每个都有数百台机器停机。将一个非常复杂的数据中心变成一个非常简单的骨架和主干。

我们作为数据中心已经工作了很多年。电力是我们最宝贵的资源，包括工业等。我们很难避开这几个人。例如，如果电源是10，000，您不会选择10到1，000个变压器。这太多了。粒度是其中最重要的东西。你不会选择太多的变形金刚和太多的变形金刚。也许你没有选择。基本上，有最好的和更合适的粒度。根据粒度，基本上有模型。如果你拿一个模型放在数据中心，它几乎是一样的，偏差不会太大。2N架构，前端模型有两个外部电路，两个中央模块和8-10个变压器低压模块，基本上对应3或4个房间，类似于此架构。如果你不愿意做2N设计，N+1设计是相似的，无论是在低电压模式还是其他模式，它基本上与这个模式相似。这是我们从基础设施层面的观点。

在数据中心的更深处，它还具有更合适的粒度，包括空调节能力，或者是高压能力还是轴向间距，包括承重、电池等。它整合了很多东西，基本上是这样演绎的，并且有一个相似的更好的模型。这是彼此不同的。我们将介绍腾讯的微模块作为参考案例。这种模块大约有10个机柜，可以支持数百台机器，并且可以制作多个版本和型号，以快速满足大多数企业的需求。做少量版本，可以做不同的电源配置。根据实际需要，在具体情况下做出相应的配置。有了智能管控系统和智能运维平台，所有的数据和所有的东西都可以被调出进行相应的分析和控制，这就是刚才提到的数学和逻辑或者硬件+软件的思想。

通过复杂的数据中心可以成为非常简单的产品，整个行业，近年来也看到了微型模块的快速发展，非常复杂的数据中心变成了购买设备，即插即用，很好的解决了许多中小用户和大用户的应用需求，这是非常古老的数据。在过去的几年里，我们都知道微模块仍然非常适合这些数据的快速发展。如果有任何需要，我会直接部署几个模块来满足一些业务需求。如果有更多的需求，我可以在此基础上继续复制、生产和建设。正如我刚才所说，简单地装饰水果是可能的。没必要做太复杂的装饰、保温、过桥等事情，只要简单的地板。所有组件，无论是0+调节还是机柜或电池，都通过电梯快速到达现场，快速组装、组装并快速形成模块。简单的测试完成后，就是标准化的工期，测试标准化，施工也标准化，快速施工，快速生产，快速实现上架，应用的实现。也可以先制造一些零件，然后根据需要制造一些零件。你可以节省投资，并有良好的经济效益。这是从大型园区到服务器的模型架构的结合。

目前，我们已经到了微模块阶段，并继续走下去。数据中心中最重的东西仍然是基础设施风、水和电，如外部电力、建筑物、空调节、水加热等。，这仍然是非常复杂的事情。我们需要继续前进，进一步标准化，生产和模块化非常重和复杂的东西。我们经历了从微型模块到现在，从室内微型模块到基础设施的发展方向。例如，这里的核心是刚才提到的左上角的信息技术模块，中间是我们的配电模块。正如我刚才所说，变压器和独立配电也是非常标准的。就粒度而言，它们是8-10个变压器和8-10个低压模块。将具有空调节的非常复杂的冷冻水系统变成具有空调节的HU模块。中间是我们最小的粒度单位，例如空调制、信息技术和功率分配。从最初的微型模块开始，我们继续转向数据中心和基础设施，并像这样构建构建模块。几个微型模块可以快速建造房间，几个房间可以快速建造数据中心，基本上类似于此。关键是要把原来的数据中心从非常创新的东西变成非常平行的东西。事实证明，数据中心从征地到建筑施工需要三到四年的时间，然后进行相应的基础设施建设设计。设计完成后，从头到尾进行了招标、设备采购、现场施工、调试。在新的模式下，让我们把我们的建筑和机电产品结合起来。建筑建成后，机械和电气设备将同时生产和运行。当建筑物建成，机电设备生产良好时，可以实现现场快速拼接，快速实现数据中心的建设。有可能将时间从原来的几年缩短到一年甚至更短，这非常适合大规模、大规模、高效率、低成本、快速建设的相应需要。

对于逻辑、监控和控制，我们和以前有相似的想法。从服务器开始，当涉及机柜、计算机房和公园时，从轻负载到重负载的波动仍然非常大，达到2倍以上。根据我们的机柜级别，例如双11或红包或高功率计算挖掘，业务功能实际上非常大。去英吉利海峡要少得多。一台服务器可能会被标记两次，机柜40%或50%，通道级只有10%到20%，房间级只有10%，数据中心级只有几个%。你通过数数发现了什么问题？设计院或负责运营的同事都担心安全是第一位的，每个人都担心快速的业务会拖垮我们。整个数据中心是根据极限分子设计的，这可以从机柜级别的分子和通道级别考虑，导致高投资、低利用率和低负载率。这是目前业内普遍存在的问题。如今，许多数据中心的负载率和应用率都很低，因此我们不得不建造大量没有它们的机柜。前期投资很大，产量相对较小。这是我们目前看到的相应问题。

取出数据后，我们需要分析数据的组成，先掌握数据，再分析数据。例如，我们需要了解能耗分布在哪里，IT消耗了多少能源，冷却机器消耗了多少能源，以及配电消耗了多少能源。只有通过获取数据和分析数据，并进一步进行各种控制，我们才能实现真正的数据中心的真正最佳实践。从硬件和型号选择到软件精确控制，容量管理和利用，包括所有节能和其他事情，都可以实现。这是我们整个集成电路实现非常精确、非常高效和非常极端的一个非常重要的基础。这是我们行业中一个非常经典的案例。这样一个典型的数据中心是一个持续优化的过程。这些数据被用来分析数字，并不断地进行减敏和优化。我们可以看到它是不断优化和减少的。从纵坐标可以看出，这是一条非常季节性的波动曲线。夏天打开冰箱，不需要的时候关掉冰箱，尽量减少电费等。这是我们认为的一个好案例。即使在白天，IDC也可以根据下一场雨或风的外部环境温度进行动态调整。不幸的是，从冬季到夏季，大多数国际数据中心全年都是1.7和1.8，水平线很高，这是非常糟糕的数据。大家都说这两年施工压力很大，一直在施工。事实上，如何很好地利用我们现有的数据中心，如何优化它，如何挖掘潜力，如何实现最佳优化也是非常重要的任务。通过对大量数据的分析，通过大量实践经验和所有控制的深度，我们甚至可以像谷歌一样进行机器学习，做出这些预测和判断，并使所有事情变得更加极端。

下面几个字，谷歌数据中心最佳实践:1。衡量PUE，每个人都能做到。2.管理气流组织。3.调节水温和送风温度。4.使用自由自然冷却。5、减少配电和转换损耗。它很简单，基本上很熟悉，不是很高，很低，我们也一样。我们的数据和他们的数据之间的差异仍然很大，分别是1.1和1级，途径和简一样简单。数据中心真的很简单，或者我们认为它是一套几个变压器和几个模型，加上简单的相应优化，整个隔离和水温调节都非常简单。市场上仍有很大的差距。我们可以看到，典型行业为1.7和1.8，与国外先进行业1.1和1.2相差甚远。正如我刚才所说的，原因很简单，但背后的技巧和背后的差异是相当大的。正如我今天所说的，如何实现最佳实践，如何实现数理逻辑，最佳体现和最佳构造是两个关键概念。

让我们简单分享一下我们的数据提示。上一节介绍了我们如何通过方法和最佳实践使数据中心更标准、更小的模块、更多的产品和标准化。实现快速高效，包括智能操作和维护，并实现良好的经济性和投资，这是我们所做的相应工作。根据我刚才所说的，从服务器级到校园级，不同灰度级下的数据都被采集、分析，然后运行空，这对整个建设有很好的对应应用，包括相应的操作和安全性。

有两种方法:一种是增加收入和减少支出，另一种是获取。例如，为了削减开支，刚才有人说每个人都是根据分子的考虑来设计的。投资很大，系统也很大。我该怎么办？我们根据不同的负荷波动特性进行了相应的分析。机柜水平可能下降50%，机柜水平的末端将扩大，开关将扩大。这不需要花很多钱，但是每个人的灵活性，灵活性，比如四千瓦到六千瓦到八千瓦，都足够灵活，可以帮助你。然后在通道级别，少数机柜可能有服务，这可能是高标准的。在房间层面，我们认为一个房间中数百个橱柜的尺寸不会达到每个橱柜的峰值。这时，房间水平有机会做出相应的系数。例如，您可以创造更多的机会，减少不间断电源的投资，甚至在数据中心级别选择0.8。这对你的冰箱和输出柜的数量是一个很大的好处。数据中心可以为您使用的是信息技术机柜。如何使信息技术输出，例如，10，000外部电机，传统的输出是5米，现在的输出是6米和7米，这对你来说是非常大的。例如，开源，我们已经构建了它，并且已经完成了。您的负载率如此之高，您可以挖掘潜力并相应地扩展容量。潜在扩展的这一部分更多的是关于机柜和终端设备开发潜力、您的冷却机器、投资和财务融资。您只需发布标准机柜的价格，就可以快速获得与标准机柜相同的机柜。这部分橱柜对你来说成本很低，可以很快交货。您的负载率增加、成本分担、POE和其他事情对您大有好处。这部分对你来说也非常有利可图。即使你租了一个橱柜，橱柜的租金也会很低。

基础设施，刚才提到的模型，基本上是现在的主流产品，分布式的，具有更小的粒度，更大的灵活性和更高的效率，并且具有节能和休眠的功能。从轻载到满载，基本上可以达到97%-98%的效率。效率非常高，非常高，可靠性也是一个很好的平衡。可靠性，包括运行和维护，效率，包括其变电站投资和故障响应。例如，不间断电源发生故障，整栋大楼发生故障，或者一层楼发生故障，或者许多地方发生故障，但是分布式系统只影响一小部分，但是不同的行业是不同的。包括冷机，我们也不会做出重大决定。今天，我们选择1700和1500台冷机，这是我们不推荐的，因为大的冷机启动时是500到600千瓦。我们可能更喜欢选择较小的。根据负载的需要，一个或两个从开始开始依次启动，粒度较小，效率较高，包括灵活性较好。这是一个很好的平衡。我们知道，大多数数据中心的负载率非常低，在未来两三年内不会太高。如何在早期平衡安全性和效率需要很多东西来平衡。

通过刚才提到的模型和方法，制作了相应的产品。PUE低于1.4很容易在南部地区实现。我们现在做得好的数据中心在深圳地区可以实现1.2 PUE，一年1.3个。即使我们说UPS架构，通过良好的粒度和良好的模型，实现低于1.4的PUE也不是特别困难。即使是不间断电源，即使是冷机，在南方的广深地区也能实现PUE低于1.4，在北方地区甚至能实现1.3，这可能非常低。谷歌低于1.2，谷歌在新加坡的PUE为1.18，台湾也处于类似水平。它选择了哪些冷却器，它选择的设备和开关与每个人的相似。通过最佳实践，通过模型和相应的方法，应该有可能达到完美。谷歌定制了许多设备来达到1.1和1.2级。最常见的场景，其中大多数是行业用户和强大的专业制造商。通过这些事情达到1.4以下没有什么大问题。更极端的是，进行结构优化，进行更精确的调整和控制，甚至小于1.2，或者正如刚才所说的1.0，可以感觉到整个机房，这是最理想的。

在我面前，我谈到了绿色逻辑。目前，电力、碳排放、清洁和环境保护也非常重要。我们还尝试了光伏、风能，甚至三倍电源和绿色能源。在正确的地方仍然是好的。我们还做了相应场景技术的工作。我们已经在做了，应该很快就会发布。更多的病例将会出现。1.1也可以通过相应的事物来实现，并且会有相应的数据。

基本上，我简单而快速地与每个人分享了相应的内容。今天，我很匆忙地准备了它。它也是一种相对古老的PPT和相对古老的材料。我只是分享它们。新时代即将到来。今天变化太多了。例如，今天的大规模和大规模的需求和发展，包括云时代和最新的TPU国内生产总值等。各种各样的事情都在迅速变化。他们真的赶上了风和巨大的变化。我们可以与您分享我们的工作，并欢迎您有更好的东西来讨论和交流。谢谢大家！

2020-02-29 21:22:12 国际信息公司谷歌今年将在其美国办公室和数据中心投资100亿美元。 谷歌宣布了2020年的扩张计划，计划在11个州投资100多亿美元建设办公室和数据中心，包括加州、科罗拉多州和乔治亚州。