沈业晔:阿里巴巴数据中心供电技术的探索与实践

本篇文章6600字，读完约17分钟

沈业晔:阿里巴巴数据中心供电技术的探索与实践 本文从四个方面介绍了阿里巴巴数据中心供电技术的探索与实践。第一个方面主要介绍阿里数据中心的发展概况，以及从1999年至今的18年间整个数据的发展概况。第二部分是数据中心级电源方案的思想和工作。第三部分介绍了数据中心不间断供电的方案。第四部分介绍了数据中心的未来展望。 第12届中国国际数据中心行业年会将于12月21日至22日在国家会议中心举行，这是中国和业界最具意义和影响力的标志性事件。在昨天的主会议厅，许多领导和来宾对数据中心当前的整体市场进行了分析和评论。在今天的数据中心技术创新分论坛上，许多嘉宾将分析和解读数据中心的技术创新。让我们一起欢迎今天的数据中心技术创新分论坛。

作为中国云计算和数据中心领域最大、最具影响力的标志性事件，中国国际数据中心行业年会由阿里巴巴高级基础设施工程师沈业晔出席，并发表了题为“阿里巴巴数据中心供电技术探索与实践”的主旨演讲。

阿里巴巴高级基础设施工程师:深圳叶

以下是这次演讲的文字记录:

从以下四个方面。第一个方面主要介绍阿里数据中心的发展概况。从1999年到现在，我们已经资助了该中心18年的建立，以及我们整个数据的总体发展情况。第二部分是成果数据中心数据中心级供电方案的构思和工作。第三部分介绍了数据中心不间断供电的方案。第四部分介绍了对未来的展望。

我们的团队负责阿里巴巴数据中心的建设，并支持阿里云、淘宝、天猫、支付宝和菜鸟等业务。我们的团队在数据中心的核心支持电子商务和数字媒体，包括阿里云旅游等本地化业务部门。现在随着阿里云在全球的部署和国内的发展，对数据中心的需求越来越大，所以阿里巴巴的数据中心的容量在未来会逐渐增加。

1999年该公司成立时，它通过个人电脑支持淘宝的运营。当时是1688年，已经是B2B的国际业务。后来，随着公司业务的发展，我们需要租更多的橱柜来满足更多的用户。2011年，我们开始对三大运营商进行定制，因为我认为中间有一些业务在逐步提高我们的可靠性，所以我们需要提出一些定制要求来提高我们整体业务和基础设施的可靠性。随着改进到一定阶段，大约在2014年，我们将率先尝试与我们的战略合作伙伴一起构建数据中心。例如，2014年我们在千岛湖建造了一个数据中心，该中心是水冷的，2015年在张北联合建造。随着我们业务的发展，通过我们对数据中心的不断研究，我们觉得应该开始建立自己的数据中心。2017年，我们将在张北建立我们自己的数据中心，我们将运行从土地购买、选址、设计方案、建设到后期运营和维护的所有操作。

基于这一背景，越来越多的数据中心需要一些新技术来提高数据中心的可靠性，降低数据中心的总体拥有成本。第二部分介绍了我们的供电方案。

就可靠性而言，数据中心的电源通常需要一些国家电网的电力支持。除了电力支持，我们还将尝试一些新能源，如光伏和风能等。这两种技术大家都很熟悉，并且可能用于其他行业的数据中心。此外，我们还试图制造一些气体。在浙江，我们有一个小项目，试图用天然气为数据中心发电。展望未来，我们也可以考虑核能等。

有了风能、光伏等，我们可以通过结合一些储能来实现智能控制和逻辑，形成微网或分布式供电系统。在这方面，我们已经尝试使用锂电池来消除数据中心的高峰和低谷，例如夜间充电、早上放电、下午再次充电，以及在功耗较高的晚上再次放电。这样，技术创新、数据中心外围供电的尝试也在我们的研究范围之内，一些小的尝试正在逐步进行。

这主要是说，我们是第一个使用光伏太阳能为千岛湖数据中心的数据中心供电的方案。使用传统的光伏太阳能是因为光伏太阳能产生低压直流电，由局部离网系统提供。在千岛湖数据中心，我们将240伏高压DC系统与数据中心相结合，包括DCBC的光伏电源降压、降压和240伏DC并网，然后向数据中心供电。在张北的数据中心，我们从整个外围电网获取电力。电网中的一些电力来自太阳能和风能。这是我们首次尝试在数据中心制造太阳能。

本页主要介绍外围数据中心的电源。最早，传统的数据中心使用2N电源系统。它的可靠性是毋庸置疑的，但会有一些双向用电，但只有一种方式用于日常生活。我们在张北建的数据中心采用了N+1供电方案，图为3N+1，过渡到我们自己的张北数据中心。我们使用2N+3。为了提高这样一个系统的可靠性，我们还增加了一个测试电源来做整体供电。这样，可以降低运行成本。我刚才提到的电源是为整个园区供电的，整体外部资源占用较少。

在张北的数据中心，我们还建立了一个完整的DC数据中心。众所周知，一般数据中心使用2N不间断电源，2N不间断电源一般使用两个通道A和B来提供不间断电源。它的兼容性相对较高。在国内的互联网最佳可得技术中，使用了一个商用电源通道和一个高压DC通道。这通常是在服务器级别，但实际上是由于网络设备级别的兼容性问题。大多数人仍然使用不间断电源。在我们数据中心的建设过程中，数据中心同时拥有高压直流输电和不间断电源。整个信息技术设备的下沉和扩展会有一些障碍，因为大家都知道，有了数据中心的网络，整个数据中心有十年的时间，服务器的使用寿命是三到四年，网络架构的迭代肯定没有数据中心长。在最初的三年里，我可以使用不间断电源加市电直接供电。在接下来的三年里，我将不可避免地面对整个数据中心的信息技术量中网络设备使用的上升趋势，即网络的面积将变得越来越大。如何克服这个问题，并通过大量测试使所有网络设备与高压直流兼容？就这样，张北在任的时候，我们建了一个全直流数据中心，也就是说，网络设备和服务器都可以放在高压直流系统下。当然，这主要是对信息技术设备的描述，涉及泵，空调节等。、或不间断电源。以下是关于不间断电源，刚才提到的是整个数据的供电方案。数据中心内部有哪些创新的电源解决方案？这是不间断电源的发展轨迹。从该图可以看出，整个数据中心可以分为整个数据中心级别。范围可以缩小到房间级别，然后到机柜级别，然后分别缩小到服务器级别和主板级别。对于不同单元的备用电源，我们有不同的解决方案。柴油发电机可用于数据中心级，不间断电源等可用于房间级。柴油发电机有中压和低压两种。现在大家都认为中压柴油发电机更适合建设大型数据中心，国外一些国家，包括一些有设计理念的人，都认为低压柴油发电机更有优势，因为它可以很容易的模块化配置，而且低压柴油发电机配有不间断电源等系统。它的整体可扩展性和灵活性有更多的优点和缺点。

不间断电源和高压直流电用于房间的配电。对于一般操作和维护人员来说，不间断电源的可维护性和可操作性可能具有复杂的操作程序。高压直流在系统级具有高可靠性。然而，在一些相关的认证中，对于电器没有具体的规定，所以在中国大陆发展得很好。

此外，不间断电源的整体规律可能非常大，在一些大型系统中超过100千瓦和1000千瓦。高压直流系统的最高值为100至200千瓦，约为300千瓦。当不间断电源体积较大且有工作要做时，我们应该考虑为其选择断路器。

在机柜级别，通常使用机柜的不间断电源。机柜级别的可维护性将会更强，但是它特别依赖于智能管理，因为我已经为每个机柜分配了一组集中的系统。如何做一个可靠的管理是非常重要的。

服务器级别更接近信息技术，服务器的迭代时间非常长。如何设计我的电源系统和备用电源系统应该特别贴近信息技术。电容器可以在主板级别使用，因为现在，像中央处理器一样，包括一些特定的组件，在某个时间点运行时会有一个高功率的时刻。这时，电容器可以填充功率上升的部分。

随着服务器的发展，英特尔处理器的功耗逐渐增加。现在有一种说法，单个机柜的功能正在逐渐增加。从2010年开始，机柜的功耗将在10千瓦到25千瓦之间，到2020年，最大功耗将达到40千瓦。挑战是什么？电源和散热是数据中心最重要的两个特性。散热会采用一些新的散热方法吗？在电源供应方面会遇到哪些挑战？我在右边展示了一个图表。你可以看看这个图表。整个数据中心的生命周期超过10年，但信息技术的生命周期可能只有3到4年，4到5年左右，两代服务器可能会在这3到4年内重复出现，例如，最早的是英文版，现在是英文版。机柜的功耗已经确定。例如，我在这里举了一个8千瓦的耗电柜。如果是350瓦的服务器，它最多可以容纳22台服务器，10台服务器可以容纳800瓦的服务器，甚至只有5台服务器可以容纳GPU。会发生什么？当基础设施在建设之初完成时，大量物理空房间和垂直物理空房间将被浪费，而信息技术设备迭代速度太快，基础设施速度太慢。如何匹配？我们已经考虑了这些方面，然后尝试做一些内阁级的权力分配。

当空房间空出来时，我如何使用我的橱柜？功耗不会上升。这些空的房间如何用于不间断供电？数据中心将集中式电源方案分散到每个机柜中，并使用垂直空房间来减少占用面积。这是一个基于天蝎服务器的柜级不间断电源。它由18650节锂电池组成，模块化，然后形成一节(英文)。它位于整个机柜的中间，为整个机柜供电8千瓦，持续15分钟。其总体管理与PSU相同。这样，我的整个机柜就形成了一个数据，它既有电源和散热，又有备用电源。由于现在有一些概念叫做元素中国数据中心，当我在远端时，一个或多个机柜可以满足整个数据中心的供电、散热和不间断运行。

上面提到的是天蝎机柜架构，如果是传统的服务器架构，该怎么做？我们试图生产两种产品。我们设计了架构组，并要求供应商帮助我们制作它们。首先是高压直流不间断电源。它是最早的传统高压直流不间断电源系统。任何电源故障都不会影响整个系统的运行。如果电池出现故障，可以将其取出进行维护，从而尽可能节省机柜的物理空空间。另外，面对高压直流系统上的一些特定的信息技术设备，它与高压直流不完全兼容。我们试图制造一种交流交流不间断电源。交流不间断电源的特点是模块化，即使它很小，它的可靠性也很高，因为它是交流到DC，并且服务器的电流550瓦是高度可靠的。交流不间断电源通常更可靠，但不太可靠。在这里，我们的交流系统将使用一个集中的不间断电源和人工维护。这种方案放在机柜中，实现机柜级电源备份。这些产品今年都部署在张北创新实验室。下一次运营将看到它的整体收入和整体运营可靠性。

刚才，我们提到了我们的机柜级备用电源。让我们更进一步。这是微软的LES电源，我相信你们在各种新闻媒体渠道都知道。它将服务器电池和电源集成在一起，形成一个机柜和一个服务器级备用电源。好处是什么？我之前提到了机柜级不间断电源。一方面，IT可以改变IT快速功耗和机柜匹配空之间的浪费。第二，可以节省不间断电源基本面积的占用。此外，它还可以进一步完善，实现服务器级不间断供电。然而，这样的方案将改变整个服务器的架构，并且要求根据电源的大小来调整整个服务器，因为例如电源的功率现在可以是大约50瓦每立方英尺。添加后，其功率空将被浪费。大量家用服务器通常使用传统的机架式服务器，这种服务器不能用于特定的电源和特殊的服务器机箱。我们已经考虑分两步制作服务器级BBU。第一步是在服务器级制造单一电源，因为EWS将制造单一电源，但其可靠性将下降。鉴于这种情况，我们也认为它的单一电源架构是不可靠的，所以我们做了一些尝试。我用一个假人和一个交换台代替了一个PSU。这有什么好处？因为所有的电源都有故障率，如果这个PSU发生故障，所有的电力都可以通过它传输。这两个服务器构成了一个电池电源。根据传统服务器300瓦的当前配置，它匹配的最小电源是550瓦。服务器的电源运行负载率很低，效率达不到白天的运行效率。如果我用电池填充这个假人，将形成一个服务器级的BBU，形成一个服务器级的不间断电源，应用上述框架，两者(英语)将相互连接。这样，可以有效节省不间断电源对整个服务器的占用面积。

采用这种BBU供电方案，其工作原理分为四个部分。首先，如果商用电源工作正常，我通过服务器使用我的PSU，并通过外部电源直接向服务器供电，我自己管理自己。如果在任何PSU失败后，通过远程电源供电，然后通过(英语)传输，BBU将不会在这个时候放电。我们BBU将只在两个电源故障或外围电源断电时放电。这种服务器级电源方案会带来什么好处？在这两者之间，只有当两个电源单元全部断开并且外部电源全部切断时，它们才会放电，并且它们的可靠性仍然很高。在实际使用过程中，我们都知道服务器的功耗并不是绝对相等的，其中会有一些电流共享控制。当该服务器的功耗较高且较低时，这一侧的功耗会更高，而这一侧的功耗会更低，依此类推。

我们做了一个测试，我们用了两台服务器，一台大约625瓦，另一台105瓦。事实上，当一个负载被占用时，可以发现两者的功耗是完全不变的，等等。然而，BBU可以自行调节功耗。如果我需要有人，我会上去，如果我缺电，它会形成一个电流来传输。这是BBU-A和BBU-R。当电源突然关闭时，两个电池的电压会下降到放电。如前所述，在12号(英国)的前线将会有一股电流，它会偏向负载较重的一侧。在使用这种电池之后，它的管理也将非常重要，也就是说，我们将把它当作PSU的管理，因为一旦我们生产线上的PSU出现故障，我们将有一套操作和维护系统，并将通知制造商更换它。现在我们正在把BBU和PSU变成同一个管理系统。当电池出现故障时，还会报告工作指令，并对其正常运行进行了一些测试。如果我正常运行，因为它会有一些自损电，它会在大约五天内失去一些电，然后给它充电。我们将进行电池管理。

说到这里，您可以想象在数据中心级别，我们有不同的电源方案，如2N配电方案、新能源等。在未来，我们将从我们自己的角度思考，以及我们将在服务器主板级别和服务器功率级别之间思考什么。让我们向前看。

这个数字是说，到2015年有一种猜测认为这个数字可能有点老，但基本上有一种趋势是正确的。随着数据中心的发展，我们的IT成本、冷却成本和冷却成本是相等的，这意味着未来更多的数据中心仍将拥有高比例的冷却和电源。同时，随着服务器和中央处理器功耗的增加，单个服务器机柜的功耗可能会增加。我们是否需要进行一些调整来改变数据中心的配电方案？

新能源是一个非常令人着迷的行业，无论是数据中心行业、汽车行业，还是建筑行业的各个方面，它如何才能与数据中心形成良好的契合？每个人都想使用它，但是如何找到它的平衡点，它的收入在哪里，我们在哪里使用新能源，它的收入将是最好的。绿色数据中心是我们研究和未来发展的方向。如何实现这一点，我想在座的各位都需要和我们一起努力。

智能操作和人工智能首先提到前面。数据中心也是如此。通过人工智能可以优化PUE，通过人工智能可以优化我们数据中心的运行和维护系统，可以优化我们服务器的架、资源调度等。何时以及如何做到这一点，我们才能真正实现无人操作等等。

还有一种低功耗的电源技术。服务器的功耗越来越高。PSU的效率是否需要提高，PSU是否不需要，以及我们是否可以开发一个高电压的中央处理器不是传统的最低电压，因为电压越高，我的损失越小，以及道路是否平行，我认为这可以成为每个人未来思考的重点。我想简单提一下接下来可能要做的另一件事。

首先，改善低功率负载和低负载PSU效率。大多数服务器现在都以较低的功耗运行。实际的服务器运行效率是多少？服务器的大部分运行功耗都在这个区域，因为我们有1+1备份，一个电源加上另一个电源。在任何电源故障后，剩余的电源将用于整个服务器的工作，但是效率太低。我们做什么呢我们可以试着做这样的工作。我可以将低负载率的效率提高到更高的值，但是当我过载时，我会让电源的效率降低，为什么？因为其中一个电源经常在过载时出现故障，这种故障会持续多长时间？它非常短，维护人员可以立即进行维护。我认为制作这样一个曲线比制作一个钛值的电源更有意义。

第二，至于前面提到的GPU服务器，由于人工智能和更高的功耗，Avida的股价已经飙升，所以无论48V架构是否应该重启，我们已经开始制造48V服务器。因为像GPU这样的服务器，我和Avida谈过，他们也有这个想法。谢谢大家，这些是我的一份！谢谢你！

2020-02-29 21:22:12 国际信息谷歌今年将在美国办公室和数据中心投资100亿美元 谷歌宣布了2020年的扩张计划，计划在11个州投资100多亿美元建设办公室和数据中心，包括加州、科罗拉多州和乔治亚州。