刘，阿里巴巴数据中心基础设施高级专家:阿里巴巴张北数据中心设计

本篇文章6096字，读完约15分钟

刘，阿里巴巴数据中心基础设施高级专家:阿里巴巴张北数据中心设计 9月27日，在云计算发展与政策论坛和数据中心联盟的指导下，由开放数据中心委员会主办，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的“2016ODCC开放数据中心峰会”在北京隆重举行。阿里巴巴数据中心基础设施高级专家刘下午在“工业数据中心技术发展与最佳实践”子论坛上发表了题为“阿里巴巴张北数据中心设计”的演讲。 9月27日，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的2016ODCC开放数据中心峰会在发展与政策论坛和联盟的指导下，由开放数据中心委员会主办，在北京隆重举行。阿里巴巴数据中心基础设施高级专家刘下午在行业数据中心技术开发和最佳实践子论坛上发表了题为《阿里巴巴张北数据中心设计》的演讲。以下是演讲的全文:

阿里巴巴数据中心基础设施高级专家刘

各位下午好。我是阿里巴巴的刘。今天演讲的主题是千岛湖数据中心。千岛湖数据中心实际上是去年开放的，然后整个数据中心实际上谈论了很多次。张北数据中心今天表示，这应该是最热的时候。开幕式于9月12日刚刚开始。在张北，北京、河北省和阿里巴巴共同组织了开幕式。今天，我将与大家分享张北数据中心的设计。首先，请观看视频。

让我给你介绍一下。首先，让我简单介绍一下张北数据中心实际上位于阿里。我的介绍主要分为四个部分。第一部分是选址。阿里做了整个决定。他为什么要选择张北？第二部分是公园和建筑的设计。中国的大多数数据中心可能是单桩建筑，但公园里的数据中心并不多，尤其是像互联网这样的大型公园。我可以告诉你我们从做这件事中学到的一些经验和教训。第三个模块是供电系统的设计，第四个模块是制冷系统的设计。首先是选址。我们当初为什么选择张北？这里有一张照片，显示了张北和北京之间的距离。张北离北京大约225公里。那你为什么选择这个地方？为什么是张北，不是内蒙古，或者是鄂尔多斯，呼伦贝尔等等。我已经粗略地总结了一下。实际上，我们认为有六个因素。商业需求、政府导向、人力资源，还有自然环境、运营商资源和电力资源。当然，从互联网的角度来看，我认为这六个要素是最完整的。

目前，中国许多地方更加注重自然环境，一些电力资源等。、或操作员资源。事实上，我认为最重要的应该是业务需求。对于数据中心来说，最重要的是你需要它，那么你就有存在的价值。刚才我看见张北离北京225公里。阿里把它定位在这里，作为我们北部地区，特别是渤海经济区的全部服务。这一边占中国国内生产总值的20%，北京也是我们的政治和文化中心。这意味着我们的大部分在线业务需求可以在张北的登陆数据中心得到满足。当然，离线肯定没问题。在有了商业需求之后，我认为下一个重点是政府的方向。如果你选择张北，政府的方向也很关键。

张北不仅说是张北县，还是河北省张家口市。事实上，这个方向也包括当时的北京市，因为北京市正在制造溢出产业。它被调整到河北省。当时河北省计划在张家口市张北县。张北县实际上有很多资源，包括它的电力资源。这正是因为北京市和河北省之间的合作，所以我们，数据中心，可以实现两国政府之间的协调，包括最终用户，北京用户可以直接在这里登陆。事实上，包括我们的数据中心在内，最终运营商的干预没有经过河北，而是从北京得到的。

还有一个非常重要的人力资源。刚才我还在和包括百度在内的运营和维护部门的同事谈论人力资源。我们做了很多数据中心，包括，例如，一些在鄂尔多斯，甚至在宁夏，更偏远的地方，和新疆。事实上，人力资源非常重要。我们现在发现，在一些偏远的地方，我们有一些数据中心。事实上，人力资源非常稀缺，尤其是对于数据中心这样的高端人力资源。它相当于普通工程师。在当地培训他们还是有可能的，但对于高端服务工程师来说，他们实际上非常稀缺。当然，不仅仅是数据中心。每个人都可能认为只有几十名工程师的数据中心就可以了。然而，事实上，数据中心需要保持其高可靠性和高效率，包括大型基础设施设备、应用程序等。这样，整个服务必须跟上我们。例如，我们今天早上看到的硬盘、服务器和网络设备，以及我们使用的制冷和供电设备，实际上都需要由制造商安装。它需要丰富的人力资源，而不是人力资源。事实上，对于一个相对成功的数据中心来说，这是非常困难的。

此外还有电力资源、自然环境和运营商资源，这些都是常见且常见的。就张北而言，刚才视频中提到的自然环境是我们的空气质量很好，年平均气温不到3度，另外就是电力资源。张北风能和太阳能资源丰富，但该地区有大量的风能和光能被废弃。风力发电和轻型发电不能接入互联网，并且受到包括能源部在内的电网的限制。因此，我们进入该地区，希望吸收该地区废弃的一些清洁能源。正如刚才运营商资源所提到的，我们正在拉动北京，但是对于一般的地方，包括一些正在建设的大型公园，运营商资源实际上非常紧张，因为对于互联网来说，传输的带宽要求非常高，并且运营商资源通常需要连接到国内的几个主要节点，包括那些正在建设中的节点。据我所知，像贵州这样的实时传输资源还没有完全解决。

在完成选址之后，我将谈谈张北公园的建筑和设计。第一个是公园。阿里在张北一期有两个公园，都是200亩。如图所示，一个是我们的第一公园，叫做庙滩数据中心，第二个叫做综合公园。这两个公园看起来不同，但实际上功能布局是一样的。事实上，在阿里之前，数据中心是建在一堆东西上的。我们没有建造公园。当我们把这张白纸带给我时，我真的不知所措。后来我们分析了一下，包括一般的工业和民用园区，包括人流和物流，但是对于数据中心来说，实际上有一些关键点，比如能量流、信息流，然后是冷源流，空气流等等。后来，我们还提到了一些大型外国公园，比如苹果和谷歌制造的一些公园。我们还逐一列出了这些元素，包括市政用品。事实上，我们得出的结论是，两边都是我们数据中心的建筑，中间是公园，一边是辅助建筑，当然最外侧是发电机组。所以事实上，这两个公园似乎有一点点不同，但实际上它们在功能布局上都属于这个原则。

我们继续下降。阿里目前正在建造的建筑和公园建筑的设计都是钢结构。起初，我们使用钢结构。事实上，我们最初的想法非常简单，因为我们希望在一年内建立数据中心。我们的决定是在2016年2月做出的。如果我们要建造这个地方，我们将在2017年4月提供安装服务器的条件。那时，它实际上是一片荒地，什么也没有留下。我们开始施工。当时，张北仍与其他地方不同。我们过去在南方做，但是有很大的不同。十月之后基本上是冬天，很难做室外工作。那时，我们不得不使用钢结构。后来，我们发现冬天比我们想象的要困难得多。冬天来了，许多建筑材料甚至一个小螺丝钉都买不到。我们用钢结构的形式建造了这两座建筑。就周期而言，双方在5月和6月开始施工，并在8月和9月基本完成，除室内装修外，所有建筑结构均已完成，时间相对较长。

整个建筑的第一层被认为是两边相同的。第一层是机电一体化的，第二层是数据中心，第二层没有柱子，是一个大隔间。我完全可以把二楼的5000平方米变成一个没有柱子的大海湾。当时，我们是这样考虑的。这实际上有利于数据中心的布局和布线，包括我们的分区。起初，人们认为钢结构是为施工期制造的，但最终，成本低于普通钢结构。完成后，我依次计算。事实上，在我国目前的成本中，如果采用钢结构制作，成本比混凝土低，周期短，投资成本也低。去年整个钢铁产品的价格下降了，所以我们的利润仍然不小。

现在场景是相似的，这是我们最初设计的效果图。在建筑之后，是平面布局。平面布局是整个一楼，全部是机电的，数据中心模块在二楼。模块布局如上图所示。每个模块大小完全相同。当然，我们中的一个制作了八个模块，另一个制作了四个模块。我们都使用水灭火，这与国外的做法相似。这样，我们实际上对消防房间的数量没有限制。

上部和下部采用一对一的对应关系，我们的每个模块可以单独构建，每个小模块可以单独构建。从它的电力到制冷再到机架，它是完全独立的，没有关系，所以我们可以分析每一个单元。以下是电源系统的设计。供电系统是为10KV配电设计的。我们采用了张北最传统的方法。也就是说，我们对双回路的定义要么来自不同的变电站，要么可以是一个高等级的变电站。在一些地方，110千伏本身的半径是几十公里。当你把它引入室外时，它必须至少有两个变压器。我们认为我们的后端有可变电源，整个电路必须是一个独立的双电路供电。至于发电机，我们的发电机实际上相当充足。正如你在这里看到的，我们在阿里公园有八个主发电机，但是我们的发电机基本上接近连续供电。

我们考虑的主要是尽可能充分利用商用电源的容量，因为在数据中心，商用电源的利用率一般比较低。事实上，很多都满了之后，商业用电一般是40%到50%。我指的是上面的单向，不是双向，双向可能是20%到30%，所以阿里认为我们应该尽力提高时间的利用率，而且我们有一定的系数在里面。因为我们认为备用电源的容量会更大、更可靠。就整个数据中心而言，从结构上来说，我们在时间上使用单个总线段，发电机通过两条总线投入运行。对于低压，这意味着低压也是一个并联的单母线段和两个变压器。我们使用(听不见)DC、240伏DC和大量电力。阿里的概念是这样的，也就是说，我们的概念是240伏DC，以确保可靠的电源，所以240伏DC。也就是说，两台变压器将出现在我的240伏DC上。240伏DC是电源的两个变压器将来到这个电路。如果两边都有问题，240伏DC一直有电。然后我们用另一种方法来节约能源和提高效率。也就是说，我的240伏DC不会在任何时候关机。

我们现在使用的是在我们服务器的末端，我们使用可变负载的电阻电源。我们通过强负载跟踪最大功率。我们让电源电路承担尽可能多的负载，这样整个系统的供电效率会更高。我们希望这将是99%左右。

制冷系统的电源设计实际上包括冷机，包括冷泵，电动频率机，然后是末端机，以及我们的一些自控，如DBC，电动阀门执行机构，所有这些都是双回路阿里的设计，以避免单点故障。在任何疑似故障的情况下，因为制冷设备使用大量的n+1备件，当然，在极少数情况下，地点是2N，n+1。我们保证任何电源故障最多只会影响n+1中的一个，但不会在任何时候影响第二个，也不会影响整个系统。

因此，包括我们的逆变器，包括我们的终端空空调基础，我们都使用双电源，并且因为我们的工业密度相对较高，加热时间相对较短，对于我们的二次泵，对于我们的空空调，包括我们的终端风扇墙，我们都使用不间断电源和商用电源来相互切换，通常是在商用电源侧，当然，当电源关闭或重启时，我们都使用不间断电源来确保它并避免机房过热。

此外，我们也考虑清洁能源。张北有丰富的风能和太阳能。当然，我们正在考虑将光伏电站的电力直接连接到数据中心。这就是我们现在正在做的。我们将把光伏电站直接连接到数据中心。我们将研究一种优先使用光伏电站电力的新方法。当然，当光伏电站有更多的电力时，当电力不足时，我们会用商业电力来补充。

以下是制冷系统的设计。就制冷系统而言，我们的整体设计理念包括水冷系统和风能系统。在水系统的情况下，也就是说，我们使用了N+1冷却器，这是整个稳定系统的可靠性，也就是说，在发生事故的情况下，确保我的整个数据中心制冷的最基本条件。除此之外，事实上，大部分的冷却器都是刚刚提到的。在大多数情况下，冷却器实际上是上面的那个，因为供水流量温度非常高，因为我们的供水温度已经超过了17度。当然，末端空气供应的温度没有那么高，我们现在正在做的可能接近30度。正因为水的温度相对较高，空气体的温度相对较高，所以它对服务器的容忍度在我中间相对较低，从我的服务器的正常温度到我过热之间的温度。因此，我们考虑使用冷藏方法。如果发生事故，数据中心过去是223度。当我发生事故时，我会认为停机时间基本上会持续到30度。现在我用冷藏库。在我使用大量的风扇WPS后，我可能不会有这样的中断。我通常用30度，没有意外。像这样

下面是一个向下的交换。我们大多数人使用冷却水和冷冻水直接交换热量，而不用打开压缩机。制冷系统我们是典型的二次泵系统。冷却塔和冷却器一一对应。在寒冷的一面，每个人都做一个循环，然后发送出去。然后，该回路用N+1台二次冷冻水泵送至末端。正如你刚才看到的，阿里在张北这边也使用了新鲜空气。在这种情况下，我们实际上做了将近一年的测试。总的来说，我们的新鲜空气质量空空气质量。我们抓住了三个测试点，并把整个带到德国进行测试。最终的结果基本上是从G1到G2，可能低于美国或欧洲，但应该比我在中国遇到的地方要好。此外，张北空气的质量不仅优于张北空气，而且属于相对干燥的地方。它又干又冷，那么它的适用温度也是可以接受的。在夏天，有时温度很高，但是很干燥，所以我们考虑使用新鲜空气。它旁边的图意味着下图显示了我们的空气供应出口，上面的图显示了排气，它旁边的图是我们的风扇壁。因为我们这里不使用close 空调节，我们使用风扇壁的形式来完成整个制冷。

在这种情况下，我们所做的就是密封热通道，水平缓慢地供应空气。起初，热通道和冷通道之间的差别不是很大。在开始时，当我们制作热通道时，最重要的是考虑整个机架的运输。因为整个机器框架很重，当我们早上看到天蝎座的时候，它有几吨重，当我们再次按压它的时候，地板基本上会变松。所以我们当时考虑的是热通道，没有地板形式。在实际情况中，我认为这个条件实际上是好的。与冷通道、大数据中心或热通道密封相比，如果是相对较小的分租数据中心，我不推荐这样做，因为热通道更容易拆分，但冷通道一般不能拆分，所以大数据中心有很强的技术能力，而且这种方法很好，包括以下操作和维护等。

最后，让我们看看自动控制系统的设计。这里有两个图，一个是我们自动控制系统的系统图，另一个是我们现场操作图的截图。至于自动控制系统，我想说的是，事实上，目前这个国家的大多数数据中心做得相对较差，因为自动控制系统要么不够自动化，需要很多人参与，要么经常出现故障。事实上，最近几年我们遇到了很多失败，有些人听了之后会感到无助。

那么我认为这篇文章有两个方面。首先是说逻辑的正确性非常关键。自动控制系统的逻辑和控制逻辑必须由工程师控制。只有按照制冷工程师的思路去做，才能保证整个系统的合理性和安全性。这篇文章将直接影响逻辑的正确性。一方面，它会影响安全，另一方面，它会影响能源效率。因此，逻辑必须正确。

在逻辑正确的前提下，二是自动控制系统的配置。在我左边的图片中，它的配置都是直接转矩控制。自动控制系统的容灾能力必须采用热备方法。对于一些可以容忍2+1的部分，我采用了1对1的方法，然后我们也避免了中间的连接。目前，手拉手法在我国被广泛使用，因为如果这种方法出现任何问题，整个故障都会发生，而我们也是放射性连接法。阿里已经使用这种结构好几年了。事实上，我们已经在这个结构中总结了丰富的经验。这可以为整个制冷系统的稳定性带来一个非常大的平台。我的介绍到此结束，谢谢大家。