阿里巴巴刘:互联网数据中心的架构与设计

本篇文章4438字，读完约11分钟

阿里巴巴刘:互联网数据中心的架构与设计 会上，阿里巴巴集团技术支持部国际数据中心高级专家刘出席了国际数据中心服务大会，并在当天的数据中心设施与运营子论坛上发表了题为“互联网数据中心架构与设计”的主旨演讲。 中国国际数据中心圈12月28日报道，第11届中国国际数据中心行业年会(IDCC2016)于12月20日至22日在北京国家会议中心隆重举行。在中国信息与通信研究院、发展与政策论坛和联盟的指导下，本次会议由中国国际数据中心行业年会组委会主办，中国国际数据中心圈主办，得到了众多媒体的大力支持。

作为中国云计算和数据中心领域最大、最具影响力的标志性事件，IDC中国行业年会已经成功举办了10次。本次会议的规格和规模都是“上一层楼”，吸引了全部现场人员，其影响力涵盖了数据中心、互联网、云计算等所有领域。

会上，阿里巴巴集团技术支持部国际数据中心高级专家刘出席了国际数据中心服务大会，并在当天的数据中心设施与运营子论坛上发表了题为“互联网数据中心架构与设计”的主旨演讲。

阿里巴巴集团技术保障高级IDC专家刘

以下是这次演讲的文字记录:

我对互联网数据中心的了解，主要是从这些方面来看，这些年来，规模非常非常大，这是非常明显的。当我六年多前到达阿里时，我们正在建造一个数据中心，我们考虑了如何划分和使用它。现在在一年之内，即使以十倍的规模，我们也不担心这件事。其次，变化很快。互联网变化非常快。每个人都会感觉到。第三，高带宽、高功率、高成本和高可靠性。稍后我将分别讨论它们。我想谈的这一部分是我们现在面临的问题和我自己的看法。

刚才说到规模，这些年来，尤其是移动互联网兴起后，互联网变得非常流行。最大的IP应用超过8亿，如微信，这也推动了互联网数据中心的规模和数量的增加。其次，云计算的推广包括国内的阿里云和微软的AZURE。第三，互联网的28年效应是大规模的，而小型互联网公司所占的比例相对较小。从我们和国外大型互联网公司的经验来看，在非常大的情况下，一般考虑的是规模效应。只有当规模达到一定水平，成本才能相对较低。此外，还考虑了灾害的影响。目前，一般认为3至50，000个单位的单一服务更合适。这是不断变化的。也许两三年前，人们可能不这么认为。他们可能认为10，000个单位更合适。现在，一般认为30，000至50，000单位是合适的。根据目前的机器，一般是3，000到5千瓦的机架。这种规模的数据中心越来越多，比如谷歌和亚马逊。我估计他们应该有超过200万台服务器。这些我们可以命名的互联网公司经常在新闻中反映在几个到几十个中型数据中心。

在大量生产之后，它将给我们带来巨大的挑战。单点的规模非常大。如何选择？随着越来越多的土地被占用，符合条件的站点数量非常非常少，占用了大量的资源，而成本是需求的一个重要方面。然而，在我看来，当制造互联网时，国外的人们已经看到了许多绿色甚至新能源。这并不意味着互联网公司愿意花多少钱。事实上，当你回去的时候，你会发现互联网的速度是如此之快。我们已经从数百个机架发展到数千或数万个机架。这发生在短短几年内，因为用户的需求增长非常快。你的需求是无限的，并且一直在增长。在这种情况下，你将来会占用很多资源。

2012年，全球数据中心的耗电量占了1%，但现在各种数据显示，有人说是2%，有人说是3%，我相信这些都在增加。根据这一发展，尽管目前的基数是1%至2%。如果增长率非常快，电力消耗可能每隔几年就翻一番。如果我们不减少对资源的占用，将对未来的可持续发展非常不利。

现在在中国，中国政府已经开始关注能源消耗，PUE参与数据中心的审批要求必须低于1.5。在国内其他城市，自律更重要。PUE数据中心较低，或用水量较低，可作为宣传项目，但不是评估指标。我认为这是不合理的。包括我们自己。事实上，我们认为占用尽可能少的资源是非常非常重要的。

选址后，在设计、运营和设计方面，大型数据中心的建设，如张北，设计的合理性实际上非常关键，方案的选择和细化等。，任何不恰当的设计都会付出巨大的代价。正如王海峰经常说的，我们使用的新鲜空气和冷冻水系统实际上更适合张北，因为当地的水资源相对紧张。像这次行动，刚才两位也提到，以后规模很大，靠人是不够的，资源丰富的地方也不能招人。像自动化、大数据、人工智能等等，这就是我们现在正在研究的，因为如果你在规模很大之后不去做，那就已经不可能实现了。

关于变化，外面的人可能不知道互联网变化的速度有多快。在这个时代，互联网更新、商业更新和他们自己的更新都非常快。我们的产品甚至公司突然爆炸是很正常的。从一项业务被提出到我们需要它的时候，我们通常不可能在一两个月内把每件事都做好。我们不能以传统方式回应。

从数据中心思想的两个方面来看，首先是将数据中心分为三个时期:成长期、中期和短期。就建筑和商业电力等资源而言，长期和中期可能是早期建设。在中期周期，我们将根据需求每年建造一次，约占投资的30%，最终我们将根据需求建造。

关于终端服务器的加速，张还谈到了整机机架。对于秤的应用，整个机架是一件非常好的事情。AWS声称平均每天提供3000台服务器。如果平均值为3，000，则应急响应应该在1，000到15，000之间。我认为整机机架是一个比较大的发展方向。具体的形式，无论是中国制造的天蝎座还是其他的，可以在后面看到。

高可靠性要求。刚才张提到他们正在建设一个高度可靠的数据中心。对我们来说，互联网并没有那么苛刻。对许多人来说，互联网并没有那么苛刻。特别是以前我们和运营商合作的时候，很多运营商的同事告诉我，你的要求和我们的通信网络要求相差甚远。我们的核心网络怎么样？对你的要求给你一个N+1是完全不合理的。

事实上，目前互联网并不要求低于一个省、地、市的通信网络，一个小事故造成的影响很大，如支付宝527、AWS雷击、微信断线等。事实上，影响非常非常大。从技术角度来看，主要有三个要求:供电、制冷和网络，包括张的安全。在供电方面，我举两个例子。一是我们是分散的，减少了失败的次数。服务器或基站堆栈有少量故障，这不仅有助于减少故障数量，还能让我们按需交付。另一个是发电机。我认为发电机需要配置，对发电机的要求会越来越高，这样才能真正保证可靠性。外部资源是无法控制的，肯定需要发电机。

制冷有两个例子。一个是不间断制冷，这是冷藏技术。此外，对于云控制系统，人们过去更关注基础设施建设而不是控制。事实上，控制冗余，尤其是冷藏控制，包括不间断冷却控制器的冗余，非常高，这在我们的设计中得到充分考虑空。另一个是网络，包括内部和外部部分。内部部分基本上为接入侧执行单个上行链路和多个上行链路，而外部部分是多条路由的形式。目前，中国的许多大型数据中心也在这样做。对于许多数据中心，数据中心不直接出口，而是直接进行高速互联。建立两个外部连接，一个总输出为彼此备用，多个点相互连接。

关于服务器功率，IDC的功率密度一直是有限的。国际数据中心已经使用多年。IDC有一个相对较长的寿命限制，应该考虑多代硬件设备的兼容性。人们常常有一种误解，认为从用户的角度来看，高功率密度的硬件比低密度的硬件省钱省电。

在中国这很难。我见过很多数据中心，大规模的建设是16A和20A。更多的考虑可能是在建设期间利润率更高，或者可能是针对中小型用户。从用户和大规模互联网的角度来看，性价比一定很低。我们现在选择高功率密度的机器一定更划算。

中国大型互联网数据中心的功率一般在5到10千瓦之间。根据我的判断，未来将是10到15KW。在国外，它基本上是10到20KW，但比15低得多，而且主要是用空风冷。对于高功率密度，国内互联网如冷板、浸没液体冷却等都在尝试，但没有产业化和标准化。每个家庭都做自己的事，并希望成为唯一的一个。下一代中央处理器、图形处理器等。空空气冷却不再具有成本效益。我认为液冷肯定是合适的，但工业化和标准实际上是瓶颈。12V主板电压也限制了高功率。挑战在于产业链和标准，而不是他的产品质量差。

对于高速带宽需求，互联网应该拥有最多的应用流量。现在基本上是云计算和大数据，对流量的需求非常高。数据中心内的流量，尤其是云计算，需要虚拟化和动态迁移，这非常大。在短时间内，100兆、10千兆、10千兆和25千兆等应用程序都已启动，但流量仍在继续增加。接下来会发生什么？我认为东西向的流量肯定会更大，而且在南北向有一个瓶颈。即使在淘宝网的第11位，我估计也是1000克左右

网络架构的发展非常快。关键是互联材料，如模块材料，这将有很高的限制成本，并对我们构成巨大挑战。互联网、云计算和运营商对高带宽的需求已经出现瓶颈。外国互联网巨头已经开始建造自己的传输和光缆，这很可能成为未来的趋势。他们已经建造了海底光缆，比如谷歌和亚马逊之间的互联，包括澳大利亚、欧洲和亚洲。

高成本。王海峰总是非常专业，我不一定是对的。从狭义上讲，数据中心的建设成本通常为24，000英镑/千瓦。从广义上讲，数据中心的生命周期成本超过10倍。降低消耗最有效的方法是提高利用率，这通常是云计算。云计算原本是一种应用改进，利用率更高。数据中心本身有许多服务器，而每台单独运营的服务器的利用率非常低。我们希望通过虚拟化实现统一调度。像大型互联网公司一样，它包括离线和在线混合，服务器负载率和机柜负载率增加。橱柜利用率低通常是不经济的。如果我租一个橱柜，出租人通常希望我用得越少越好。例如，提高硬件性能、降低PUE、优化技术和减少冗余也是重要的方法。我想在这里强调的是，我们不应该只把PUE作为一个指标。通过提高温度或减少数据中心冗余，降低PUE肯定弊大于利。例如，具有某些优势地位的数据中心供应商经常使用这种方法来减少数据中心的冗余，这通常会增加成本。互联网通常不提倡这种浪费。

关于设计考虑，我想谈谈DCAC的概念。有人说数据中心和服务器一样，包括电源、散热、计算和存储。从广义的数据中心来看，情况确实如此。这一过程也在演变。在早期，大型计算机可能是计算和存储，加上网络连接、外部电源和冷却，现在每个组件中都有计算和存储。随着缓慢的发展，我认为数据中心很有可能成为计算和存储中心。总的来说，一方面，我们可以借鉴计算机的设计思想来设计数据中心；另一方面，数据中心的设计经验和想法应该转移到服务器上。在互联网中，数据中心和服务器是紧密相连的。如果数据中心的设计值被挖掘，它必须从数据中心和服务器开始。目前，很难挖掘数据中心或计算机的成熟设计的价值。数据中心的未来设计必须是一个相互联合进化的过程，以及风、火、水、电、服务器和网络的设计。

数据中心实际上是互联网。日新月异的互联网以密集的技术冲击着信息技术产业和传统的机电产业。我们做的许多事情不一定是对的。我们不断地摸索和作出许多决定，这可能不是每个人都能理解的，但我们仍然会在我们不断的斗争中找到平衡点。仍然有一个梦想跟随阿里的话。