腾讯服务器组长曹迅锋:天蝎3.0机柜服务器的设计与实践

本篇文章3346字，读完约8分钟

腾讯服务器组长曹迅锋:天蝎3.0机柜服务器的设计与实践 9月27日，在开放数据中心委员会的主持下，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院和英特尔共同主办的2016ODCC开放数据中心峰会在北京隆重举行。在下午的服务器分会上，腾讯服务器组长曹旭峰发表了题为《天蝎3.0完整机柜服务器设计方案与实践》的演讲。 9月27日，在开放委员会的主持下，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院和英特尔共同主办的2016ODCC开放数据中心峰会在北京隆重举行。下午在服务器分公司，腾讯服务器组长曹旭峰发表了题为《天蝎3.0机柜服务器设计与实践》的演讲。以下是演讲的全文:

腾讯服务器组长曹迅锋

大家下午好！我叫曹迅锋，来自腾讯。这一章最初是由天蝎座3.0项目团队的负责人分享的。我碰巧在出差。我是他的同事，我将代表他分享。

刚才我看到唐将军已经非常非常深刻地理解了模块化的概念。刚才，主持人还做了一个预测。也许这是有原因的。在我们谈论天蝎座3.0的现状和未来计划之前，让我们回顾一下为什么需要天蝎座3.0。腾讯是天蝎座1.0和天蝎座2.0。这个项目是与百度和贾军共同完成的。今天，回顾过去，3.0是腾讯现在面临的最大挑战。

你为什么要这么做？总而言之，有几个原因。首先，让我们看看当前的服务器交付。即使3.0没有安全着陆，它仍然是标准的1U 2U服务器。就腾讯而言，我们有数百个业务模块。经过十多年的运作，我们已经通过了近20个包。然而，去年滕循云的规模开始呈现出快速的爆炸性增长。如果我们遵循包模型，可能会有超过500到1000个包。这个包的模型不能在交付和操作方面完成。压力非常大。

其次，云服务面向各种各样的客户。许多服务需要非常高的设备可靠性或可维护性，尽管它们是云服务甚至是一些大众服务。因此，监控和操作方法应深入到每个组件中。不仅需要监测，还需要预警。与此同时，设备交付给企业后，企业可能会频繁发生变化。因此，没有办法满足标准模型或包的盲目性，这是一个巨大的挑战。第二个挑战来自成本。从2007年到2008年，腾讯已经与我们的供应商一起将一些存储服务器转换为替代标准或专业存储。2U12、2U13解决了成本问题。然而，今天我们已经看到，使用一台主机或一个节点拖动十几台主机已经不能满足大规模冷数据存储的要求。此外，许多业务非常复杂，用户需求不断变化。如果您使用简单的包模型，或者当前的体系结构实际上无法满足，那么对该层的要求就非常高。

因此，基于这两个概念，我们觉得汇集是非常苛刻的。我们把电、热和管理合二为一。这些集中不能完全满足业务成本的降低和灵活的交付。因此，基于这些考虑，3.0是目前腾讯根本问题的真正解决方案，它集中了三大业务的最敏感需求:计算、存储和传输。刚才我说了整个大方向。

从业务方向来看，有很多类型的业务，包括邮件业务、即时消息业务和一些高性能计算业务。就整个垂直技术维度而言，这些业务的需求和迭代变化之间有什么区别？如果问题仅仅通过标准设备解决，或者不通过集中或模糊，它可能涉及到更新的成本，或者像灵活性这样的成本，这些成本实际上非常非常大。

举个简单的例子，我们最初的设备都是千兆网卡。如果有一天我们需要一个万兆网卡，我们必须更换这个设备。如果我们不插入网卡，我们能解决这个问题吗？事实上，我们还有一些控制功能。因此，从单向的技术维度来看，我们希望能够将计算、存储和传输服务感知的模块分开。1.0和2.0已剥离电源和散热。3.0是剥离计算、存储和传输三个模块。

为什么你想成为天蝎座3.0，你是如何做到天蝎座3.0的？在上一次峰会上，军队首脑已经告诉了每个人这个概念。今天我们来看一看。事实上，天蝎座3.0是为了让模块化更深入。一般来说，天蝎座3.0分为两部分。SAS交换机和PCIe交换机用于解决机柜中的数据和信号传输问题。在机柜外部、数据中心外部、机柜和机柜节点之间，第二阶段通过10G、25G或50G、100G完成。因此，通过这两层的自由组合，如果是冷数据，SAS可以用作组合大量SATA的第一阶段。如果是热数据链，也可以使用SAS，对于热数据，可以进行迁移。整体概念最初是模块化，但它比最初的1.0和2.0基础架构模块更进一步，计算和存储这个块，并传输这个块。以下是基于我们的几个概念，我们将分享英美烟草、天蝎座和ODCC的几个成员单位的现状和未来计划。首先，基于SAS交换的冷数据资源池。目前，我们可以通过SAS交换机级联17种存储结构，这可以根据应用的需要非常灵活。可以说，我们可以像以前那样连接12个磁盘、几十个磁盘甚至几百个磁盘，并且可以根据服务的要求进行一些灵活的配置。目前，腾讯在这方面有一个相对清晰的计划。它很可能在今年年底前在线部署这种设备。在实际的业务环境中，7788实验室已经完成了产品生产的准备工作，还有一些收尾和交接工作。

这种工作有什么好处？我们看到，这种方法可以将存储的单位GB成本降低30%到60%，而这是通过其他方法单独提升或更改某些关键组件无法实现的。

其次，基于SAS，SAS磁盘和SATA磁盘可以互连，通过服务层的调度，数据可以灵活、动态地放置在包括固态硬盘在内的整个SATA上。这也是目前可以实现的方案。在由军队主导的百度方面，已经有一些原型开发和应用场景。

下一个是更加灵活或高效的热数据解决方案。通过PCIe的交换，我们可以结合一些需要高带宽和延迟的组件，如JBOD和GPU，来提供一些高性能的计算和存储服务。这也是腾讯目前为供应商开发的产品。到今年年底，我们可能还会有一些概念验证计划，并试图在明年将其转化为产品。

这没什么好说的，大家都已经熟悉了，广告做得很好，我们可以把64个PCIe交易所做成64GPU的大盒子或大集群盒子，百度已经有上百个节点部署了。腾讯目前的GPU参考基本上是在标准的4U或8卡或多卡连接，这是一个非常好的方式。我们还将在天蝎座的3.0 PCIe中汇集资源，这是腾讯应用于实践的真实产品。这可能是明年。

此外，自去年年初以来，NVMe和腾讯一直在与英特尔一起推广软件标准固态硬盘产品NVMe。但是，我们仍然使用标准设备来安装四个部件，或者两个部件，或者一个部件来提供业务服务。从网络运行的角度来看，NVMe设备80%以上的性能实际上是过剩和浪费的。目前最多有四个磁盘，每四个磁盘或四个卡必须配备一套主板，而且80%以上的设备性能过剩，这将造成未来的巨大浪费。作为一家互联网公司，腾讯每年购买超过100，000台，消费或浪费的成本是惊人的。

因此，我们看到了这一点，我们能把NVMe从当前的主板上分离出来吗？许多NVMe应用程序实际上不需要非常大的中央处理器。有时当它非常大时，中央处理器就成了一个瓶颈。脱钩后，这东西变得灵活。不久前，我们还在实验室里做了一个概念验证。我们看到NVMe实际上可以用一个小的中央处理器充分发挥它的价值。我们还将与英特尔合作开展后续工作，看看NVMe的产品能否在PCIe交换的框架下制成产品，然后登陆。

最后，在下一次峰会的最前沿，我们可能会在下一次向你汇报天蝎座3.0设定标准的整个过程。很多学生在网下问我，你们三个有自己的想法，发生了什么？我想和你分享它。事实上，我们ODCC标准化的整个想法是这样的。首先，每个家庭将根据自己的需求在一个已建立的平台上验证我们需要的产品。验证成功后，我们会在小范围内使用或者在灰度范围内上线，不断解决使用过程中的一些漏洞或问题，从而起到优化作用。优化完成后，它是面向产品的，而面向产品是跟随制造商的，因为毕竟是用户，而具体的产品是否会降落或去检查室。在这里对齐后，这就是最终产品。生产过程都在ODCC境内进行，所以生产过程实际上是一个标准化的体验过程。经验丰富的标准化可以满足ODCC基于各种公司的要求或标准的要求，这些公司只是在此框架下制作一些配置内容。

到明年上半年或6月或7月，我们将真正完成优化工作，计划需要6个月。然后，将在今年下半年生产第三季度和第四季度。最后，第四季度将尝试在ODCC框架下将这些产品改进为标准，并在下一次峰会上向所有人发布。这基本上就是我所说的。