中国移动古戎:SDN网络在大型数据中心的实践

本篇文章6190字，读完约15分钟

中国移动古戎:SDN网络在大型数据中心的实践 会上，中国移动研究院网络技术研究所项目经理古戎出席了国际数据中心服务大会，并在当天的数据中心设施和运营子论坛上发表了题为“大规模数据中心SDN网络实践”的主旨演讲。 中国国际数据中心圈12月28日报道，第11届中国国际数据中心行业年会(IDCC2016)于12月20日至22日在北京国家会议中心隆重举行。在中国信息与通信研究院、发展与政策论坛和联盟的指导下，本次会议由中国国际数据中心行业年会组委会主办，中国国际数据中心圈主办，得到了众多媒体的大力支持。

作为中国云计算和数据中心领域最大、最具影响力的标志性事件，IDC中国行业年会已经成功举办了10次。本次会议的规格和规模都是“上一层楼”，吸引了全部现场人员，其影响力涵盖了数据中心、互联网、云计算等所有领域。

会上，中国移动研究院网络技术研究所项目经理古戎出席了国际数据中心服务大会，并在当天的数据中心设施和运营子论坛上发表了题为“大规模数据中心SDN网络实践”的主旨演讲。

古戎，中国移动通信股份有限公司研究院网络技术研究所项目经理

以下是这次演讲的文字记录:

我的题目是“SDN网络在大规模数据中心的实践”。我是移动研究所的古戎，主要负责中国移动SDN数据中心主网络的规划和设计。

我在这里的介绍主要包括三个方面。首先，谈谈中国移动对未来网络的规划，即我们提出的NovoNet的概念。至于NovoNet，它应该使用SDN和NFV技术，这是中国移动未来网络的新框架和新的运营模式。同时，它还将提供新的服务。

第二部分，关于技术，NovoNet网络有很多场景，其中一个是在数据中心使用的。基于SDN技术中心，我们将其命名为NovoDC，它应用了一些开源产品，我们结合一些开源项目和一些自主开发的产品进行了定制化的研发。

第三部分是关于未来数据中心网络的发展和思考。我们认为我们能做什么和我们能做什么包括两个方面。第一个方面是关于工业的贡献。正如我们刚才提到的，行业中有许多标准化组织和行业组织，包括SDN/NFV联盟、ODCC开放数据中心组织、标准化协会和国际组织。他们都在做相应的工作。此外，还有另一个行业贡献。这应该是整个行业的事情，不仅包括我们的运营商，还包括一些常见的交换机行业和网卡行业。

第一部分，NovoNet的网络。在我们提到NovoNet网络架构之前，仍然有两种技术。一个是SDN和NFV。让我介绍这两种技术。SDN技术最初被认为是对IP网络基础设施的创新。首先，它应该被认为是谷歌成熟的商业案例。谷歌利用SDN技术实现流量优化。另一部分是NFV科技，这是一个编辑积极学习的行业。它是一种将一些成熟的电信网元虚拟化，用一些虚拟机实现电信网元的技术。在这两种技术的融合下，我们认为整个网络，例如数据中心的网络，在网元之间有连接。我们认为NFV实现了网络元素的功能。网元和网元之间的连接就是SDN的工作。通过两者的结合，我们认为未来的网络将会形成，这就是我们所说的NovoNet网络。

去年，中国移动发布了新网络2020的愿景。同时，去年写了《通信4.0》，提到中国移动的网络品牌将汇聚未来行业的力量。核心理念是新结构、新运营、新服务。在特定场景中，SDN和NFV技术被应用于移动网络、传输网络和数据中心网络。

关于中国移动的NovoNet网络架构，其在数据中心(即NovoDC)这样的场景中的布局可以从时间线看出。从一开始，我们就知道SDN技术，因为谷歌使用SDN技术来提高广域网连接的利用率。2012年，中国移动开展了SDN技术研究。2013年，中国移动在NFV标准化组织中成立了运营商级SDN工作组。我们相应地推进了标准化行业，包括SDN数据中心的体系结构和传输网络中使用的数据中心的体系结构。

我们知道，如果要测试一项新技术的成熟度，唯一的方法就是通过测试。我们的测试始于2013年，也是多供应商虚拟化在中国的首次测试。当时，SDN技术是一项相对先进的技术，所以我们当时在业界测试了20多项，测试范围包括虚拟化覆盖网络和虚拟化性能测试。在测试的基础上，我们看到这种技术在未来可能会成熟，所以我们在2014年基于这种技术进行了自己的自主研究投资。当时，机会是许多开源组织的出现。结合开源组织，我们也投入了一些人员进行开源的研发，并相应的制作了一些自主研发的产品，包括三个方面:一方面，数据中心应用层APP的开发；第二个方面是基于AERO代码的数据中心网络创建控制器的开发。在第三部分，我们制作了相应的自主开发和定制的交换机。

2014年，更多的产品投入了自我研究。2015年，“NovoNet”白皮书于2015年推出。我们在国内首次进行了SDN系统方案的招标测试。SDN技术被引入中国移动10086公共云。基于SDN的三种场景分析了技术方案。到2016年，在2014年自主开发产品的基础上，结合2015年商业试点的现状，我们认为目前SDN数据中心存在一些问题。更大的问题是，SDN数据中心并不像人们想象的那样，它结合了SDN技术，但它并没有变得更加开放。在转发设备的整体架构中，有更多的方式来操作绑定。因此，在2016年，我们在如何开启制造商A的控制器和制造商A的转换设备的过程中投入了更多的精力。我们提出了端到端去耦解决方案。这个解决方案依赖于两点，因为我们有自己开发的控制器。我们对控制器的核心技术以及控制器技术下的接口有更多的了解。我们将这些接口放入一个标准化的组织中，并努力使其标准化。

南向接口的开放仍然是一个漫长的过程。我们感到一些压力。我们认为这个数据中心将来应该更加开放，更加兼容。我们认为这项工作应该更有意义，我们认为它将会成功。因此，2016年后，我们将继续在控制器和转发设备的标准化和对接方面做更多的工作和测试。

从2012年开始的研究到2015年成熟的业务，再到2016年构建这样一个数据中心的适度变革，我们总结了几个方面。一是技术研究；其次，基于技术研究，需要一些测试和演示。第三，结合目前的情况，我们使用开源产品来关注它，并通过研究添加一些资源来生产产品。在这些产品的基础上，我们将相应地标准化我们自己产品的输出和未来的接口。如果一个东西要成熟并落地，这项技术的成熟必须由试点商业公司来验证。因此，我们在试点商业公司做了一些利用自身资源的尝试。最后，在商业流程开发之后，我们一定会收到反馈，也就是说，我们当前的技术有什么问题，自主开发的产品有什么问题，我们的发布界面有什么问题，我们会进一步改进反馈。

基于SDN技术的数据中心，这部电影已经放映了很多次。经典的四层架构也被业界公认为四层架构。自上而下是应用层，我们通常称之为APP层，它更面向用户。从应用层往下是云操作系统层，它有许多操作系统，如Openstack。从云操作系统来看，我们认为它是控制层，包括两种类型。一种是网络的控制层，也就是控制器，我们把它放入自我研究设备中。我们的另一种任务是增值业务网元的控制器，即VNFM。控制层管理一些转发设备，这些设备统称为转发层设备。这些转发设备包括硬件交换机、软件交换机、SDN网关、一些增值业务网元设备以及其他安全设备。

基于四层架构，我们希望在智能应用平台上提供虚拟VPC服务和服务链功能，无论是客户还是我们自己的内部服务系统。我们认为，VPC的业务是多租户业务。租户可以看到自己的独立网络。应用程序网络列出了两个相互隔离的租户。根据抽象模型，他们有自己的路由器、交换机、虚拟机和网络策略。同时，这个网络也是一个可扩展的网络。我们可以创建多个租户。租户和租户可以根据更多的需求通过更多的。诺富达符合VPC/商业链的要求。

我们在2015年提出的三种情景分析也是基于我们自己的需求。目前，有三种情况。第一个场景是虚拟化场景。我们提供的服务是一些虚拟机。它们都安装在虚拟化平台上。建议在此网络上使用虚拟交换机作为SDN转发设备。这个方案是最成熟的。一方面，它使用虚拟化为软件带来灵活性。VSW没有交换机性能的问题。缺点是虚拟交换机降低了服务器的性能，因此虚拟交换机的丢失将消耗CPU。

另一方面，它有一个虚拟化的平台。有许多虚拟化平台，例如，有商业平台。在这样的环境下，我们测试发现虚拟交换机在KVM开源平台下具有最好的性能。如果采用商业虚拟化平台，需要采用一些特定的方法，这会影响转发性能。这是第一个场景，也就是虚拟机的场景。

第二个场景是裸机服务器场景。更多的应用程序可能不接受虚拟机的形式，而是希望将应用程序放在物理服务器上。因此，建议采用裸机服务器方案。它没有虚拟交换机。我们使用SDN硬件交换机和硬点交换机作为SDN转发设备。

我们去年开始研究和测试，今年开始商业规模。这种形式可以满足裸机服务器的访问。然而，它对硬件交换提出了相应的要求。如果我希望控制器管交换机有多种协议，它将相应地占用硬件交换机的资源，并且实现阈值相对较高。

在第三个场景中，第一个场景和第二个场景简单地结合在一起。如果有虚拟化服务器，也有裸机服务器。

让我具体介绍一下2016年的研究内容。2016年，我们主要关注大规模数据中心的网络化研究。刚才，几位专家提到数据量正在增加。随着大数据服务的兴起，更多的业务系统要求我们支持数万兆的服务器。他们需要虚拟化和裸机服务器的混合场景，并且在安全域和安全域之间有增值服务网络元素。我们建议两种。首先是单一网络。我们认为虚拟帧的范围是一个结构。因为它是一套控制机制，Openstack，所以它的控制入口比较清晰，管理也比较简单。然而，也存在一些问题。毕竟，Openstack具有有限的管理能力和控制器管理能力，这限制了网络服务器的规模。计算节点通常首先受到Openstack和控制器能力的限制。第二，物理拓扑限制，如一个端口有10，000台服务器，机房中有许多光纤互连，这也有一定的问题。

我们引入了多织物结构。我们希望能够大规模复制这种结构。相对而言，每种面料都有一定的比例。现在我们最初计划3000到5000台，网络结构也是两个层次。结构有一个独立的控制器Openstack。每个结构都有一个控制器和Openstack，这解决了控制器和操作系统之间的瓶颈。我们将扩展Openstack控制器。此时，在结构和结构之间的互连，我们将首先有一个物理设备底层互连。在多个开放堆栈之间，上层需要一个云管理平台来链接这些资源。在这种情况下，我们需要云管理平台的长期协作能力，并且结构和结构之间的网络相对复杂。我们计划从明年开始实际部署一个10，000兆服务器的资源库。

我刚才说的是关于技术的，也就是关于技术的研究。技术研究的演示仍需通过测试演示。我列出了自2013年以来我们所做的一些测试工作。结合测试工作，我们最终列出了一个SDN系统测试的测试目录。本测试目录包括系统测试、控制器测试、转发设备测试和组织网络连接测试。2013年初，完成了国内外大规模的诊断测试，发现各厂商的能力与标准之间存在很大差距，需要改进。2014年，我们测试了Openstack和NFV。从2014年开始，我们将在数据中心试行这样一个方案。2015年，完成了更正式的投标测试，并完成了虚拟化场景。这种方案是不可分离的。2016年，我们测试了混合场景。我们发现，2016年的测试相对成熟，但相同的方案并未脱钩。从2017年开始，我们计划测试完全去耦方案。稍后我会用产品介绍它。

定制功能时，我们发现在提出了很多东西之后，每个人都不能很及时地做出反应。此时，我们希望使用一些开源工具来做一些研究，掌握核心技术，并根据自己的需要进行一些定制开发。一方面，我们可以满足自己的需求，另一方面，我们也可以推动整个行业做出相应的改变。

我们对自主开发产品的投资主要是三种类型的产品。第一类是应用平台。第二部分是控制器。还有一个硬件开关。我们与自主开发的产品合作，在控制器的北面引入了对接APP接口，在南面引入了转发设备接口。

这是应用程序界面，类似于Openstack提供的功能。还有一些虚拟机、交换机和路由器，因为Openstack的功能有限。Openstack没有业务链。我们使用APP来实现业务链的功能。其次，自主开发的控制器提出了这样一种方案。控制器的引入解决了Openstack的原始方案。我们进一步希望开放南方界面来解决供应商绑定的问题。通过设置控制器的朝南接口，我们可以与不同的商业产品接口，包括软件和硬件交换机以及网关产品。目前，实验室中已经有许多转发设备与控制器接口。我们欢迎更多的转发设备与控制器接口，最终实现接口的完全标准化。

当前控制器实现的一些功能结合了数据中心的需求，一个是自身定制的网络功能，另一个是OpenFlow的功能。

介绍控制器的研发方向。我们发现这个中小型数据中心没有问题。我们还提到，数据中心的规模将越来越大。我们将在未来逐步考虑控制器的运行和维护、控制器的可靠性以及控制器集群，使其能够更好地适应越来越大的数据中心的规模。同时，还有一项与智能网卡接口的工作。刚才提到的虚拟化设备可能会影响CPU的性能。此时，采用加速的方法将虚拟化虚拟机的流量卸载到网卡上，实现网卡的转发。

第三种产品是定制开关。在此基础上，我们主要根据自己的需要定制了可视化管理系统。因为我们有裸机服务器的需求，所以我们说我们支持定制交换机中的VXLAN，以满足裸机服务器的场景。

一方面，我们投入的更多的工作是工业联盟的标准化。我将在这里列出两个产业联盟。一个是SDN/NFV联盟，它已经输出了SDN解决方案的测试规范。2016年，联盟的测试团队还启动了SDN数据中心解决方案的测试。另一个是我们的开放数据中心，ODCC。我们主要承担实际的AOC电缆设备测试规范，现在我们也在测试组做相应的测试工作。

另一方面，在标准化方面，我们在相应的工作组中推广了一些手稿。另一部分是国际标准化组织。与SDN相关的是ONF。我们成立的运营商级工作组提升了相应运营商级网络的结构。另一方面，我们在ONF的工作是在数据中心场景中推进TPP模型。该模型是控制器和交换机之间的接口。采用OpenFlow协议。我们要求它支持TPP模型。标准化后，我们可以打开南界面。

最后一部分是操作和维护。数据中心的操作和维护尤其困难。由于传统数据中心的操作和维护相对困难，现在安装了SDN，有了一些新的SDN设备和一些新的协议。相应的操作和维护在原有的基础上应该更加困难。因此，我们在2016年做了一些工作，提出了网络运行和维护的要求，包括分层拓扑，包括触点连接、故障定位和设备性能监控。目前，对于包括监测指标和性能在内的一些监测数据，以及包括网络连通性测试标准在内的报告方法，包括国内标准组织在内，都存在着激烈的争议。明年的重点工作不仅包括端到端解耦方案，还包括SDN数据中心运营和维护的研究。

最后，我们认为SDN在数据中心的场景是相对成熟的。目前，我们的研究重点是大规模数据中心的网络化。由于采用了大规模数据中心网络，我们能否不再与单一制造商绑定，开放接口，并提出完全去耦方案？我们认为这是一个端到端的问题，需要业界的合作。我们非常欢迎与大家共同推动数据中心的开放。