赵:通用服务器网络功能硬件卸载研究

本篇文章2420字，读完约6分钟

赵:通用服务器网络功能硬件卸载研究 赵在会议上分享了通用服务器网络功能的硬件卸载，他说，包括四个方面，虚拟网卡硬件加速，虚拟网卡，开放虚拟网卡卸载，网卡卸载。同时，他还表示，运营商对高性能固态硬盘等新硬件技术的考虑略有滞后，这并不意味着他们不重视，而是需要综合考虑。

赵:大家好，我们会经常和一些厂商交流新产品和新技术。我们最多只能根据运营商的实际业务需求和机房环境提出尖锐的问题。例如，完整的内阁已经存在多年。这种配置在密度和节能方面确实很高。然而，电信机房并不都是甲级机房，在供电和承重方面会有问题。此外，与完整机柜相比，定制机架式服务器可以实现更灵活的硬件配置和配置组合，以满足业务需求。运营商正在推出软件定义的软件开发网络和软件开发服务，这与硬件资源的共享不同。我们将询问为什么需要共享硬件资源。服务器CPU、硬盘和内存的原始比率是经过计算和实际验证的模型。我们不一定需要共享硬件资源。相反，很难集中硬件资源，而且成本相对较高。

现在有一个1.5兆字节的固态硬盘，它的性能是无与伦比的。但是我们现在需要这样高性能的固态硬盘吗？我们当前分布式存储系统的硬件配置可以通过横向扩展来满足当前的业务需求。运营商对新硬件技术的使用会有所滞后，但这并不意味着我们不重视这一点。我们非常关注ODCC五金的发展趋势。硬件的进步比软件更容易带来产品的全面飞跃。我们在等待新产品具有最高性价比的时刻。

今天我向大家报告的是通用服务器网络功能硬件的卸载，包括四个方面:虚拟网卡硬件加速、虚拟网卡、开放虚拟网卡卸载、VNF网卡卸载。你为什么要这么做？如您所知，VXLAN网卡硬件加速和RoCE网卡在许多年前就已推出，因为随着NFV的发展，许多网络密集型应用程序将部署在运营商资源池中。在这种情况下，这两种技术是必要的，因为资源池中的CPU非常有价值。例如，我们定制服务器中的存储服务器具有有限的CPU主频，包括核心数。我们在实际测试中发现了一个问题，即在一些高负载的情况下，使用非易失性内存的固态硬盘的整体性能反而会下降，网络IO计算和存储软件本身的计算将争夺CPU。VXLAN网卡硬件加速，VXLAN对数据中心的重要性毋庸置疑。开放虚拟网卡卸载和VNF网卡卸载两个部分的内容相对较新。我们在早期与制造商举行了几次会议进行沟通，但我们可能还没有提出一个成熟的方案，可以在现有的资源库中广泛使用，因此我们不会谈论它。

VXLAN网卡硬件加速，最吸引人的是图的左上角，原来的17台虚拟机现在是36台虚拟机，CPU利用率下降到26%，当然，这要看应用程序是什么，普通应用程序无法达到这种效果。右图显示了网卡硬件上接收端的TCP分包片段和数据包组合。网卡必须能够在虚拟局域网中解析传输控制协议消息。如果不解析TCP，就无法支持多个队列。RSS多队列可以将网卡接收到的数据平均分配给多个具有独立中断号的硬件队列。通过将中断分配给不同的CPU进行并行处理，可以大大提高吞吐量。我们的一个服务器模型没有限制中断队列的数量，但是在实际使用中，发现一些制造商提供的网卡硬件队列的数量非常少。例如，在图片的右上角，所有数据只能由硬件队列中的一个CPU内核处理，并且该CPU的主频率是有限的，因此会立即出现问题。

VXLAN网卡硬件加速受到主要供应商的虚拟化平台的支持，如VMWare的NSX和Openstack。Mellanox、Broadcom、Cavium和英特尔的主流网卡都支持网卡。测试方法是使用iperf3工具进行测试。这是公开的测试数据，我们需要一些行业的测试结果和一些我们自己的测试结果。TSO这种硬件加速仍然对整个系统的性能有很大的影响。RoCE网卡，现在IB交换机有点贵，现在有很多网卡支持RoCE，如果我们能在网卡上打开RoCE功能，我们就能在不增加成本的情况下对数据中心的存储网络进行更大的性能提升。但是，RoCE有一个问题，普通的Socket不兼容。

我曾经是一名高级软件工程师。不看编程接口，我们在选择模型时总是有问题。我们只需要看到代码的具体实现，这让我们在做一些决定时感到更加可靠和自信。与TCP相比，RoCE的编程接口要求服务器先绑定。这个过程仍然通过内核协议站，但是数据不通过内核协议站。这个设计非常到位。

OvS硬件卸载，我不关注它，它真的很复杂，普通的网卡也可以做一部分数据平面的OvS硬件卸载，一部分是智能网卡，智能网卡可以做所有的OvS硬件卸载，为什么要做OvS硬件卸载，我们知道OvS的功能是相对固化的，自从固化以后，网卡制造商有能力在硬件层面上完全做到这一点， 一方面，另一方面，随着25G和50G的普及，虚拟机中的流量非常大，具有非常高的CPU消耗。 当插入大容量网卡时，OvS本身会消耗非常高的CPU。这是基于实际数据。如果用硬件实现，这确实是一个好方法，但也有问题。它必须与虚拟化层兼容。如果不兼容，仍然没有办法做到这一点。

VNF硬件卸载，这个词有点新，这个数字想表明NFV现在是控制级，中国电信现在主要是vIMS，我们的医院控制着VBRA，VBRA主要是控制平面与转发平面的一部分，这可以弥补传统硬件BRAS会话支持的小问题。如果NFV向未来发展，转发平面也将面向NFV，包括几个选择方案，一个是使用大容量网卡，一个是使用FPGA卡，另一个是使用可编程智能网卡。我们已经反复讨论了这些方面，但是对于哪一个是正确的还没有明确的结论。就我个人而言，我更喜欢可编程智能网卡。用C语言编写代码很容易实现可编程智能网卡，但并行调试的FPGA开发却不容易。经过与主要制造商的一轮研究，可编程智能网卡的价格并不是特别高。当然，价格与购买量有关。运营商非常重视成本。NFV现在有一个问题。信息技术供应商还没有进入，VNF仍然很少，运营商的业务是否如此复杂？我认为它没有那么复杂。运营商的业务相对标准化。

谢谢组长郭和李博士。谢谢大家。