邱欣:存储体系结构和协议的变化

本篇文章4063字，读完约10分钟

邱欣:存储体系结构和协议的变化 邱欣在谈到存储领域时表示，华为在存储系统中使用服务器存储区域网络系统，从传统架构向服务器存储区域网络演进，需要进行横向扩展以满足海量数据的存储。据估计，在2025年之前，数据将增长10倍。数据增加10倍意味着数据存储增加10倍空。

邱欣:大家好。我是华为的邱欣。我很高兴今天有这个机会和你分享。如果您能够了解存储介质多年来的不断发展所导致的存储协议和存储交换接口的变化，那么了解存储系统体系结构的未来发展以及如何在未来更好地测试存储系统将会对我们有所帮助。谈到存储市场，每个人的第一反应将是市场有多大空，我们在存储市场上花费的时间、精力、人力和物力资源是否合理、适当且经济高效。这个数字是业内公认的统计数据，可以给每个人很好的信心。到2025年，数据将增长10倍，10倍的数据增长意味着数据存储市场增长10倍。

存储市场有一个非常明显的变化。这一变化是数据来源已经从人转移到智能设备。以前，存储市场空有更多由人生成的数据，例如:我拍摄了一个视频，并将该视频存储在系统中，而传统存储系统来自人。未来数据生成的来源是更智能的机器。最简单的例子，智能驾驶和无人驾驶技术，都需要通过大量的摄像头采集数据。智能设备之间的数据高速交互。此外，这种变化还意味着数据存储速度比以前高得多。传统的保存照片的方法并不关心延迟，但是低延迟在智能交通中是非常关键的。如果速度慢，就会发生交通事故。

在存储有美好未来的前提下，存储领域有哪些创新？最简单的一点是，我们需要进行一些结构优化，以满足大量数据对存储系统的影响。第一个是横向扩展服务器存储区域网络。我们正在从传统架构向服务器存储区域网络发展。我们需要进行横向扩展来满足海量数据的存储。同时，为了将计算和存储分离开来，应该将各种类型的内存放入一个池中，供上层应用程序使用。可以灵活配置更智能的池。如何管理这个系统，我们需要一个更好、更全面的设备管理调度系统。在物理层面上，三星的同事刚刚推出了很多产品，包括新兴的存储媒体。这一部分对于存储系统的设计也至关重要，并将改变存储体系结构的设计。

我们有了新的存储介质，并制作了不同类型的池。我们如何满足特定的连接技术？我们需要高性能的结构、100克、200克以太网连接技术、高效智能的协议，以及一些高性能的物理层来支持高效的协议层，从而真正实现存储资源的池化、解耦和隔离。有了新的存储介质，我们需要一个更好的编程模型。当我们将固态硬盘视为存储时，我们的访问模式是以块模式访问。将来，当我们的单片机媒体出现时，我们需要一个新的字节地址编程模型。

让我们看看具体的存储协议，它们值得我们真正的关注和关注。在传统架构下，数据包通过多种协议从中央处理器传输到磁盘。中央处理器将通过PCIe协议将数据分配给HBA，HBA将数据传输到SAS/SATA扩展器，然后通过扩展接口传输到真实磁盘。这个协议站相对较长。当我有高速传输介质时，我还需要这么长的数据流吗？我们希望减少数据流，缩短协议站。第一步是我们是否可以简化HBA和Expender的协议站。因此，标准组织制定NVMe标准的第一步是NVMe而不是PCIe。第一步是利用PCIe的高速传输能力和NVMe的轻量级协议栈来实现低延迟。在NVMe战胜PCIe之后，每个人都想到了Ffabric，将存储和计算从PCIe的横向扩展限制中拉了出来。

有了《NVMe议定书》，在NVMe拥有如此良好的生态链之后，NVMe对存储系统有什么影响？它分为两部分，一部分是NVMe协议对传统存储体系结构的影响，另一部分是NVMe对新兴的服务器SAN的影响。服务器运行一些程序，访问存储服务器，大量的存储资源存储在存储服务器的后半部分。在传统的存储体系结构下，计算服务器和存储通过许多传统协议连接在一起。NVMe对传统建筑有什么影响？存储前端使用高速NVMe光纤连接计算服务和传统服务器，并在存储后端使用NVMe光纤。两种架构都有一个共同的缺陷，最大的缺陷是不一致。首个后端没有高速NOF的JBOD可以在前端进行优化。

这张照片显示了着陆时NVMe的几种形态。我想用NVMe来代替织物，如何改变结构，把它放在JBOD，并设计出织物界面。这是最常见和最具成本效益的方法。许多企业和公司已经购买了PCIE。只要将现有设备放入框架中，并将NVMe over织物框出，系统就可以连接。这是一个更实用的方法。还有一种更具挑战性的方式，通过光纤直接将每个物理磁盘导出NVMe，这意味着我在这种架构下没有完全的PCIE协议。虽然第一个架构很简单，但是可以很快实现。最简单的现实是让一些固态硬盘直接脱离NVMe接口，这是NVMe在系统级着陆的方向。

这对新兴的服务器存储区域网络产生了影响。有了NVMe，事情就简单多了。传统上，一个中央处理器与一个PCIE软件相连，然后与一个总线适配器和一个扩展器相连，需要连接一个长硬件电路，并且需要在每个芯片上完成协议转换。它将为存储系统带来革命性的变化，因为它有助于每个人在硬件和软件的各个方面节省资金并提高性能。

让我们谈谈NVMe标准组织的进展。技术工作组和管理接口致力于技术工作，集成电路进行兼容性测试，驱动程序基于工作组生成的技术干货进行代码实现。

NVMe版本的演变始于2010年左右。起初，这只是工作组几个成员的交流。终于，今天它成为了一个真正的产业。通过一个漫长的历史过程，每个版本都增加了新的特性来完成这样一个标准。

这就是NVMe给整个行业带来的价值。你为什么要用布料来制作NVMe？如果您想在单个PCIE层中考虑256个节点，则没有动态和灵活的配置，并且将它绑定到硬件服务器会有问题。由于这些原因，每个人都想把它做成光纤，所以它成为了光纤NVMe协议。当该标准阻止制定NVMe over fabric协议时，NVMe1.3标准不涵盖NVMe over fabric。要真正理解fabric上的NVMe做了什么，我们必须看看fabric1.0上的NVMe，这是两个独立的协议。每个人都知道，面料似乎是一个非常时尚的东西。它包含很多东西，包括光纤通道、光纤通道和光纤通道。这些可以在NVMe找到一些支持面料。要实现每个特定的协议，这取决于NVMe是如何在光纤通道和光纤通道上运行的。未来技术的新兴方向在业界非常热门。如果有一个网络没有支持DCB的swage，您将需要升级您的设备并花费更多的钱。业界对于NVMe是否可以运行TCP有发言权。美国公司要求这个方向，尤其是互联网公司正在研究横向扩展架构。主要功能虚拟化的最大价值在于可以删除虚拟机管理程序。

这是标准组织的优先事项之一。我正在和我在三星和美国许多公司的同事谈论为什么我们应该做千伏。有两种方法可以在上层保存大量非结构化数据和日志数据。一种方法是我一个接一个地写。第一种方法是使用文件系统，使用文件名作为关键字，使用食物内容作为v。调用存储的文件系统的内容来保存它意味着您使用文件系统将KV转换为块。这种性能会很差，不仅性能差，而且消耗大量的CPU份额。中央处理器意味着钱。如果您购买了X86服务器，您可以运行这个协议站，并分析这部分消耗了您的多少CPU。让我举一个不恰当的例子。这个数据不一定是真的。举例来说，如果你用这个东西，一个X86处理器要1000美元，这个部件要300美元。你可以不用这个文件系统自己写一个(用英语)。这个地方需要大量的开发工作和许多工程师来维护。你能保证从千伏到区块的转换是最有效的吗？我可以去掉内核中最复杂的块接口，节省大量代码。传统驱动器需要接收从基于LBA的表到基于PBA的转换。千伏驱动是从基于表的千伏到基于表的千伏的转换。通过最基本的结构变化，可以降低CPU的消耗，可以省钱，还可以买到更便宜的CPU。除了资金成本，许多维护成本和代码维护成本都可以降低，这是一个革命性的变化。性能会提高，延迟会降低，这是NVMe未来最大的创新。最困难的事情是NVMe的块协议是否被千伏协议所取代。在未来的存储服务器中，是否会有更好的功能，是否有可能减少服务器的数量，是否有更激进的想法，以及这种架构是否会有多种发展方式和变化。

这是一个在NVMe讨论过的话题。多路径，NVMe可以做(在英语中)意味着可能有多个(在英语中)。NVMe标准组织讨论了如何实现智能路由以及如何实现最佳性能。

人们更关心信息作战决定论。为什么要做IO决定论，但对于高速、可靠和稳定的性能，你可以达到99.9999%。有很多顾客在刷APP的时候发现了一些抖动。有时很好，有时不好。当标准被实现到产品中时，如何解决这个问题，你所考虑的是如何进行并行化。不要将固态硬盘视为物理实体。里面有许多通道。真正想要的效果是在磁盘内部制作物理隔离特性的逻辑单元，这样您就可以在上层软件中并行读写并基于这些逻辑单元进行并行操作，减少串行工作，避免时间延迟，并达到99.9999%的目标。具体的实验更复杂。将时间窗口设置为稳定的时间延迟是非常容易理解的。你可以想象，当你的汽车行驶在5000公里以内时，你的时间延迟是稳定的，你的性能与说明书中的相同。当汽车去4S商店维修和换油时，没有稳定的时间延迟。其性能指标与说明书中所述内容无关。NVMe充分借鉴了汽车维修的特点，在固态硬盘或固态硬盘板上设置了时间窗口。这个时间窗口是一个稳定的时间延迟模式。在车辆正常行驶5000公里期间，该阶段的时间延迟非常稳定，与99.9999%的要求相同。当固态硬盘需要老化和回收时，它将切换到不稳定模式。可以理解，车辆是在4S店维修的。这一阶段的表现不稳定。在并发操作中，有些物理资源处于稳定延迟，有些处于不稳定延迟。信息作战决定论就是通过这一点实现的。

我的演讲结束了，谢谢大家。

2018-07-24 10:21:00 国内信息数据中心固态硬盘惊喜理论 作为PCIe固态硬盘创新的领导者，Membalze将固态硬盘分为两种类型:数据中心和企业。