周平:优化自主开发的存储产品和存储应用的实践

本篇文章2055字，读完约5分钟

周平:优化自主开发的存储产品和存储应用的实践 存储是数据中心的核心功能之一。随着人工智能、大数据、云计算、公共云等新应用的兴起，数据中心对存储设备的需求日益多样化。传统上，几个简单的指标不足以描述设备的要求。这些新应用给我们的存储设备带来了新的挑战。这里有几个例子。一个是灵活性和可定制性。

大家好，我叫周平，我来自阿里巴巴的服务器研发部门，现在我主要负责自主研发存储设备。我很高兴与您分享阿里在开发存储产品和应用程序优化方面的一些做法。

存储是数据中心的核心功能之一。随着人工智能、公共云等新应用的兴起，数据中心对存储设备的需求日益多样化。传统上，几个简单的指标不足以描述设备的要求。这些新应用给我们的存储设备带来了新的挑战。这里有几个例子。一个是灵活性和可定制性。我们应用的场景非常多样化，单个标准存储设备越来越难以满足适应不同应用场景的需求。第二，应用程序越来越多地寻求挖掘存储设备的性能潜力。对于应用，通常希望最大化设备的性能。第三是对服务的需求。我们的业务希望我们能够及时响应在线问题和新功能的需求。另一方面，这些新的应用也为存储设备提供了许多机会，尤其是为自主开发的存储设备。对于阿里的数据规模来说，一个应用场景通常有数万甚至数十万块的规模。这种应用规模使得自主开发存储产品成为可能。此外，由于我们的数据中心有自己的业务，同时可以掌握硬件，实现软硬件的联合优化。

回到传统的存储设备，它们基本上是标准的通用产品。它的一个特点是试图对所有场景或许多场景进行优化。最终的结果是，并非所有场景的性能都是最佳的。它是严格按照标准实现的，很难为某些应用定制。可定制的空范围非常小。包括像许多场景一样的功能，因为标准产品遵循一定的标准，这些功能对它来说是多余的。此外，仍然存在很大的问题。对我们来说，标准设备是黑匣子产品，其性能很难是绿色的。内部问题是什么？从技术上来说，服务中也存在一些无法控制的问题，例如客户支持响应速度慢，新功能开发周期长。

我们从2016年开始投资自我研究设备，主要是固态硬盘。我们采用了业务驱动的方法，从业务应用程序开始，分析应用程序场景并细化需求。这是一个从产品设计阶段到测试和优化后期的迭代过程。

自主开发的固态硬盘有三条主要技术路线。一种是基于设备的，它向主机提供一个标准的网络移动设备。优点是它更通用。第二种是基于主机的，它将大部分功能转移到主机端，使设备端非常轻。第一个优点是可以利用主机端的中央处理器和中央处理器资源，并且可以使用设备上相对较少的应用程序来实现更强的功能和支持更大的容量。此外，主机端的软件比设备上的软件更容易调试，开发新功能更容易，与应用程序结合也更容易。基于主机有一个限制，没有通用的标准，对于企业来说，它需要使用一个非标准的驱动程序或者一组非标准的用户应用编程接口来应用。此外，它向主机软件提供了许多细节，因此当我们更换粒子或设备时，主机软件必须进行相应的修改，这是它的一些局限性。第三条路线是开放通道，我们称之为开放接口固态硬盘。它非常接近基于主机，区别在于它定义了主机端和设备之间的一组标准通信接口。它清楚地定义了双方的责任，并定义了一个通用的标准命令接口，从而实现了更好的通用性。我换了一个设备或者换了一个粒子，而软件在主机的另一边不能移动。这种思想基本上是基于主机的，大部分工作仍然在主机端实现。我们都在关注这三条技术路线。

自主研发的固态硬盘设备位于阿里。我们自主研发的第一代固态硬盘就是现在展示的产品。它已于2016年批量推出。经过2016年11月的测试，我们自主研发的下一代固态硬盘也正在开发中。总体思路是通过直接开采原料(主要是颗粒)来解决在线响应问题，降低成本，实现软硬件的独立控制，并对业务进行定制优化。

从我们过去一年开发固态硬盘产品的实践来看，我们总结了一些经验。首先，整个产品的设计是应用驱动的，产品是根据应用场景设计的，而不是根据某个标准或某个指标。第二，从产品的规划到最终的开发和测试，整个业务流程都应该参与进来，以便从业务中获得及时的反馈，从而使产品能够在设计阶段接近业务。第三和第四点是相同的。设计和应用场景相结合，从整体上优化整个软件和硬件堆栈。第五，所有的环节都被粉饰，以实现自我控制。第六，我们应该根据业务需求独立开发操作和维护工具，而不是只使用供应商提供的或者开源的工具。因为我们已经掌握了整个软件和硬件，并且整个链在我们自己的控制之下，所以我们可以为业务应用程序做一些优化和开发一些新的功能，例如通过调整操作来降低成本，一些业务可能不需要太多的性能，并且我们可以通过降低操作来降低成本，例如优化读写路径和输入/输出优先级，不同的分区具有不同的输入/输出有线级别，以及原子写操作优化等。

最后，让我们分享一下对数据中心存储设备发展趋势的看法。似乎有三个主要趋势。一个是基于应用需求的应用驱动的产品设计。另一个是自我研究和定制。第三点是软硬件的联合优化。最终目标是实现性能、成本和服务的最佳平衡。

谢谢大家！