张勇:互联网分布式核心架构

本篇文章6524字，读完约16分钟

张勇:互联网分布式核心架构 2016年6月24日，由数据中心联盟金融信息技术委员会主办、中国国际数据中心协办的2016年金融信息化成果展示暨金融信息化技术委员会一周年报告在北京国际会议中心举行。 中国国际数据中心圈7月1日报道，2016年6月24日，由联盟金融信息技术委员会主办、中国国际数据中心圈协办的“2016年金融信息化成果展”和金融信息化技术委员会一周年报告在北京国际会议中心举行。

会议持续了一天，设立了主论坛和三个子论坛，包括特别会议、数据中心特别会议和特别会议。会议特别邀请国内各大银行和精英汇聚一堂，共同探讨“互联网+”时代中国金融信息化发展的现状和未来。其中，阿里中间件云架构师张勇出席了云计算特别会议，并发表了题为“互联网分布式核心架构”的精彩演讲。

阿里中间件云架构师

以下是张勇演讲的真实记录:

张勇:我分享三个内容。第一件作品叫做《阿里的技术建筑实践》。它更多的是基于阿里，包括蚂蚁，双溪建筑在淘宝上的实践。我会告诉你阿里的技术架构建设过程，阿里在这个过程中遇到了什么问题，如何解决。第二部分介绍了阿里的分布式核心产品，这些产品具有哪些功能，以及它们可以解决哪些问题。第三是案例分享。我的重点是第一章。如果我加班，以后会被提醒的。

就阿里的技术发展而言，2008年是阿里基础设施的分水岭。在2008年之前，你可以看到整个阿里的基础设施是从2002年到2005年到2008年的发展过程。这项业务发展相对较快。从几十人到最后几百人，他们在发展过程中遇到了几个问题，不能快速发展。每个人都经常谈论商业创新。第二是业务发展会失败。三是企业的快速创新和重用能力差。最重要的是，在2008年之前，阿里的基础设施是如此单一的架构。这是大多数系统的通用架构。也就是说，我集成了我面前的整个整体架构，包括整个电子商务公司，并将其发送给应用服务。整体架构带来了四个问题。第一个问题是整个开发协作的成本将非常高。今天，我有一个已经改变的商品体系。我的整个应用系统需要再次发送，开发成本相对较高。第二个是关于重用的程度。当我成为淘宝的主力后，我也做了彩票和阿里的健康等。我发现所有的模块都需要用一个新的框架来重建。我做不到。我今天需要阿里的健康。我可以在一个月内把我的生意放到网上。第三个问题是，随着阿里整个业务的发展，数据的发展，以及整个业务的发展，数据量特别大，包括以前的并发性，我发现后端无法达到同样的扩展水平。第四个问题是中央集权的方式。今天，整个电子商务公司都有一个信用系统。如果它有问题，它可能会搞垮整个商业系统。这是遇到的问题。

阿里将如何解决它？自2008年前后，阿里进行了这样一次面向服务的转型，即基于微服务的转型。基本思想是为大系统做些小事。将所有原始系统一起拆除后，第一步是构建用户中心集群。所有用户相关操作都集中在用户中心集群中，用户相关数据由用户中心维护。之后，所有的交易模块、商品模块、商店模块等都被分离，整个电子商务领域，或者说蚂蚁所从事的，都被沉淀到一个平台中，我称之为共享平台。以上是一个瘦应用程序，它具有阿里的建筑特征。我们称之为厚平台薄应用。我在下面集成的这些共享服务大约有50个共享服务。除了我之外，我还制作了阿里的全部400个应用程序，包括淘宝、天猫、聚划算和淘宝店。这是我们阿里的厚平台瘦应用架构。自2015年底以来，阿里一直在谈论一项名为“大、中、小前台”的战略。它的基本思想是将阿里的服务存放到一个共享服务中，每个服务都是微服务，从而支持业务。第一点是将业务拆分，将每个系统分成一个小系统，然后进行快速线性扩展。第一点是拆分应用服务器，实现大系统和小规模运行的目标。

第二，面对互联网后，我们有一个非常重要的特点。我们通常拥有大规模的访问、高吞吐量，并且还能实现客户最快速的响应。在互联网领域，我们经常基于业务场景的设计进行异步业务设计。通过异步业务设计，可以将系统的耦合度提高到一个较低的水平。我的所有业务都可以通过消息传递系统异步进行。今天，我发现交易是不够的。我只需要扩大交易。我不需要注意以下两种处理能力:优先处理和整体处理，因为消息传递系统可以帮助我自然积累能力。第二步是基于消息系统使系统异步，这是第二点。完成这个亮点后，我在解决什么问题？我正在解决前端服务器的水平扩展能力。我希望我面前的操作和维护服务器可以扩展。我今天没有足够的能力。我需要再增加50台服务器来扩大容量。这是我想要实现的目标。

在解决了应用服务的水平扩展之后，数据层的水平扩展实际上是大多数应用系统遇到的瓶颈。随着用户数量的增加，数据级的瓶颈将越来越明显。阿里此时已经经历了几个过程。首先，我将分割数据。例如，我使用用户数据来维护自己的数据库，而不是共享数据库。其次，即使在我垂直分割用户中心之后。一个更大的问题是，随着业务的发展，我的整个数据会变得越来越多，所以我需要更多的后台数据库来支持这个业务的访问和并发。而且随着业务的发展，我一开始可能是四个业务的强项。随着业务的发展，我可以进行灵活的数据级扩展。事实证明这是四种力量的结合。我希望将来有一天，当数据无法支撑时，我可以贪婪地获得八个优势。阿里将如何解决它？主要基于这种分布式转换，数据库转换的目标是什么？一是解决了数据水平分割问题，达到了很高的存储访问容量限制，二是实现了完全增量数据迁移。如何在不停止数据业务的情况下实现数据级别的横向扩展？第三是通过廉价的X86服务器、SAS和固态硬盘形成分布式数据库，第四是通过在不同地方的多种活动进一步增加容量限制和解决容灾问题。

事实上，从分支到数据库转换，将有几个关键的功能点。首先，我们将通过前端分布式数据库划分数据库和表，将读写分开，使其高度可用，扩展数据库，支持所有客户端的语言，事务，定制操作和维护指令，操作和维护平台。我们将对下面管理的SQL购买能力进行操作和维护。

事实上，在分布式数据库转换之后，我们已经解决了数据的水平扩展和数据级别的水平扩展。事实上，在运行和维护服务器分离以及数据水平水平扩展之后，我基本上认为我的一个系统在理论上是一个巨大的水平扩展系统。事实上，很重要的一点是，在我今天把一个大系统变成一个小系统之后，系统之间的呼叫是基于本地呼叫的。这已经成为一个跨网络的呼叫。这种服务或微服务或分布式系统的最大困难是如何进行这种治理以确保业务的连续性和稳定性。阿里在这方面的更多实践是说，首先，我有一个完整的鹰眼跟踪，整个转移环节。今天，我下订单。用户从订单后面登录并检查商品信息。事实上，整个链路上有数百个调度服务。在此服务下订单的过程中，我如何知道订单今天失败，以及此链接的失败是由今天某项服务的问题引起的？我需要一个完整的链接跟踪来了解今天整个微服务的运行状态。这就是我们正在讨论的服务链接跟踪问题。另一点是，我可以在一段时间后，在下订单的过程中，这是整个下订单过程中最依赖的服务。该服务是故障点最高的服务，也是耗时最多的服务。我知道这个地方要么是容量不足，要么是有程序问题，所以我可以提前分析这样一个环节，我可以预先警告整个业务链中的问题，提高业务的稳定性和连续性。这两个步骤只是基于服务或微服务的两个重要方面。

对于这种服务治理，有更多的服务陆地之旅、服务分组、同一机房的优先级规则和异步调度。这些都是非常重要的服务环节。要做好微服务，微服务不能简单地通过拆除系统来解决。更重要的是，可以很好地管理和控制服务，并且可以在完整的数据表单中监控整个服务。这是一个非常重要的环节。

基本上，阿里的核心架构是介绍，这是我们所谓的厚平台和薄应用，或大，中，小型前台。我通过以下共享能力中心支持阿里的所有上述应用，包括天猫和淘宝。以下支持共享能力中心的技术平台是阿里的企业和互联网架构平台，包括EDAS、DRDS、MQ和CSB。在面对互联网之后，我需要在未来开拓更多的能力，以便建立一个生态。

事实上，这个东西更完整，也就是说，阿里，一个厚平台和薄应用架构，下面有我的PAAS平台，或者一个分布式架构技术平台，它组成了我的50个共享中心，上面有应用。事实上，从我们的阿里国王融云或阿里集团，我们为我们的客户提供什么服务？我不会提供这一层面向基础设施的管理和控制。我们提供共享中心的PAAS平台或分布式技术平台。我们可以帮助我们的客户一起为他们的领域建立共享中心，以支持其未来应用的快速发展，或应用的快速在线，或不同终端或个人电脑终端业务的支持。这是我们所能提供的。

还有一件非常重要的事情，你可能会问，我分享这种沉淀的能力的好处是什么，第一点是因为在我的整个核心能力沉淀之后，第一个好处是我未来的所有业务创新，包括我的整个数据治理，都将非常清楚。例如，交易、商品和商店的数据都保存在各自的字段中。这并不是说一个单一的数据将被存储在许多地方。这是第一点。第二，在我沉淀了我的共享能力之后，我将有新的应用程序，我可以用共享能力快速构建它们。例如，从计划到启动最初的项目只需要一个半月。互联网也强调创新。只有在我发布了这个平台之后，我才能在未来以非常低的成本犯错误。如果我发现整个商业模式或整个市场没有很好地反映，我可以改变做另一件事。整个共享平台带来的核心价值之一是，事实上，我们认为作为一个信息技术部门的核心是真正的存储共享能力，而不是你自己购买一堆系统或服务器。基于这样一个平台，我们也希望能够不断发现下面的共享平台，从而实现平台更好的发展，从而使平台能够走一条平衡的路线。

事实上，互联网也具有开放性的特点。以淘宝或天猫为例。众所周知，我们通常使用淘宝。我们可以买东西。上面有商人。中间隐藏的一环是淘宝上有第三方开发商。它基于套件开放的应用编程接口，快速构建商家的系统，从而形成一个完整的思路。归根结底，这种生态的基础是什么？我将整个电子商务领域的核心业务能力付诸实践。例如，商品、交易和商店的能力将通过能力开放平台向第三方开放，第三方将建立业务应用，从而支持真正的商品商家。整个阿里电子商务公司大约有150，000个销售点，将在此基础上建立200万个业务系统。我们相信，在未来的社会中，企业的开放能力和企业对外开放的能力也将是企业对社会的价值。最终目标是您应该开放这些功能。当你打开你的能力时，你需要做的第一件事就是沉淀这些共享的能力，这样你就可以打开一些东西。换句话说，因为在你打开你的能力之后，你将来可能会面临大量的访问。开放能力和连通性是互联网非常重要的特征。

我们将讨论互联网分布式核心架构的核心概念。首先是线性可伸缩性的应用。二是高可靠性和容错性。我们使用廉价的X86来构建我们的系统。X86系统每天损坏一台或两台物理服务器的可能性要大得多。如何确保我的业务在出现问题时不会受到影响，就是要有高可靠性和容错能力。第三点是数据库的操作能力。我希望有一种方法或工具可以让我的系统完全了解系统的运行状态。它可以支持大规模分布式服务框架。今天我打开系统后，这次通话的链接压力会很大。我如何确保性能没有问题？最后，敏捷和快速创新能力是互联网分布式架构的核心概念。最后，我们认为要构建一个分布式的互联网核心架构，第一点是基于云的应用架构。IAAS无法真正解决应用程序的灵活性或应用程序资源池的构建。您需要经历基于云的应用架构。第二点是形成一个能力中心，它将真正沉淀你的行业的这些核心能力，从而形成一个厚的平台来支持你的上述业务应用和新的业务形式。第三点是，我们现在也知道，移动终端的发展将来可能会通过无线手机终端将更多这种应用联系起来，以支持移动互连的发展。应用的可能性也是无限的，只有住在不同的地方才能保证业务的连续性。

事实上，尊重互联网核心架构的核心价值围绕着几个方面，即敏捷性、灵活性、安全性、共享性、业务连续性以及高效的运营和维护。互联网的核心价值是我如何通过高效率、灵活性、敏捷性、共享性和速度进行操作和维护。

事实上，我将很快地介绍一下阿里对互联网分布式核心架构的产品介绍，它主要侧重于功能或它的一些关键点。首先，我们刚才提到有五种沉淀产物。第一个是EDAS，主要关注几个领域，服务和应用生命周期管理。我们说，一个完整的信息技术系统除了稳定的运行环境外，还必须有一个完整的运行和维护环境，以帮助客户降低运行和维护成本，提高运行和维护效率，从而改善业务连续性，包括三维监控，包括面向互联网的运行和维护管理能力，如容量规划，这是我们整个平台能够提供的能力。首先，我们讨论服务化，其中更多地关注线性扩展，包括有效的服务治理和有效的服务监控。这是整个平台可以做到的。对于业务和应用程序，您只需要关注业务层的开发，许多事情会自动帮助您完成。

第二，我们将讨论软负载。最后，我将删除会计系统调用，行动服务注册中心将这样做。服务注册中心将推动它，最后是点对点通信。这是一个分散的架构，最终结果是服务是点对点的，而不是通过这样的总线架构。事实上，还有一种灵活的服务支持，我今天可以快速完成。例如，当我检查订单时，我发现两台机器是不够的。我只需要增加一台机器，通过注册中心，我将把相应的信息推给以前的电话，从而实现快速横向扩展和快速荣誉和错误。在这个过程中，我不需要做任何配置更改，只需要添加机器。事实上，容错是存在的。我在金亭的一台机器坏了。我会自动感觉到我已经向可用的机器打开了请求。还有一个关于整个链接跟踪的话题。这是一个完整的下单过程。我将跟踪整个传输链接，例如它传输哪些服务以及每个服务是否正常。这样，我可以快速定位问题。如果我发现我的整个订购链接有任何问题，我可以找到它。生命周期管理的应用是实现从创建、部署、启动、扩展、离线等的快速发布。还有一个面向互联网的功能，即限制和降级，包括在12月11日0: 00订购。你会发现你想要忙碌，但你实际上是在限制流量，以确保以下业务不会被扼杀。因此，我想做限制和修复，包括降级。例如，我今天失去了信用系统，但我希望消除这个系统。另一个是弹性膨胀。我只需要快速设置一些预设值，真正应用灵活性，并点击相应的机器的能力，以快速处理红色分数的场景。

第二个产品是DRDS，它是一个用于中间数据传输的中间件。它与SQL语法兼容。它可以附加更多的数据库强度，包括快速和灵活的扩展。它的特点是读写分离，灵活扩展。对于分布式系统，必须有不同维度的查询。我必须有小表广播和异步索引。还有一个完整的系统操作和维护是一个非常重要的环节，有一些针对SQL操作的工具，可以对优化您的SQL、SQL执行计划操作提出建议，从而优化SQL语言，从而提高性能。还有一种叫做MQ的产品，它可以通过消息中间件提高异步性和吞吐量。将大企业分解成小企业有更好的积累能力。事实上，当MQ累积到一定容量时，它的前端生产和后端消耗将线性下降。我们的系统必须确保交付绩效的水平。还有两种产品。一个是当我想在将来打开这个功能时，我需要一个开放的功能平台。开放功能平台是我负责、共享和管理这项服务，并让第三方进行适当的数据转换，包括内部协议转换。还有就是面向互联网，比如我们应该做实时大屏幕，通过数据捕捉，比如自己写的日志，快速收集日志，做处理，展示。我们的特点是以下任务可以通过任务调度自动生成。你不需要自己写。我可以通过这种前端调度方法快速生成这些任务。有一个图形显示，这是我们业务的实时监控。

所有这些产品更多的是我们整个阿里双十一，或者说是过去十年互联网的沉淀，包括阿里云，包括金融云，我们还为整个专有云制定出口计划。

在后一种情况下，金融领域的一些客户基本上认为银行更像在线金融，即传统的电子商务系统，如在线银行，前端电子商务系统进行了改革，以应对新业务的创新能力。我们还帮助客户构建这样一个平台，使其能够真正实现面向互联网业务转型的信息技术架构转型。

这就是我要分享的全部。谢谢你。

互联网大调整背后:有多少人开心，多少人担忧？ 最近，工业和信息化部发布了关于调整互联网骨干网之间结算政策的通知。文件指出，为了深入实施网络强国战略，建立科学合理的网络结算关系，加快网络设施的建设和完善。