罗:分布式架构在金融业的探索与实践

本篇文章5170字，读完约13分钟

罗:分布式架构在金融业的探索与实践 2016年6月24日，由数据中心联盟金融信息技术委员会主办、中国国际数据中心协办的2016年金融信息化成果展示暨金融信息化技术委员会一周年报告在北京国际会议中心举行。 中国国际数据中心圈7月1日报道，2016年6月24日，由联盟金融信息技术委员会主办、中国国际数据中心圈协办的“2016年金融信息化成果展”和金融信息化技术委员会一周年报告在北京国际会议中心举行。

会议持续了一天，设立了主论坛和三个子论坛，包括特别会议、数据中心特别会议和特别会议。会议特别邀请国内各大银行和精英汇聚一堂，共同探讨“互联网+”时代中国金融信息化发展的现状和未来。其中，中兴通讯总建筑师罗出席了云计算专题会议，并发表了题为《分布式架构再融资产业的探索与实践》的精彩演讲。

中兴通讯总建筑师罗

以下是罗讲话的真实记录:

罗:建行刘董事在开始时介绍了传统的金融体系发展模式。这是一个螺旋式的过程，从中央集权到地方分权，但每一步都是一个持续上升的趋势。金融业可以看到几个系统、客户服务渠道、服务产品，包括支付、结算、财务管理等。，以及用户、帐户、交易系统，最后为最终的数据挖掘服务。每个组件都由一个独立的垂直或烟囱组织结构管理。由于其业务不是一次性开发的，而是根据不同的阶段和需求开发的，因此由于传统的构建方法，底层数据从前端通道流向后端数据服务。这些都是根据轴状结构构造的。相当于一般核心系统的压力来自数据服务、数据库和核心数据。

随着一些问题的发展，传统的方式随着信息技术的发展，数据量越来越大，主要表现在两个方面，一方面是数据量本身的增加，比如传统的GP级，现在到了TB级。二是吞吐量大，数据量大，按照原来的传统方式处理，对数据的要求比较高，对IOPS的要求也比较高。事实证明，我们的升级方法也有问题。传统制造商升级采用垂直扩展。这种方法必须有瓶颈限制，但特殊的价格和性价比并不合适。这种方法不会导致水平扩展。这种方法造成的最大问题是垄断和封闭。昨天，我与美国广播公司的领导进行了交谈。这种方法引起了很大的问题。只有少数人能控制这个系统，很难打开它。

让我们看看这个系统带来的压力。刚才有人说有两个方面，一个是存储容量，另一个是吞吐量。这增加了业务处理的压力，尤其是在线事务，它需要高并发性、低延迟、快速和高并发性。传统的数据仓库和业务分析也带来了吞吐量需求。在这两方的压力下，他们表现出的不是单边线性增长，而是平增长要求、最大存储量和最大计算量。简单的扩张不能满足业务的发展和需求。当然，还有其他问题，包括传统的存储基础设施无法改变、扩展问题、高成本、系统可靠性会降低，以及传统的修复方法难以改变大数据背景下金融信息化面临的挑战。

这些挑战有一些解决方案和想法。今天的主题是云计算的基础设施及其新方向的发展。基础能力平台，主要是核心数据库，压力很大。这是联机事务处理。到第二阶段，即目前正在实施的新一代系统，许多新一代信息技术系统的改造可以实现一个好处，许多其他业务可以使用一个共同的平台。未来需要商业创新。这些创新之一是，许多现在是基于数据处理，包括传统的商业智能分析，支付系统，银行等。到后期更高阶段，开放系统和统一调整智能云的资源。该平台实现了原有基础设施能力平台、基础设施创新平台、业务应用创新和整体业务向更高更深层次的转变。

第二是如何去做。让我们看看我们现在如何满足这些阶段的要求。首先是金融行业分布式架构的演进路线。第一个层次是刚才提到的传统方式，即烟囱管理、网络、存储、服务器、操作环境、数据和应用。第二个层次是平台由网络、存储、服务器和虚拟化组成。这样做的好处是资源可以共享，但是每个定制的应用软件，包括中间件、操作环境、数据和应用程序，仍然是独立的，它们只共享基础设施。下一步是在Paas上构建并集成运行中间件、操作系统等。以减轻沉重的负担并进行许多应用创新。LAAS实现了硬件的自动化管理和人机结合。

在第一阶段，X86转换在应用程序架构中实现。最大的特点是实现无状态应用。上层在某种状态下访问下层。如果下层是分布式的，它将切换到另一个节点。如果状态消失，服务就不能实现连续点。X86的转变不仅是资源的扩展，也是业务在管理中的无状态贡献。我认为无状态理解很少被每个人谈论。每个应用程序都必须连接到每个固定节点。这种转变非常困难，这也是我们面临的问题。第二是基础设施改造，包括计算存储和计算的虚拟化、数据库的部署以及旧系统的逐步迁移。最后，服务能力的转变是建立服务能力，包括微观服务环境，以及基础设施。这样的好处不像我们大打出手，而是以小步骤实现整体服务的方式。

其中一个非常重要。如前所述，云具有非常重要的资源管理。传统的资源管理实现了对各种标准资源的控制，包括物理资源和虚拟化词语的配置、业务转移和迁移。同时，它可以根据服务的特点动态分配这些资源，管理传统存储，或者现在就实现分布式存储的兼容性，还可以实现对物理机的控制。

还有一个问题。除了硬件资源管理，还有中间件资源。中间件也是云计算中非常重要的功能，包括负载平衡。第二个是业务开发容器。如果应用程序开发在没有迁移的情况下将它保持在相同的环境中，那么将为每个人提供各种应用程序开发平台和统一的WAS容器。第三种是总线，用于通过数据总线交换数据和管理服务。最后是虚拟化中使用的服务。其中一个好处是统一中间件服务可以实现开发管理、部署管理、配置管理、版本管理和数据安全管理。

让我们再看看这个。这是发展。基础设施可以通过构建一个集成的应用服务来开发，包括我们现在所说的开发模块，所有这些都是由人力组织的。迁移的优势在于，不需要在一个环境中或不同制造商之间考虑太多的兼容性问题。第三个是操作和维护。运行维护前期的开发环境设计，运行维护相对可控。经营与发展没有对应关系，难度和风险相对较高。

最后，我想和你分享我们在这方面的探索。分布式体系结构系统本身有许多技术问题。我们仍在研究它，它仍处于探索阶段。在此之前，我们公司还制定了一个名为下一代的发展战略，即MICT战略，即金融打造的网络资源。近年来，我们已经深入到其金融领域业务的核心层，包括云计算基础设施、分布式架构和大数据数据库，它们在相关金融行业有许多应用。因此，我们今年早些时候发布了一份名为《拥抱MICT时代》的报告，以推动产业转型。就未来发展趋势而言，世界不仅仅是一个移动互联网，还可能与物联网有关。它不仅要在管道中立足，还要扩大业务，完成产业布局，为信息创造价值。

这是我们的发展战略，包括云计算和大数据作为公司未来的战略投资方向，进一步拓展金融、运营商和智慧城市等关键领域。目前，我们拥有1500多名员工，专注于平台和行业应用，并参与国内外科研组织。他还做出了一些积极的技术贡献。

这是我们对云计算基础设计完成后未来大数据行业需求的理解。我们将其归纳为六个方面。第一个方面是存储，它是所有数据计算的基础，包括结构化、半结构化和非结构化。第二种计算，一种是分布式计算，另一种是实时计算。最大的特点是考虑两个不同的维度。一个维度是获得不同接口的方式。这两种计算能力体现在管理中。大量的海量数据存储和计算核心能力不是物理设施或中央处理器的处理能力。这三个部分是基础架构必须考虑的三个主要方面。这三个方面是管理能力。这三个是手段，这三个是目的。首先是服务。你最终面向的是你所服务的用户，而不是管理层。因此，服务层的控制包括用户的身份证认证管理，包括同步和异步转换以及统一的产品标准。第二，让别人使用你的软件开发。第三是运行维护管理。您可以让您的客户方便地使用该工具。因此，专家们刚才已经谈了很多关于它的安装和监控，所以我不再介绍了。

因此，在此基础上，我们制定了一个解决方案。这是一个架构，包括三层，云操作和维护管理。无论财务标准如何，制造商设备也可以与传统的现有制造商设备兼容。中间组件有两个数据库，构成一个三维协同安全系统。具体来说，这有点复杂。看看这个。这更容易。从产品角度来看，有大型数据中心和模块化数据中心，或组装和快速部署的数据中心，以及物理服务器的磁性阵列，以及实现资源控制和存储控制的云平台系统。除此之外，还有大型数据和数据库目录，此外还有用于定制智能城市或小型企业集团的一体机。

这是我们对数据中心底层数据中心的管理，基于资源共享、安全性和可靠性，并通过智能和快速部署。这就是它是如何组成的，我将不详细讨论。这是我们在腾讯做的。我们通过一个智能数据中心建造了它。大约有2000个快速部署的结构。春节期间，一些人要求红包。也就是说，当数据中心正在工作并且过载时，调度仍然非常灵活。今年，我们为它建造了一个西部数据中心。今年，当春节期间收到红包时，我们可能会感觉顺畅得多。

这里使用了几种新技术。如你所知，我不会详述。虚拟化不仅仅是单一平台的虚拟化，还包括多台设备和一台设备的虚拟化管理。

第二个是存储虚拟化，这在今天很少被提及。这是一种专业的传统存储方法，成本较高，扩展复杂。我们对数据块存储、对象存储和文件存储虚拟化管理提供了统一支持。尤其是块存储现在发展最快。它不是以文件模式存储，而是以块模式存储。每个用户都可以定制他需要计算的存储资源。它的存储速度和效率相对较高。

第三是网络虚拟化。刚才我看到刘楚介绍SDN。这已经做了一些尝试，但是我认为这种探索还不够成熟，因为要把它变成一个大的网络还有很多问题。虽然我们可以通过数字存储网络打破网络的垄断，但网络涉及的应用范围要广得多。它的优点是在单个数据中心的业务中实现单对单的服务保证控制权限，但是很难跨越数据中心和广域网，所以这一套还在探索过程中。

另一个是管理平台。刚才提到的计算和存储网络已经实现了统一，更重要的是实现了集成管理，可以为用户服务。这种用户服务和管理的成熟度处于不断优化的过程中，因为虚拟化实际上浪费了一些原始资源。我们在一些银行通过物理机器做了很多事情，这比虚拟化要好。第二是以基于云的方式构建单个数据中心并管理虚拟化。它还可以提高我们对传统资源的利用。

让我们谈谈基础设施。近年来，我们已经做了大量的产品应用。众所周知，大约有30种大数据组织，每一种都在不断发展。我们都知道开源系统做得很好。最典型的公司已经对核心组织进行了科学研究，但是很难很好地利用大数据。首先，组织太多，发展太快，普通人很难理解一切。它有很多参数。你不知道为什么它最初是这样设计的。一旦出了问题，你就找不到解决办法。第二是我刚才说的。在许多方面，它是为了适应环境而建造的，而不是为了工业实践。要真正使用好它，需要一个非常完善的管理系统来实现它。第二，大数据系统非常复杂。如果所有的开发人员都需要了解底层的科研组织，我们已经在其中做了统一的数据服务支持，并且封锁了平台上的所有底层组织。它可以实现上述六个功能，实现数据路由、数据查询和底层分离。你不知道数据在哪里。一个业务订单下来我可以编织不同的组合，开放的能力和用户自助服务，多租户，都是面对用户时要考虑的非常重要的因素。

这是大多数人不使用的最低级别的数据处理能力，但是即使您使用一个小组件，您也需要理解。另一件事是我们正在向更高的层次发展。类似于集成用户开发，我们有一个统一的业务开发环境和开放的功能。主要实现特征是刚才提到的统一调度、数据治理、算法架构选择、服务引擎子系统和管理操作维护子系统。大数据的运维管理是通过这五个方面的连接来实现的。其优势在于，该系统不是基于科学研究，而是基于支持服务的架构。

最后，我将谈谈分布式数据库。我们研究了数据库，发现它真的很难。职业教育相对较好。然而，经过十几年的发展，成千上万人的发展已经非常强大和完善，数据库很难开发。世界上所有的功能都有可能实现。然而，如果你想做一些与之相当的事情，那简直比登天还难。这里面有一些考虑。我们做了一些实践和创新。我们采用了这些技术，包括分布式事务处理、备份和恢复处理能力、两地三中心方案、高性能分布式优化器、不同采购数据库迁移和快速数据切换。基于数据处理和分布式体系结构的特点，我执行特定的应用程序。也许这是一个可行的方法。我们做了很多探索。

这是我们的大数据应用，包括个人综合报表和网上银行实时风控等。通过向全行提供清晰的交易和数据存档，对效果进行评估。这是一个必要的服务，以防止用户获得假币冠尺寸查询。处理分布式数据需要15分钟。对于皇冠大小查询，最快的时间是一秒，最多900次。其特点是经过精确查询后，我们使用分布式数据库，比原来的集中式架构高出数百倍，属于高级查询，大约35秒。数据库非常重要。除了架构，优化措施也很重要。这也得到去年银监会一等奖的支持。时间有限，我会就这些问题向您汇报，谢谢。