刘一敬:下一代智能分析技术在金融行业的应用

本篇文章6449字，读完约16分钟

刘一敬:下一代智能分析技术在金融行业的应用 2016年6月24日，由数据中心联盟金融信息技术委员会主办、中国国际数据中心协办的2016年金融信息化成果展示暨金融信息化技术委员会一周年报告在北京国际会议中心举行。 中国国际数据中心圈7月1日报道，2016年6月24日，由联盟金融信息技术委员会主办、中国国际数据中心圈协办的“2016年金融信息化成果展”和金融信息化技术委员会一周年报告在北京国际会议中心举行。

会议持续了一天，设立了主论坛和三个子论坛，包括特别会议、数据中心特别会议和特别会议。会议特别邀请国内各大银行和精英汇聚一堂，共同探讨“互联网+”时代中国金融信息化发展的现状和未来。其中，百分比集团技术副总裁刘一敬出席了大数据专题会议，并发表了题为《下一代智能分析技术在金融行业的应用》的主旨演讲。

百分比集团技术副总裁刘一敬

以下是刘义静讲话的真实记录:

刘怡静:你最近已经看过加特纳的幻方图了。IBM并没有消失。他们的方向可能代表下一代技术。我们如何看待这些技术？从我的观点来看，让我们整理出企业中的数据分析。大致有三个阶段，1.0、2.0和3.0。整个数据分析深度分为描述性分析，介绍什么是数据，我们的现状是什么，并基于诊断性分析。我不仅需要通过描述当前形势来判断什么是好的或坏的，而且第三个是预测问题。最高级的阶段实际上为我们提供了一些建议。它不仅会告诉你如何发现你有什么问题，还会告诉你如何适应这些变化。这是数据分析的三个阶段。1.0时代的大多数分析方法都是更固定的报告方法。事实上，商业智能是在1991年和1992年提出的。商业智能在当时是一个包括ETL数据仓库的话题。它前面的可视化包括三个层次。今天，商业智能谈论了很多关于可视化内存的事情，抛弃了数据仓库和ETL数据仓库，更多的是在可视化阶段。在1.0时代，数据库数据仓库技术一般被描述为固定的报表。在这个阶段，最明显的特征是技术驱动。其中一个中心是科技。为什么它被称为技术中心？你可以认为企业现在也在做同样的事情。你从思爱普和企业资源规划中学到了很多。每个都是加密的，你不知道它是什么。我把要求交给了技术部门。我自己画了一张地图。最终的报告是这样的，它更多的是关于表，每一列的含义，以及每一行的含义。技术方面将为您生成一个表来做后续工作。

这里几乎没有什么生意可做。大部分工作都是由技术人员完成的，包括高德纳的这次成为领导者的提议，重点是敏捷商务智能或自助商务智能。技术员的工作范围较窄。与传统相比，他们将提出一些指标和维度等通用系统来描述一级业务的核心内容。这些核心内容被模型所取代。上述工具更加强调可视化和自助查询。业务人员可以通过底层人员处理的指标和维度来组合他们想要查看的数据的所有方面。这是这一代技术的焦点。事实上，这是技术驱动的。只有技术人员了解底层数据，并需要根据一定数量的数据进行逻辑分类。最先提到这个指标的业务人员开始深入参与。第二个观点是使用这些工具。业务人员需要根据自己的需要组合这些工具。这是一种辅助情况。然而，在这个时候，更多的重点放在自助服务和工具的美观上。这是我们看到的这些工具的特点。接下来会发生什么？

下一次一定是智能平台。让我们从对智能交互和整体特征的分析中推断出，下一代整体技术人员将做更窄更专业的工作，但他将建立更复杂和通用的业务，这是一个数据世界。技术人员已经为所有的可能性做好了准备，业务人员可以更灵活地询问系统的一些问题，以获得他们自己的结果。交互和整个显示方向都是基于自然语言处理的。自然语言互动是一种探索性的问答式互动。此外，整个分析工具的输出可能不仅包括一些报告图表，还会有更多的交互式内容，如文本、语音等。要实现这一目标，核心是知识地图、自然语言处理等技术手段。在这个阶段，它是由业务驱动的。业务人员可以自由地在这个工具中查询他们想要什么。这是IBM沃森提到的。为什么IBM在微软的象限里？事实上，IBM正朝着这个方向发展。我们可以看到未来它将如何发展。既然这是一个趋势，我们应该做什么，我们的产品和技术如何适应这个方向？

数据分析的数据是什么？就像通过观察世界获得知识的信号一样，数据是理解世界和观察世界的结果。数据就是信息。整个数据世界非常好地反映了真实数据。它可以被称为数据世界或数据模型。简而言之，它反映了许多真实的情况。我们可以得到相当多种类型的数据。让我举几个金融机构数据的例子。我们合作获取一些关于旅行航班的信息。我们可以得到政府发布的数据，也可以得到教育等方面的数据。与以前的非信息技术和非信息方法有什么不同？我们的数据已经经历了所有的时间周期。这是人类第一次有这样的机会。我们似乎真的在四维空空间探索。我不是在看三维空空间中的东西。我漫不经心地探索整个社会在时间维度上是如何发展的。因此，我被称为数据世界。事实上，我们探索和发现数据世界中的一些新知识，以支持探索业务的发展。百分比将这一过程定义为DDD模型，通过某种方式将现实世界数字化并转化为数据世界。至少这是我在现实世界中关心的因素。在金融领域，我关心人、产品、账户和企业信息。我应该全部转向数据世界。相应的数学元素被用来描述这种数字化。其次，基于数据世界，我们发现了一些规律和新知识，这是一些强调数据的见解。我发现了这条规则是如何再次反映在世界现实中的，商业过程和商业模式，这就是我们的DDD模式。现实世界和数据世界融合在一起，形成联系，实时用户行为，无论在网上有没有收集工具，数据探针来做到这一点。如何访问企业资源规划系统中的数据？还有来自互联网的数据。我们通过日志收集和数据探测做到这一点。我们关心用户如何评论微博，用户如何评论百度贴吧。为此，我们需要获取数据。我们所有人都通过数据化将现实世界中的一切放入数据世界。在对数据世界做了大量分析之后，我们第一个涉足个性化推荐。这个用户购买什么产品，这是我们的目标，消费者的消费偏好是什么，他的财务偏好是什么，他的风险偏好是什么，他的收入偏好是什么，他想要什么样的信息推送场景，他可能喜欢什么样的推送渠道，他是否想在电脑或APP上看到，整个结果给特定的人一些特殊的知识，以及我们如何在整个过程中分析和理解核心人物。

我总是说百分点有什么作用？一句话描述是用数据描述消费者，或者数字化消费者。这对我们来说是最重要的。这是分析阶段最重要的事情。下一代技术如何在此基础上有所作为？最后，我们分析了如何重组我们的商业模式。可以看出，我们重新设计了一些新的营销模式或新的促销活动，在整合所有内部数据以获得客户偏好后形成了一个闭环。现实世界和数据世界之间的互动是连续的。通过进化，我们可以更好地描述现实世界，而我在应用上更聪明。

这三个阶段中最重要的事情是数据分析层。为此，我们认为有两个引擎。第一个引擎称为基本引擎，第二个称为智能引擎。基本的引擎是什么？使用数据分析并不是一个非常新的话题。很久以前每个人都用过它。无论是机器学习分析还是统计ETL，它对于数据清理和数据质量控制都是必要的。我们称之为基本引擎。在这里，我们将自己定义为一个数据生命周期的管理，包括如何收集数据、收集后如何存储数据、如何进行质量评估、如何通过清晰的数据手段提高数据质量以及如何统一多源异构数据。这就是我们定义的基本引擎要做的。智能引擎我们认为有两个智能引擎。第一个实际上有很长的历史。在商业智能商业智能方面，最终的数据是由人来解释的。经过解释，人们自己做决定。我们下一步该做什么？谷歌的搜索引擎广告现在趋向于自动驾驶，机器直接做出决策，而不是在人们解读这些数据时说我下一步该做什么。相反，机器直接解释这个问题和我接下来应该做什么。有两种类型的应用程序支持这一点。

我想介绍的重点是我们如何在智能引擎上想象和做一些事情。让我们简单回顾一下我们的基本引擎做了些什么。在基本引擎方面，由于定义数据生命周期的过程，我们去年发布了一个产品大数据操作系统，叫做大数据操作系统。计算机操作系统借用了计算机操作系统的名字。计算机操作系统把整个计算机分成几个部分，因为它是人和计算机之间的接口。文件管理、资源管理、大数据操作系统是人类和大数据之间的接口。还应该有许多接口。有一些特征，例如整个计算资源的管理、计算任务的管理、人机交互，以及最重要的是，如何管理基本引擎数据生命周期的整个线路和过程。这是我们去年做的事情之一，基本的引擎工作。

智能引擎接下来应该有什么？我们认为有三种主要技术必须支持整个分析工作。事实上，底层应该深入学习这项技术。我将简要介绍为什么深入学习在这里起着非常重要的作用。这是底层技术支持。这是一种感知技术。与现实世界的很多互动都是通过这个来完成的。一些自然语言理解我将在下一代的整个智能互动中使用自然语言。这台机器必须能够感知人们在这个问题上有什么意义和情感。它是在感知的基础上完成的。我们认为核心是知识地图，它实际上是知识的一种表示。我们已经构建了许多关于现实世界的基本描述方法。这是智能引擎的三大核心技术。

事实上，当然，最重要的是知识地图。知识地图是实体+关系。这个词可能是新的，应该由谷歌在2012年和2013年提出，但它背后的整个想法一点也不新。因为在人工智能开始的时候，在五六十年代，人工智能中实际上有一个方向叫做知识表示。这个领域的许多专家建议我如何将现代世界的知识表达给机器来理解。一组方法被称为本体。这里一些专门研究专家系统的专家可能听说过本体这个词。这个系统很难使用。其中有一些逻辑推理方法。后来，一些技术被衍生出来，包括从90年代至今非常活跃的欲望。另一种技术叫做分类系统，属于这种技术。2012年，谷歌提出我应该做语义映射，以便成为一个好的搜索引擎。通过百分比来制作用户肖像的用户的偏好是什么？这是一种描述人的实体。事实上，人们的兴趣爱好或行为与几件事有关。我需要买一个金融产品。有些人有金融产品实体，中间有账户系统实体。这就是这三个实体相互联系的方式。整个连接是一张知识地图。知识地图更好地描述了现实世界。我们现在所做的不仅是人们能够理解这个现实，而且这些机器能够通过知识地图和方法理解这个知识，从而支持我们的应用。

这是一个知识地图的例子。我们可以看到，其中有相当多的人和他们的相互关系。我们可以帮助搜索引擎进行基于语义的搜索。梁启超的儿子、妻子和情人的父亲是谁？我们最终会直接给你答案。我们不会找到像搜索引擎这样的关键词。我们永远也找不到这句话的关键词。我们可以真正理解谁在里面，他们有什么联系，他们的亲属关系是如何分类的，最后给你答案。这就是我提到的我们的下一代智能分析技术将以这种形式体现的方式。这是一张知识地图。构建知识地图有两项核心技术。首先是技术提炼。如何从大量原始数据中提取出完整的所需知识结构？文本自然语言处理和深度学习有很多技术。尤其需要解决企业的实体一致性和规范化问题。我们从管网或国家工商管理网站上获取了大量企业信息。关于企业名称、百分点技术、百分点组有很多意见，也有很多意见。我会结成新的关系。有许多技术工作要做。知识地图涉及多个实体和动态事件之间的交错关系。我们如何从原始数据中提取这些事件？这也是一种需要解决的核心技术。

让我举个例子。我们可以在金融业构建什么样的知识地图？有不同的节点颜色来描述存款和贷款之间的关系。存款和贷款来源于公共和私人收入存款之间的关系。这是整个商业实体之间的关系。最后，与一些机构或个人相比，可以形成对世界的准确或相对接近的描述。每个节点，每个实体都有一些属性，你的公共账户余额，有多少种商品，结构等等。在每一段关系中，无论是老师的关系还是其他什么，都需要构建一张知识地图，这需要深入的学习技巧。

深度学习是如何产生的？深度学习是一个人工学习网络。我们学会变得聪明。例如，我们想飞行。飞行是一种能力。让我们来看看。例如，一只鸟通过拍打翅膀来飞行。我模仿整个结构。我被一只由塑料和木头制成的鸟袭击了。换句话说，我彻底研究了为什么鸟会飞。最后，我得到了空空气动力学的外观。我根本不需要出现。我可以做一架看起来不像鸟的飞机，并且可以飞出去。有几种方法，其中一种完全模拟人脑的结构。有许多神经元相连。神经网络就是这样一种方法。我构建了几个层次，每个层次都是一个神经元。然后我计算重量以及如何连接它们。神经网络被批评的原因是我会计算东西。它不能完全解释为什么小狗能像人一样思考，但我不知道它在想什么。整个大脑结构是一样的，但是想法不同。2006年高级研究提出后，许多领域都取得了成就。语音识别的错误率长期保持在20%，深度学习导致整体错误率急剧下降，更接近人们的整体思维方式。这个图说明了这件事，图像处理的水平，以及人脑本身被分成几个层次。整个深度学习可以获得这些层次、物体的形状层次等。整体技术理解自然语言或构建整体知识地图是非常重要的技术。我们在这方面做了很多工作。我们至少将这项技术应用到了情感分析、口碑提取和自动化等方面。这是我们产品的截图。我们可以看到它有许多模块。

基于知识地图和深入学习如何做智能分析，我们如何回到下一代智能分析技术？整个用户的输入都会是一些自然语言的问题，比如张三儿子的银行存款是多少？这种语义以一定的方式表达，并在整个平台上推导出应用结果。一种是基于规则符号来处理它。事实上，目前我们已经看到沃森做了很多这样的事情。第二种方法是基于深度学习。事实上，这两种方法需要结合起来。当数据很少时，该方法基于上述规则。如果有大量的数据，应该使用基于深度学习的方法。金融业的智能分析框架可能就是这种情况。在数据上我们得到各种原始数据、交易数据、外部企业行业标准数据，更重要的是，我们得到一些用户生成的数据，这对整个世界模型的构建非常重要。在此基础上，我们整合了大量的数据资源。我们生成用户肖像和企业肖像。在此基础上，我们构建了完整的知识地图。知识地图中的必要实体以及实体与实践之间的关系。知识地图的构建依赖于业务的知识库、业务规则和相关的算法模型。在此基础上，我们提出并分析了这一层的操作模式。首先，此时用户和业务人员不是由技术人员构建的。技术人员负责以下两层。业务人员会问一些问题。整个系统会做出一些推理。将在数据中进行实时搜索和挖掘，这些数据将以可视化形式呈现。这是下一代整体智能分析的框架，也是我们现在正在研究的工作。

让我们进行一个案例研究。如果我们有这个系统，它会是什么样子？例如，在第一种情况下，我们有一位分析师VITA，他想了解整个市场或未来国家的经济发展，以便做出一些投资决策。他问整个系统:我想知道国内生产总值。整个系统将被写出来，告诉他国内生产总值如何发展，如何发展，以及整个数据的来源。这是一套完整的方法。事实上，他想要工业的国内生产总值。在这种背景下，他系统地分析了工业国内生产总值的趋势，或者定义了所有的数据，并进一步挖掘出我希望看到的不同时间点的国内生产总值。最后，他得到了分析结果。可以看到我们颠覆的整个过程，我需要制作图表，业务情况，到技术开发，讨论需求都消失了，整个讨论过程你不停的问你的系统得到一个答案，不仅可以做这个事情，还可以帮你做很多的报告制作和分享工作。通过制作刚才的每张图片，并最终形成自己的报告，这份报告可以直接分享给一些老板，让他收到整个报告。这就是我们正在研究的，我们了解下一代智能分析技术。事实上，这不是一个分析过程，达到预测和建议的水平。不同的人在问这个系统的同一个问题时可能会得到不同的结论。有一个理解和推荐的过程。此外，它不仅是一种技术，事实上，它是对企业经验的总结，知识的沉淀，而且它对企业也是有益的

2020-01-08 10:41:00 市场情报和数字信息荣获2019年CEIA“最佳金融数据中心服务提供商”奖 2019-12-09 11:24:00 市场智能证券之星2019资本权力选择活动正式开幕，中国资本的声音