安昌网络之路——数据中心流量的精细化运营与管理

本篇文章4636字，读完约12分钟

安昌网络之路——数据中心流量的精细化运营与管理 会上，安昌网络首席技术官休威出席了国际数据中心服务大会，并在当天的安全运维分论坛上发表了“数据中心流量精细化运营与管理”的主旨演讲。 中国国际数据中心圈12月28日报道，第11届中国国际数据中心行业年会(IDCC2016)于12月20日至22日在北京国家会议中心隆重举行。在中国信息与通信研究院、发展与政策论坛和联盟的指导下，本次会议由中国国际数据中心行业年会组委会主办，中国国际数据中心圈主办，得到了众多媒体的大力支持。

作为中国云计算和数据中心领域最大、最具影响力的标志性事件，IDC中国行业年会已经成功举办了10次。本次会议的规格和规模都是“上一层楼”，吸引了全部现场人员，其影响力涵盖了数据中心、互联网、云计算等所有领域。

会上，安昌网络首席技术官休威出席了国际数据中心服务大会，并在当天的安全运维分论坛上发表了“数据中心流量精细化运营与管理”的主旨演讲。

长安网络之路

以下是这次演讲的文字记录:

今天的背景是从IDC运营商和云服务运营商的角度讨论我们如何看待网络以及如何进行网络运营和维护。谈论网络的初衷很明显。无论是作为IDC运营商还是云服务运营商，做好网络工作都是基础。生存依赖于网络，致富也依赖于网络。让我们简要介绍一下背景。安昌在全国运营着13家数据中心服务提供商和3个公共云节点。它通过BGP与外国直接运营商连接。它已经在全国几个主要城市建立了大约这个规模的网络网点。

网络与安全无关，但这个网络不是一个非常细致的网络工作者的工作。我们把它抽象出来，从运营商的角落里提取出来，看看网络的特征是什么，以及我们如何根据这个特征进行操作。

让我先给你看一些分析图表。让我们先看看蓝色的图表。这是一个视频客户端。我们提取它的流量。当然，这些数据是经过处理的，不是真实的数据。我们获取了该客户的数据，即24小时的流量，并以1小时为刻度线。我们用了将近60天的数据，做了60行。让我们看看这张照片。这种流动的规律非常明显。从每天的零点开始，交通开始下降，高峰在中午，第二个高峰在晚上6点以后，持续3到4个小时。为什么十和十四之间有几条稀疏的线？其峰值也相对较高。这个维度看不见。让我们改变维度。我们每天对它的流量进行分组，并把它分成几周。可以看出，该客户从周一到周五的流量非常低，一旦到了周末，流量就会增加，差异非常明显。这也表明，在这张图片中的一些线路是稀疏的，在中午相对较高，因为交通是相对较高的一整天在周末。

右边的第一幅图显示了顾客点菜的流程。它垄断了上海所有商场和餐厅的订单，其流程图可以推断，第一个高峰在中午用餐点，第二个高峰在晚上用餐点。

左下角的图片是一家著名的上海旅行社，它在晚上8点到达交通高峰。让我们看看这些数据。每天早上5点突然出现交通高峰。有两种可能性。首先，它在晚上与一些外部数据相互作用。第二，它植入了特洛伊木马，每天晚上都会被计算出来。

刚才提到的四个数字表明，不同的客户有不同的流量波动特征。这一特征反映在商业活动中，而企业的商业活动是基于其商业反应的。操作是连续的。也就是说，许多客户流的特征可以追溯到这条规则。这一规则在数据中心的出口处形成了一个规则流。这一规则是通过客户的不同流动规律综合而成的。

这是昆山的数据流程输出图。第一行是整个数据中心的每日流程图，第二行是该数据的前20个客户流的摘要。您可以看到，整个数据中心的流量趋势基于前20名。

我刚才说的是交通是有特点的。它可以预测我们可以通过预测做很多有价值的事情。但是一些朋友会考虑这个结果。你还需要说吗？我想我能猜到，但这有区别。光靠推测这些数据是没有用的。我们需要通过一些理论和过程来证明它，然后这些数据才能被应用。接下来，我将告诉你如何反映这种流动特性以及如何使用它。

这个图表是数据中心每小时的流程图。你可以用肉眼看到这张图表非常规则的波动曲线。但是如何描述这个规则，我们可以先介绍一个叫做相关性分析的统计工具。如果两个样本正相关，并且样本A大而样本B小，则所谓的相关性被称为负相关性。我们可以提取一个相关系数。A和B之间的血液相关度是多少，可以通过相关系数来提取。但是我要看看这种流动是否有规律，以及如何用数学证明它？有一个概念叫做自相关。相关性中有一个概念叫做延迟序列比较。例如，我将这个每日流程作为原始序列，并在第一个小时删除该流程以形成新序列。与原始序列相比，它被称为一阶延迟正相关。

下面是自相关分析图。我会向你解释的。波峰和波谷的概念是自己与自己的比率相关为1，后面有12条线，即当前流量与12小时前的流量负相关，这种负相关的程度系数很高，约为0.7。一般来说，高于0.6是相对较大的相关性。我们将数字推回并计数到第24行，这意味着在我当前的流量和24小时后，它的相关系数达到0.8到0.9。还有一个更明确的数字。这是当前流量与自身的比率。相关性为1。我推迟了24小时。相关系数为0.927，92%相似。24小时后，85%相似，36小时后，81%相似。这个数字可以证明流量波动是非常规律的，我们可以预测它。

如何做预测？首先，让我们看看如果我们不做预测，我们会做什么。在很多运营商的情况下，我们会做一些出口监控，比如一些门槛监控。我们采用上限和下限，但波动范围将非常大，不同数据中心的流量在不同时间点和不同时间维度会有很大差异。例如，我对上面的数据分析有一个结论。我把每天的流量作为平均值，把平均值作为标准差，达到4000以上，这意味着我和每小时的平均值相差很大，所以比较平均值是没有意义的。这一幕是什么时候反映出来的？例如，当我们进行监控时，我的导出监控的上限是五个级别，下限是100。这种波动范围太大，过滤掉了很多平时可能出现异常流动的痕迹。这种监测意义不大。

我们如何预测交通？就说流量的波动性是显而易见的，我们可以很容易地通过数学工具把流量分成几个数学模型。实际流量的第一个小时图表在我们的统计中称为观察值。二是从流量统计观测中提取趋势。第三是去掉观察样本图的波动，这叫做波动。最后一个是整个序列中的噪声。事实上，任何时间序列的数据都可以提取到这三个模型中，这也是预测的基础，即波动规律和最终的噪声。

在做预测时，这个理论并不像我们想象的那么复杂。我们通常做时间预测。我们在不同的行业和领域进行经济和领域预测。我们还可以在运行和维护中进行预测。还有两种时间序列模型。第一种是基于检查，第二种是基于霍特方法。经过反复的测试和演示，我们的方法是通过二进制和其他统计分析工具来完成。在统计模型中加入一个季节性参数被称为乘法，这意味着将自己放入模型中作为乘法。具体预测模型的结果可以从以下几行看出。以下是我的预测模型。将其粘贴到原始序列中。通过这个模型，我可以完整地描述整个原始序列值。你可以看到红线与原来的标记吻合。这个模型已经建立。这个模型只需要通过工具获取一个算法。这个算法可以被每个人直接使用。我们已经调整了这个数据。这个结论非常有价值。

接下来让我们做个预测。在二进制中，只有一个句子。只需建立模型并直接测量它。蓝色值将用作以下流量的预测值。它有多正确？这是剩余误差的分布。例如，我们已经在我目前的48小时内移除了流量。我根据前48小时做了一个样本，预测了前48小时后的流量，然后与实际流量进行了比较。比较后的剩余误差将会看到它的分布是否太正。这证明了精度是非常高的。

在这些东西完成后，我们思考这些东西有什么用。我可以告诉你交通管理的细节。精细管理是做什么的？

第一次流量异常检测，由于流量波动太大，我们反复加大监测阈值意义不大。我们就是这样做的。在预测的结果中，有一个概念叫做执行度。例如，如果我预测这个流量，我会告诉我这个模型，我会让你达到95%的准确率，你会告诉我这个结果是正确的，这个模型将如何反馈给你？它将给你一个上限和一个下限。我们把它分别作为我们监控的上限和下限。我们每天滚动预测，并将结果动态更新到平台上。这意味着数据中心的每小时流量应该在我已经合理的流程范围内。只要超出我的范围和超过95%的执行率，如果出现这种异常情况，我们将检查运行和维护。除了特殊的波动，一个调查和一个批准。

刚才谈到异常检测的价值，第二个是流量重用的价值。流量复用的价值对运营商有很大的帮助。过去，在数据中心购买流量非常昂贵。多少钱，什么时候买，你的使用率会达到什么标准，以及如何计算？只有在一定的预测基础上，采购和整合才会给你带来很高的经济效益，这是交通复用之上的。还有一些对客户的独立监控，因为这些数据也适用于客户。此外，可以对客户进行关怀，例如，由客户产生的带宽。我可以告诉你，一个月或两个月后，根据你目前购买的带宽量，你的带宽非常紧张，或者我可以告诉你，你购买的带宽比你实际使用的带宽冗余得多。你可以考虑降低一点。

包括DPI，流量监控可以通过抓取流量数据包来完成。坚决归档数据是很有价值的，但这些内容属于我们积极管理的价值，我们在这里做了很多工作。

接下来，我想谈谈安昌的一些做法，这些做法涉及到我们如何实施安昌以及我们如何在交通管理中实施安昌。

我们刚刚讨论了如何将流量预测的结果用于动态监控。二是如何监控出口总量。这个数字的含义是，例如，我们现在在安昌有十个数据中心。我们将根据不同的路线查看当前实时运行的百分比。例如，这是1%，这是20%，有些是50%和60%，我们将开始做一个总结。这很简单。我们通过三层提取交通数据。

第二块是我们如何进行基于平台的系统交付。这是指如何交付标准产品。

在用户下订单后，我们有一个部门叫做送货部门。送货部门会看到订单。订单中特定用户的配置是什么，他们会根据现场的资源分配用户的订单。所有匹配完成后，现场工程师将获得工作指令。他将按照工作顺序做算术处理。一切完成后，平台将开始自动安装。最后，港口的限速将完成。一切完成后，客户将自动加入监控列表。

这是订单。不同的资源分配得很好。一旦工人接通电源，整个系统的安装将自动在平台上进行。生成后，客户的端口数据将自动添加到监控平台，并添加到监控平台。在这里，我们可以点击客户的资源交换网卡端口并自动跳转到流量监控平台，该平台将实时显示客户的流量前沿，因为这是我们向客户收取流量的交付方式。其他工作细节，端口速度限制，有时客户会有临时带宽采购，直接通过交付在平台上做手工设计，不需要任何现场工程师来操作。

这是对我们整个大型网络的实时监控。我们怎么做？许多同事会找一些外部评估公司合作，看看不同的线路网络是否稳定，以及延迟是多少。我们交叉监控不同的线路。我们将在C的每个IP段中购买两个IP地址，然后看看C的IP地址是否有问题，然后根据不同的段将其分为红色、橙色和绿色。不同的点代表这条线的监控。例如，上海移动监控江苏联通的延迟时间。如果内部延迟时间为绿色，外部超额量为橙色，如果超额量较大，网络中断为红色，则无需外部监控厂商的配合，即可实现交叉监控。

一些朋友会想，你在吹牛吗？我们做的每一件事，都是将平台完全打包成产品。如果国际数据中心的同事能同时与我们沟通，我们的整个平台就能销往国外。也许有人会想，你说半天只是为了卖你的软件。我想说我们的模式并没有那么低。我们想证明安昌已经做了这么多年了。我们对这个行业充满敬畏和尊重，所以我们做了很多工作。我们也希望这个行业的每一个人都能一起把它做好。谢谢你！