本篇文章4233字,读完约11分钟
陈华,网络运营与监控项目经理兼百度自主研发交流团队负责人:百度自主研发交流的过去、现在和未来 9月27日,在云计算发展与政策论坛和数据中心联盟的指导下,由开放数据中心委员会主办,由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的“2016 ODCC开放数据中心峰会”在北京隆重举行。在下午的“数据中心网络”子论坛上,网络运行监控项目经理、百度自主研发交流组长陈华发表了题为《百度自主研发交流的过去、现在和未来》的演讲。 9月27日,由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的2016年ODCC开放数据中心峰会在发展与政策论坛和联盟的指导下,由开放数据中心委员会主办,在北京隆重举行。网络运行监控项目经理、百度自主研发交流组长陈华下午在数据中心网络子论坛发表了题为《百度自主研发交流的过去、现在和未来》的演讲。以下是演讲的全文:
陈华,网络运营与监控项目经理兼百度自主研发交流团队负责人
我是百度系统部的陈华。今天的话题是百度自主研发开关的过去、未来和未来。过去,它是10万亿台交换机的研发和部署阶段。现在,它是正在建设中的25G交换机。未来是我们对交换机未来的规划,未来不仅仅是交换机。让我们简要回顾一下百度在自我研究交流方面的做法。我们在2012年开始使用定制交换机,在2013年倡导自我研究,开始上网,在2014年开始自我研究,在2015年全面上线,并在2015年开始做公共云。至于今年的10万亿阶段,我们实际上是在百度内部。至于10万亿阶段,10万亿实际上已经接近最后阶段,我们10万亿以上的功能基本完成。今年的工作主要转移到了25G交换机。
让我们先来谈谈10万亿交换机的部署。我们在华北、华东和华南有12个数据中心。我们将在2015年开始对10万亿台交换机进行全面的在线研究。后面的增长非常快。百度在应用自主研发的交换机方面有足够的经验。让我们谈谈我们统一到R&D阶段。百度做自我研究。许多制造商说为什么你没有生意或使用100盒。百度开始做自我研究。除了10gb交换机的功能,百度在10gb阶段还有几个功能。它还支持多个平台和八台具有三种不同CPU类型的机器。百度自己的切换实际上是百度数据中心大规模建设的阶段。我们结合数据中心建设的部署流程,开发了系统部署框架。事实上,最终的效果可能是大量购买交换机,然后将它们放入仓库。当实际需要联机时,数据中心的现场人员将从仓库中取出一个交换机,并将其放入机架中,以后不需要任何人参与。同时,当存在真正的异常时,也是同样的过程。相同型号的新开关被直接替换。由此带来的好处之一是,这款交换机与百度制造的完整机柜相匹配。在数据中心建设过程中,建设交付效率大大提高。
另一方面,我们以前也做过一些监测。对于现有的网络管理来说,网络设备对每个人来说都像一个黑匣子。每个人都认为这是最终结果。不管是路线、温度还是中央处理器,我们都不知道里面是什么。如果有问题,事实上,你也可以通过比较发现,百度做了自我研究的转变,硬件没有看得更深。因此,我们深入代码功能实现逻辑监控。借用测试数据,以前网络设备对每个人来说都是一个黑箱,但对百度来说,我们在研究交换机时看到了一个白箱,这带来了好处。对于黑匣子,一些小的内部故障导致了整个机器的异常,所以我们需要修理它,重新启动它或者更换它。影响范围非常大。如果从白盒监控,百度可以更准确地定位它,然后找出问题发生的确切位置。现有系统可以维修吗?智能修复在未来可能吗?事实上,设备的整体稳定性得到了提高。
百度自我研究交流已经部署了很多年,研发也花了很多时间。事实上,我想在这里与大家分享的是我们在实践过程中所遇到的更深刻的体验。每个人都是交换机的最终用户,还没有做过交换机的研发。事实上,在我们看来,除了硬件的智能转换能力之外,交换机还有许多外部环境。我们都认为这个硬件设计得很好。只要是按照标准做的,应该没有问题。事实上,在我们的实际应用中已经发现了许多例子。在软件方面,我们使外部环境独立,并可以单独恢复。如果有任何异常,我们可以隔离故障并快速恢复。另一方面,百度自己做一切。我们在操作和维护方面也有很多考虑。我们管理串行端口的位置。事实上,管理端口的串行端口位于前面。许多设备制造商说有两个地点。有些在上面,有些在下面。当百度这样做时,它要求串口在下面。使用串行端口时,很难操作其上的管理端口。这也是从操作和维护的角度出发的许多细节。另外,我想和大家分享一下四分之一电缆的应用实践。百度数据测试中心没有四分之一电缆,这在早期使用较多。原因是保证四分之一电缆的信号质量更加困难,长期使用后很难无故障完成。或者只要有故障,就有另一个问题来更换电缆。事实上,我们发现四分之一电缆的所有服务器都连接在一起,其中一个被损坏。同时,由于百度使用的网络服务器连接到一端口网络,在这种情况下,通过为百度使用一点四线,增加了四个服务器整体网络出现问题的概率。同时,只要有故障,故障的影响范围就太大,所以我们后来放弃了使用单点电缆。
在万兆交换阶段,我们的许多考虑都基于交换芯片。当时,我们并没有太多的关注中央处理器。中央处理器能够满足路由计算的要求。当时,前面提到了三种体系结构。当然,我们为系统扩展了很多。从以后的实际使用中,我们还是发现了一些问题,给CPU和软件维护带来了问题。您可能会在软件开发中遇到许多问题。从软件开发的角度来看,您需要更加关注测试平台。另一种嵌入式处理器在开发方面不如X86处理器广泛,在开发和其他方面支持不如服务器处理器广泛。另一个是原有的交换机硬件设计,因为中央处理器没有那么重,所以它们都是嵌入式操作系统。事实上,嵌入式系统在成本和种类上并不强大,使用的内存很少,而且功能相对较弱。然而,我们中的许多人在服务器上发现了许多问题。许多人特别熟悉服务器操作、各种命令和各种工具。如果我们想迁移嵌入式中央处理器,我们发现成本相对较高,我们不知道如何做。
接下来是25G,当我们在做25G的时候,我们实际上改变了我们的视角。现在我们主要使用中央处理器。25G交换机是一种具有强大硬件转发能力的服务器。这是一个共享服务器生态应用程序。它只有X86处理器,所以我们选择了X86处理器。同时,我们需要8G内存和70G存储,这实际上是一台小型电脑。百度在25G交换机上做了48 25G和100 100G的规格,这与阿里有点不同。还有必要解释一下百度制定的25G交换机设计规范。很多细节将会在ODCC网站上公布。如果你感兴趣,你可以下载看看。同时,阿里25G交换机规格将一并提交。如果你有任何想法或想法可以提出来,你们可以互相交流。与万兆交换机相比,25G交换机在整个系统中有几个不同之处。硬件采用X86加BMC系统。该体系结构类似于服务器的体系结构。目的是共享服务器生态系统。同时,我们公司的管理系统已经可以将交换机作为服务器进行管理。它们中的大多数实际上可以共享一组系统来管理,并且只有与网络相关的东西需要额外的管理。同时,交换机基础系统采用了Dedian8.3,减轻了维护难度。上层应用提到了外部管理。在我们强调X86架构之后,整个系统是根据标准服务器的一套原则开发的。外部管理实际上导致了统一的文件系统,并提供了统一的界面。同时,所有服务器上的成熟管理工具也被引入到交换机管理中。无论人员的接受程度如何,这对于未来的交换机维护来说都是更容易接受的,而且每个人都非常熟悉服务器。同时,无论25G交换机从中央处理器的角度选择新的X86,从25G交换机硬件芯片的角度来看,它实际上为每个人提供了许多新的可能性。提供了更多功能。我们正在做25G转换后我们正在做的事情。我们之前对每个人都说我们在监控。事实上,我们说过,只有在出现异常或我们注意到某一点时,我们才会进行监控。我们可以更多地关注25G交换机,并给予更多关注。我们可以将交换机上方的系统视为服务器上方的服务。我们会注意整个机器的运行状态。此交换机的流量特征是什么,部署服务是什么?我们都将实行统一管理。目的不仅仅是为了发现问题而调查问题。我们想说的是,作为日常数据分析,我们可以尽快了解网络,了解网络上的业务运行情况。有什么问题吗?你能给企业提供什么更好的建议?就是从原来的操作和维护到操作,操作和维护可能更多的包括一个被动的维护过程,操作是主动的,我去操作过程。
事实上,我们在制作25G交换机的过程中考虑了一些事情。百度第一个投入其中,将系统从硬件集成到上层交换机的协议站。我们现在正在做的是说这是否是最好的方法。事实上,回到百度做自我研究实际上是为了拥有更好的成本和完全可控的能力。如果我们根据业务需求进行灵活的应用程序开发。百度从头到尾都这么做了,那为什么呢?当时,没有发现开放的环境。我们只关注应用。目前,最好有一个更开放的环境。事实上,我们继续关注两个社区。也许有一天百度会做一些开放和发布的事情。事实上,我们正在关注最需要的东西。这是我们百度开关的未来。除了10,000兆字节之外,我们还在考虑100千兆交换机。我们已经开始生产更高带宽和端口的产品。另一个跳出了开关。交换机只是网络的基本载体。百度,作为一个自我研究的开关,有这种控制能力。未来,它将使网络从原来的运行维护走向智能化运行。另一方面,百度希望这样做。百度的目标不是完全靠自己,而是因为条件还不成熟,它已经从下到上做了一些工作。在未来,它将努力建设一个网络生态环境。事实上,我看到上面提到的发言者,他们做了很多开放的事情。事实上,百度特别受用户欢迎。百度希望大家能够共同努力,在未来营造一个良好的网络生态环境。
说到生态环境,让我们在这里多说一点。我们回顾服务器的发展。过去,软件和硬件被集成在一起,软件和硬件被分离,现在生态是开放的。与服务器相比,软件和硬件的开发已经集成多年。最近几天,数据中心的发展使得越来越多的制造商和公司加入到网络中来,并且有越来越多的新想法出现。无论是交换芯片还是开放式网络操作系统,或者更多以上的应用,我们发现许多与我们沟通的厂商都觉得网络在硬、软整合和封闭的条件下已经经历了太多年,每个人都想说我们想做些改变。也许研究是在那个时候,也许每个人都可以一起建立一个工业生态。百度也愿意贡献过去在这方面的整体经验,也将在开放生态的建设过程中贡献自己的力量。谢谢你。
标题:陈华,网络运营与监控项目经理兼百度自主研发交流团队负责人:百度自主研发
地址:http://www.yunqingbao.cn/yqbxx/2532.html