传闻，一卡通科技考虑今年在香港上市，融资6亿美元
06-18
“亿畅网络”由深圳市腾讯计算机系统有限公司技术工程组网络平台部运营，希望与业内志同道合的伙伴交流，探讨网络及服务器行业最新动态资讯，同时分享腾讯在网络和服务器领域、规划、运营、研发、服务等方面的实践知识，期待与您共同成长。鹅厂是一家业务类型非常丰富的互联网公司，涵盖大型社交流量平台（微信/QQ）、网络游戏、公有云、媒体（新闻/视频）、移动应用、开放平台、互联网金融等。
不同类型的业务有各自的技术应用特点、性能目标、成本考量体系，导致对后端技术支撑能力的需求不同。网络作为基础设施的重要组成部分，也面临着这些海量业务运营带来的各种挑战。
幸运的是，鹅厂是一个专业技术能力较强、内部合作顺畅的生态系统。它将“不断提升用户体验”作为统一的技术目标，很多事情都可以通过分布式协作来完成。
基于这个特点，作为鹅厂基础网络平台的架构师也深感欣慰，因为他们能够以更加收敛、更有针对性的方式解决一些共同的关键问题——标准化的基础网络平台。如何建设这个庞大的基础网络平台本身就是一个非常复杂的问题。
网络技术本身可能只占不到20%。为了形成健康的网络规划、建设、运营体系，不断提升业务系统的用户体验，需要考虑很多问题：包括网络技术选型、公司资源配置趋势、端到端操作系统、网络技术发展趋势、硬件供应链管理、全面成本控制、迭代稳定运营。
时空权衡、风、火、水、电、国内/国际通讯环境等等因素，几乎每一个都可以写成好几本书。本文重点讨论网络本身。
作者力求用通俗易懂的描述来简单分享鹅厂搭建基础网络平台的思路。我们先看一下Echang基础网络平台的整体架构图（如下图）。
网络之所以演变成今天的样子，主要是因为Echang网络的主要价值在于不断构建和优化的两项能力——“连接服务”。网络架构的发展必须围绕两项能力进行演进：“连接服务”。
连接服务与服务的能力”和“连接服务与用户的能力”。同时，根据上层业务特点（离线/在线）、地理资源丰富程度（地面/电力）、ISP网络布局、容灾要求、综合成本构成等因素，对整体基础网络平台进行划分分为三个主要部分： 数据中心：数据中心网络为同一园区内的所有服务器提供高速交换能力。
Edge：边缘网络，用于连接用户（ISP）的边界网络。DCI：数据中心互连广域网，负责将这些分散在世界各地的数据中心与Edge连接起来。
每一块网络架构都会遵循整体基础网络的价值目标，并根据自身独特的特点进行演进和优化。下面将讨论这三种主要网络架构的构建思路。
数据中心网络 数据中心网络注重的是“连接服务与服务的能力”，在整个网络投资领域发挥着非常重要的作用。经过多年的积累，数据中心网络已经形成了数万个网元的体量。
面对如此大规模的网络，必须需要严格的建设体系来支撑，包括设计、建设、运营、供应链管理等各个环节，因为任何一个错误都意味着难以想象的影响范围和返工量。按照常理，数据中心网络是距离业务最近的网络，这么大的体量应该是运营压力最大的部分。
其实鹅厂这个问题并没有想象的那么严重。前面提到，鹅厂是一个专业能力强、内部合作顺畅的生态系统。
经过多年的磨合，上层业务与基础网络已经形成了良好的配合默契。业务系统架构（尤其是平台级业务）的健壮性、容灾设计、调度能力都达到了很高的水平，使得基础网络平台的架构师能够使用标准化、健壮的技术来满足数据中心网络几乎大部分的业务需求，使他们能够更加关注数据中心网络。
深入相关较低层次和较专业领域的工作。关于亿昌数据中心网络如何发挥，或者说运营数据中心网络需要哪些能力，多年来的经验和想法可以简单总结如下：数据中心网络和基础设施环境（园区/大楼）深入融入整体设计。
并交付，采用多级CLOS解决方案进行园区级/大楼级整体端到端设计，包括设备功耗规划、设备机架布局、布线规划、物理故障域规划等，实现全面的建筑、施工、成本和维护方面的最佳解决方案。我们需要从方法论的角度对数据中心组网的CLOS结构进行深入研究（上图是Sigcomm论文中G的数据中心网络的逻辑图）。
这个话题其实并不像想象的那么简单。它是一整套综合考虑交换机成本、光成本、风、火、水电环境、网络技术等一系列问题的方法体系。
对于如何构建CLOS网络，鹅厂的架构师甚至总结了一套完整的公式和算法，以后会专门设立一个专题来讨论。需要对交换网络架构有深入的了解，这是网络架构设计最基本的技术储备部分。
无论是自主研发的交换机还是商用交换机，大家都具有很高的技术开发能力、测试能力、基础技术的掌握能力。需求，涉及点包括交换芯片、光器件、系统协议栈、SDK使用积累等。
对行业整体现状和趋势的分析能力，对行业整体供应链的把控能力，以及快速适应行业环境变化的能力。例如，随着服务器接入率不断提高，光在数据中心网络总成本中所占的比例越来越高。
需要能够提前洞察这些趋势和变化，并根据自身情况调整策略和架构。大规模标准化数据中心网络生产已成为全年的常规工作。
需要一整套贯穿架构设计、建设、运营、扩容、资产、变更、退役全生命周期的在线自动化管理工具系统，保障IDC生产业务的顺利运行。为了保持健康运营，鹅厂在2016年重构了一整套这样的工具系统，并不断优化迭代。
从架构设计到机房退役，一切都可以在线完成。运营工具平台需要从多个维度对数据中心网络进行三维监控，包括白盒监控方式，如针对网元本身的告警管理、汇聚等；黑盒监控解决方案，例如Full-Mesh的Probe来反映网络健康状况；包括与上层业务的映射和交互。
例如亿畅最大的流量平台微信，拥有大量的服务器和一套完整的网络质量监控系统。与网络平台配合，快速发现故障并协调操作和隔离。
正确使用SDN方法论需要根据场景来构建SDN系统的工作内容和有效性。数据中心网络中的SDN更关注大规模网络的路由适应性问题、链路状态集中维护、拥塞管理和故障等问题。
我们通过屏蔽等方面来非常有针对性的解决问题，而不是SDN for ALL。边缘网络（海外） 边缘网络（Edge）重点关注“连接服务和用户的能力”。
其主要任务是以最短的路径、最好的质量向全球用户提供鹅厂的服务。国内边缘网络一般以与ISP静态连接的形式存在，而国外主要采用BGP连接。
本章主要介绍亿昌海外边缘网络架构。大量的海外ISP使得全球互联网成为一个非常复杂的网络环境。
如果鹅厂的所有服务都直接从海外数据中心发送到当地几家大型ISP，到达全球每一个用户，那是非常困难的。很难为各地的用户提供非常好的网络体验。
鹅厂为解决这一问题做出了巨大的努力：鹅厂部署了大量资源，获取全球用户在各地访问鹅厂服务的检测和质量数据，作为业务发展和网络加速的基础，以便可以制定有针对性的解决方案。建筑计划和施工计划。
边缘网络用于连接各个ISP。我们将此连接称为“出口”。
出口类型在架构上分为两种：基于Region的主出口Edge，以及用于区域网络加速的Edge-POP。 Edge作为基于Region的主要出口，往往靠近数据中心，连接大量ISP，作为Region的默认出口。
作为区域加速的覆盖点，Edge-POP规划建设的节奏取决于多种因素，包括当地网民数量、上层业务规划、覆盖质量、当地通信环境、综合成本等因素。所有Edge和Edge-POP可以看作是一个完整的资源池，承载在DCI网络上。
边缘网络也会遇到很多技术挑战，比如多出口管理能力、流量调度能力、故障恢复能力等。早期，仍然采用传统的网络方式来管理多个出口和调度流量。
往往，由于某个出口的质量变差，国昌网络工程师需要手动登录网络设备，使用脚本来调整路由策略。将流量引向更优质的网点，随着网点数量的不断增加，无论是网络规划还是人工流量优化都变得越来越复杂和不足。
举个简单的例子，当只有两个出口的时候，规划优化就很简单，要么双活，要么主备，谁出问题就关掉。动态路由协议会??自动收敛。
看起来很简单，但是试想一下，当有数百甚至数千个导出时，如何规划这些导出的使用规则呢？每个出口通常承载哪些业务或用户流量？当发生故障或质量恶化时，这些网点之间的备份关系是什么？还需要综合考虑和设计带宽、成本、互联ISP网络内部负载等因素。这成为一个非常复杂的问题。
曾几何时，鹅厂的出口网络设备有数千行路由策略命令。 ，有些与规划有关，有些与优化有关，有些与故障排除有关。
网络运营变得越来越复杂，出口数量仍在快速增长。几年前我们就意识到，如果不重新改造这个区域的设计，迟早我们就玩不下去了。
正当SDN的浪潮席卷而来时，我们借鉴SDN的思想，花了很长时间构建了这种协同工作的能力，形成了鹅厂网络非常重要的竞争力。该能力的核心是对多个出口的集中控制。
我们内部称之为“用上帝视角来选择出口、调度流量”。简单来说，我们把所有出口的带宽、路由、流量、质量、成本、IP、AS对应关系等信息收集或者输入到中控系统中，然后开发一套符合我们业务需求的算法，实现集中化控制。
计算保证了全国各地的所有ISP和用户都能在当前基础设施条件下以最好的网络质量访问鹅厂的服务。计算完成后，将执行策略下发给转发设备，将流量驱动到地面。
目前整个系统已经在现网实现。同时我们还在这个平台上搭建了一个服务层，让上层商家可以开发自己的APP，利用这个集中控制系统来实现自己的需求，比如DDOS就近清理、一键拦截等，公有云客户流量自动退出切换、平台级业务区域质量优化等 DCI 广域网 DCI 广域网还负责构建“服务与服务的连接能力”和“服务与服务的连接能力”用户”。
是连接鹅厂全球所有数据中心的网络，是整个基础网络平台的重中之重。重要的是，前面提到的多出口流量调度（海外DC与海外用户之间的流量）也是在这个广域网上承载的。
上图是DCI网络架构示意图。您可以注意到中间有两个广域网。
这样的设计与鹅厂的上层业务特点是密不可分的。最初，只有一个 DCI 网络，即 DCI for Elastic Services。
该网络承载所有广域流量，并且是一个负载很重的网络。我们几年前就开始使用TE技术来提高这个网络的利用率和流量调度能力。
，使得这个网络的技术迭代和建设扩展成为日常频繁的任务，而且亿昌平台级业务的容错能力和架构设计都非常强，与基础网络配合良好，让这个网络能够以极快的速度发展。高速。
近年来，金融服务和公有云服务逐渐成为网络保障的重点。这两项业务与亿畅以往的大流量平台级业务有很大不同，对网络质量和可用性提出了极高的要求。
为了应对公司业务的变化，我们开始建设第二个网络（图中的DCI for Interactive Services），重点服务这部分业务。这两个网络的特点如下： DCI for Elastic Services：大流量广域网，承载国昌90%以上的广域流量，服务国昌大部分成熟的平台级业务。
这是新技术的快速迭代。对于扩容频率较高的网络，某些链路的利用率有时会达到80%以上。
DCI交互业务：高质量的广域网，服务于互联网金融等对网络质量依赖度较高的业务。它采用通用、成熟、稳定的技术构建。
链路利用率控制在40%以下。没有新技术的迭代，扩展和变更的频率也较低。
非常低。正如前面多次提到的，网络架构设计是一个庞大的系统工程，需要考虑很多因素。
这些因素中，最基本、最接近网络本身的是组网和技术选型。 WAN拓扑按需构建。
随着业务的发展和流量的增加，最终形成非常复杂、无序的拓扑结构，这与数据中心组网有很大不同。其核心原因大概有以下几点： 互联网公司普遍采用分布式架构，即Network as a Computer。
网络已经成为业务系统的一部分，需要高带宽来支持业务系统的灵活构建。然而，数据中心的带宽便宜，而WAN带宽昂贵且延迟高。
因此，带宽要求高、耦合性强的业务模块集中在数据中心，跨广域网的业务模块之间的调用和带宽使用会谨慎得多。这导致数据中心中每台服务器点对点带宽高而广域网中每台服务器点对点带宽低的普遍现象。
对于网络来说，带宽就意味着成本，主要由网元硬件成本和链路成本组成。数据中心网元硬件成本占大部分，链路成本较低；而广域网硬件成本占比很小，链路成本极高。
基于以上两点，数据中心网络通常采用低成本、高带宽、功能简单的网络设备，即“Fast and Stupid Fabric”来构建，以最低的成本获得更高的带宽。广域网带宽建设和扩展会非常谨慎，基本上会根据容量使用情况按需扩展，最终形成无序的拓扑。
在流量调度方面，数据中心内点对点的带宽管理相对广泛，因为带宽容易获取，网元特征简单。 CLOS架构用于增加带宽，每个访问目的地只有一个方向（ECMP将其视为一个方向）。
根本不需要安排。广域网拓扑结构杂乱，到达目的地的路径不等多。
当接入关系非常大，并且这些流量承载在无序的拓扑中时，流量调度是不可避免的。以上四点基本描述了广域网的特点。
这些是设计架构时要考虑的最基本元素。那么下面重点介绍一下Goosechang的广域网“DCI for Elastic Services”的建设思路。
广域链路极其昂贵，而网元硬件成本却很低。那么问题的关键就变成了如何在获得最佳网络质量的同时提高链路利用率。
无论哪种网络，在任何领域想要提高资源利用率，技术都是最关键的因素之一，因此我们在广域网的技术应用上投入了大量的精力。试想一下，如果用传统的路由方式来驱动这个广域网，只会得到一个结果，那就是整体网络利用率不高，但局部拥塞时常发生，优化团队每天都急于扩容。
这个结果颇为讽刺。 。
造成这个问题的原因是传统的路由方法不够智能和感知，无法感知哪里可以利用资源。我们选择解决这个问题的技术方法是“集中控制交通工程系统”。
主要思想描述如下：将“路由控制系统”和“路径控制系统”解耦。路由与业务相关，只能确定目的地在哪里。
路径与流向相关，可以决定源和目的地之间可以采用哪条链路。路由系统计算出目的地后，就交给路由系统寻找最佳路径，准确投递到目的地。
这个思路和我们平时使用的实时互联网导航如出一辙。路由控制系统只需要知道目的地，并不关心如何到达目的地。
整体逻辑很简单，所以我们使用传统的BGP来传递路由。这部分不是SDN，稳定高效。
路径控制系统相对复杂。比如我们使用导航的时候，只需要输入目的地，具体的路线需要根据最短距离、每条路的堵车情况、红绿灯的数量、是否有路灯等诸多因素来确定。
确定并计算最佳路径。因此，路径控制系统也需要“上帝视角”。
它需要统一考虑全局拓扑、链路负载、时延、甚至链路成本，通过合理的计算得到最终的结果，所以这方面就需要SDN的帮助。解决问题的想法。
鹅厂的做法是对路径进行集中控制。控制器收集整个网络所需的所有信息并进行集中计算。
最后获得一定数量的点对点隧道供路由控制系统使用，控制器必须实时感知网络故障。根据流量变化优化全网最佳路径，保证所有访问流量都能实时获得最佳网络质量。
传统的RSVP-TE是类似的解决方案，但略显过载和复杂，包括跨硬件平台互操作问题、网元设备复杂度高、成本高、隧道数量过多，给RSVP消息量带来压力和风险。都给大规模TE部署带来一些挑战，但最大的问题是所有路径均由头端节点计算，不同需求争夺资源。
无法实现整个网络的整体优化，即没有“上帝视角”。另外，在这个广域网上还部署了差异化的服务，即流分类。
不同级别的流量享受不同级别的服务。当发生严重故障时，优先考虑高级别流量，保证最佳网络质量；优先考虑低级别流量，保证最佳网络质量。
流量可能会被抢占带宽，并可能绕道甚至丢失。这也是广域网的核心技术之一。
在保证关键流量的同时，可以将整体资源利用率提升到很高的水平，在可靠性和利用率之间形成良好的平衡。总结：建设大型基础网络平台是一项复杂的系统工程，需要团队的耐心和意志力。
它需要非常强的规划设计能力，但更重要的是在运营过程中，必须结合业务规划的变化、产业链的变化、传播环境的变化、主要矛盾的变化、综合成本结构等因素可以快速跟进和调整。这篇文章涵盖的内容很广泛。
笔者用较小的篇幅来讲述实现细节，更多的内容集中于鹅厂在做这些任务时的一些想法和经验。希望能给大家带来一点参考价值。
注1：所有标注来自“亿畅网络”的文字、图片等作品的版权均属于“深圳市腾讯计算机系统有限公司”。未经官方授权不得使用。
如有违规，一经核实，将保留追究索赔的权利；注2：本文部分图片来自网络。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-18
06-18
06-18
06-21
06-18
06-17
最新文章
【玩转GPU】ControlNet初学者生存指南
【实战】获取小程序中用户的城市信息（附源码）
包雪雪简单介绍Vue.js：开学
Go进阶：使用Gin框架简单实现服务端渲染
线程池介绍及实际案例分享
JMeter 注释 18 - JMeter 常用配置组件介绍
基于Sentry的大数据权限解决方案
【云+社区年度征文集】GPE监控介绍及使用