vpn 中国节点
:为满足通信云、5GC、云联网等业务的综合智能化承载需求,中国联通产业互联网CUII将在融合现有CUII、IP承载B网以及DCN网络的基础上构建完成。根据融合方案及实验室测试结论,针对IP承载B网的VPNRR(简称VRR)路由架构进行研究,给出了相应的优化调整方案,避免了大量省内VPN路由信息在全网VRR间反射通告造成带宽浪费及系统资源过载,极大地减少了VRR上的VPN路由表,加快了路由收敛速度,为后期网络融合降低难度,保证了公司IP承载网融合工作的顺利开展。
作者简介:刘倩,厦门大学硕士,工程师,现工作于中国联通河南分公司云网运营中心,主要从事IP城域网及承载网的维护与优化工作。E-mail:。
为进一步提升公司现有产业互联网容量和综合承载能力,降低网络建设和运维成本,更好地支撑5G 和通信云化建设,中国联通计划对现存的2 张MPLS 骨干承载网络(现有的CUII 和IP 承载B 网)进行融合,以统一界面的形式更好地为用户服务。融合后的CUII 骨干网主要用于移动业务、大客户MV 业务、云骨干网业务、云网协同业务、物联网、联通内部管理系统以及固网NGN等多业务综合承载,并具备差异化服务的能力。
省际或省内移动业务均以MPLS VPN 方式接入移动业务IP 承载B 网,随着业务的快速发展以及5G 和通信云化的建设,业务侧开始采用IPv4/IPv6 双栈地址接入,IPv6 地址空间巨大,同时B 网的VPN 数量及路由条目与日俱增,因此控制VPN 路由信息在全网VRR与AR,VRR 与VRR 之间按需路由反射尤为重要[1]。为保证公司IP 承载网融合工作的顺利开展,根据总部统一安排,河南鹤壁作为全国第一个试点开展了IP 承载B 网VPN RR(Route Reflector)按需路由特性优化部署实施,效果明显,基于此集团进一步完善实施操作方案并启动了其他各省B 网按需路由反射优化工作。
中国联通IP 承载B 网采用分层网络结构设计,全网分为核心层、汇聚层和接入层,各网络层次的路由器分别简称为CR、BR、AR/ER[2]。核心层由北京、上海、沈阳、武汉、广州、成都、西安7 个节点组成,整个核心层为全网状结构[3]。汇聚层由全国25 个节点城市组成,汇聚节点的两台BR 就近上联至两个不同核心节点的CR 设备上,以河南BR 节点为例,其上联大区CR节点为北京/ 武汉。接入层由各省的地市节点组成,内部系统接入路由器AR 和外部系统接入路由器ER 均成对设置,并基于口字形结构与BR 连接,实现业务流量的接入汇聚。
B 网全网设置为一个统一的自治域,并分配公有的自治域号。全网域内采用ISIS 协议处于Level-2 区域,CR、BR 路由器的所有接口以及AR/ER 路由器的上行、横联、Loopback 接口都参与ISIS L2 路由。
B 网上所有业务路由的承载均通过MP-iBGP 实现,通过MPLS 三层VPN 方式实现业务连通和彼此隔离[4]。MP-BGP 采用扁平化层次结构,AR/ER 均与RR 建立对等体关系,所有MP-iBGP 路由均由RR 反射。
核心/ 汇聚层CR/BR 路由器仅承载IGP 路由(所有设备Loopback 与端口互联地址),不与RR 建立邻接关系。接入层AR/ER 路由器承载全部IGP 路由,作为Client 从RR 得到MP-iBGP 路由。
同一节点的2 台AR/ER 向RR 宣告相同路由时,采用不同的RD 值(双RD 组网)以便使RR 能够选出不同方向的VPN 路由加快路由收敛。
承载B 网不设置普通IPv4 RR 设备,只设置VPNRR 设备,采用“一级RR+ 备份RR +异地分簇”方案,系统一级VRR分别设置在北京、上海、广州、西安、沈阳、武汉、成都七个节点,各部署2 台RR 设备vpn 中国节点。全网一级RR 之间建立FULLMESH MP-iBGP 邻居关系,RR 两两异地成对,构成7 个簇,每个簇属于一个片区[5]。各省每台AR/ER 路由器作为Client 跟大区一级RR 路由器和本省省会AR1(备份RR)建立MP-iBGP 邻居关系,备份RR 作为所属两台一级RR 的Client 同时和省内AR/ER 建立MP-iBGP 邻居[6]。河南所属一级MPiBGP路由反射簇为武汉VRR1/ 上海VRR2。IP 承载B网VPN RR 结构如图1 所示。
随着业务的不断发展,IP 承载B 网内VPN 用户越来越多,目前现网中部署的业务系统VPN 多达70 多个,VPN 路由条目与日俱增,当前业务路由总数达到了60多万。由于AR 向RR 宣告相同路由时采用双RD 设计以及VRR 间FullMesh 全互联结构,VRR 上接收到的VPN 路由总数达到了200 多万[4]。
在IP 网中由于RR 默认不会过滤任何路由,其在接收到AR 通告的VPN 路由信息后,经过路由优选再反射给其他AR 和RR,IP 承载B 网中VPN 路由通告如图2 所示。
IP 网中由于RR 默认不会过滤任何路由,导致大量省内VPN 路由信息在全网RR 间进行反射通告,RR 处理大量的路由信息需要足够的系统资源,这就容易造成RR 的资源过载。
同时,RR 也会反射所有VPN 路由信息给AR,这使得大量无用路由信息在网络中传播,造成带宽资源浪费。AR 为了只接收本地期望的VPN 路由信息,需要配置本地路由策略进行过滤也消耗了AR处理策略的资源。现网VRR 路由反射处理如图3 所示。
通过对B 网内VPN 路由进行分析统计,发现省内VPN 路由数约占总路由数的87%,省内VPN 路由信息只需要在相应的RR 和AR 间进行反射通告即可,不需要在RR 集群间进行反射,外省省内VPN 路由也无需在本片区的路由反射簇和AR/ER 间进行反射通告。因此决定对全网VRR 与AR、VRR 与VRR 之间的VPN路由信息进行按需路由反射优化。
通过引入VPN ORF 特性,RR 在向对端反射路由时,会根据该对端设备所捆绑的VPN 实例的VPN-Target 属性对路由进行过滤[7]。通过VPN ORF 使对端设备只接收本地期望的路由,减少接收压力。
在全网RR 与AR,RR 与RR 之间部署VPN ORF特性,通过应用扩展的团体属性值对路由信息进行区分,以决定路由是否传递,实现按需反射。据统计,目前省内VPN 路由数约占全网总路由数的87%,在按需路由反射优化完成后,将极大地减少RR 上的VPN 路由表,避免系统资源过载,加快路由收敛速度。优化后的VRR 路由反射如图4 所示。RR 集群间仅反射通告省际VPN 路由信息,某省AR/ER 路由器与所属一级RR之间仅反射通告省际及本省省内VPN 路由信息。
VPN ORF (VPN Outbound Route Filtering) 是在基于BGP 多业务统一承载框架的基础上,实现VPN ORF 路由指导VPNv4/VPNv6 邻居路由发布。ORF 是通过将本地的路由策略应用到邻居的出口,使邻居在发布路由时过滤掉无用路由。
VPN 中的PE 设备将本地需要的路由IRT(import target) 和原始AS 号以VPN ORF 路由的形式发送给BGP 邻居,邻居根据此路由构造出口策略,使PE 只能收到本地期望的路由,减少PE 接收压力。如图5 所示,在使能VPN ORF 能力之前,路由反射器将接收到PE1 的VPN 实例的VPN 路由全部发布给PE3,但是对于PE3,只有ERT(export target)1:1 是匹配的;同样,路由反射器从PE3 接收到VPN 实例的路由全部发布给PE1,其中只有ERT1:1 才是匹配的。对于路由PE1 与PE3 上的VPN 实例,只有ERT1:1 是互相匹配的。在使能VPN ORF 能力之后,即在VPN-Target 地址族视图下使能了BGP 邻居关系。如图5 中,使能了路由反射器与PE1、路由反射器与PE3 的BGP 邻居关系之后,各邻居之间进行VPN ORF 能力协商,PE1 和PE3 将本地需要的路由IRT,以VPN ORF路由的形式发送给邻居,邻居根据此路由构造出口策略。也就是说,在PE1 在向外发布BGP VPN 路由时,会根据PE1 收到对应邻居对等体的IRT 路由进行过滤发布[8]。
基于BGP/MPLS VPN 建立的VPNv4 连接在RR 和AR 之间创建BGP-VT 地址族,建立VPN ORF 路由邻居关系,使能与指定对等体(组)之间交换VPN ORF路由信息。AR/ER 相对于RR 来说属于pgAcessIn 对等体组,RR 相对于AR/ER 来说属于pgVRR 对等体组。AR 将本地扩展团体属性路由过滤列表以VPN ORF 路由的形式发送给RR,RR 根据此路由过滤列表构造出口策略作为本地出路由过滤。当RR 向AR 反射路由时,仅发送该AR 需要的VPN 路由。极大地减少了发送的路由数量,减少网络带宽占用并提高了路由收敛速度,具体的按需路由反射优化配置分别在RR 和AR 上部署。
IP 承载B 网全国14 台RR 采用跨区覆盖方式构成7 个一级MP-iBGP 路由反射簇(Route Reflector Cluster)。各省每台AR 路由器作为Client 跟所属两台一级RR 和本省省会备份RR 建立邻居关系。为保证本次B 网VRR 按需路由反射优化工作顺利开展,及时为CUII 与IP 承载B 网融合工程提供有效的实施方案支撑,根据总部统一安排,先期在河南鹤壁开展VRR 按需路由反射特性测试和实施试点,效果明显。集团根据试点情况进一步完善了实施操作方案,并分阶段批量启动其他各省B 网按需路由反射优化部署工作。
首先,在全国7 个一级RR 集群中,先各选择一台RR,与其下联的AR 逐步建立VPN ORF 邻居关系,使能VPN ORF 功能。完成配置后,该RR 只向下联AR通告其需要的VPN 路由信息,实现对AR 的按需路由反射。其次,在完成下联配置的RR 之间,建立VPN ORF 路由邻居关系,交换VPN ORF 路由信息。完成配置后,RR 只能接收到对方RR 反射的省际路由信息,实现相应RR 间的按需路由反射。之后对7 个RR 集群中的另外一台进行部署,与其下联的AR 逐步建立VPNORF 邻居关系,使能VPN ORF 功能。最后,完成所有RR 之间的VPN ORF 路由邻居关系建立,实现所有RR间的按需路由反射优化部署[5]。
河南所属一级MP-iBGP 路由反射簇为武汉VRR1/上海VRR2。河南鹤壁作为集团IP 承载B 网VPN ORF部署试点率先完成了至武汉VRR1 方向的按需路由反射优化实施工作,路由优化效果显著,基于此集团完善实施方案进一步开展了全网批量优化实施。批量实施以RR 为准,因为每台AR 与同一集群的两台RR 互联,需要分批部署。河南联通IP 承载B 网AR/ER 设备至所属VRR 按需路由反射优化工作完成情况如表1 所示。
至此,河南联通IP 承载B 网全网40 台AR/ER 设备按照集团规划已经全部完成了至武汉/ 上海一级VRR按需路由反射优化,并在优化操作完成后严格进行了全业务验证工作保证本次优化方案顺利实施。
VRR 按需路由优化后,AR/ER 设备只从RR 接收到本地期望的路由,减少了路由接收压力,同时RR 集群间仅反射通告省际VPN 路由信息减少了域内路由容量的压力,同时也节约了骨干带宽资源,提高了设备处理能力。
1)按需路由优化前,在武汉VPN RR 设备上查看向鹤壁某台AR 上发布的VPNv4 路由条目约136 万条,VPNv6 路由条目约13 万条:
2)按需路由优化后,在武汉VPN RR 设备上查看向鹤壁某台AR 上发布的VPNv4 路由条目约为11.5 万条,减少了约124.5 万条;VPNv6 路由条目为0 条(鹤壁目前未有IPv6 VPN业务地址接入),减少了约13万条:
河南联通IP 承载B 网40 台AR/ER 设备归属于武汉VPN_RR1和上海VPN_RR2构成的CLUSTER_6 地址簇。据统计,按需路由优化前,对于作为clicent 的AR/ER 设备来说,每台AR 需要从两个方向的VRR 接收约272 万条vpnv4 路由,全省40 台AR/ER 设备从2 台VRR 接收合计约10 880 万条vpnv4 路由;按需路由优化后,每台AR 从两方向的VRR 接收约24 万条vpnv4 路由,全省40 台AR/ER 设备从2 台VRR 累计接收近960 万条vpnv4 路由,优化减少了超过90% 的路由信息,极大地节约了带宽、设备资源,加快了路由收敛速度。
为保证公司产业互联网CUII 与B 网融合工作的顺利开展,满足通信云、5GC、云联网等业务的综合承载需求,本文通过对IP 承载B 网VPN 路由反射处理机制问题的研究,提出了在B 网进行VRR 按需路由反射优化的部署。通过在全网VRR 与AR、VRR 与VRR 之间部署ORF 特性实现了VPN 路由按需反射,避免了大量无用路由信息在网络中传播,大大节约了网络资源,加快了路由收敛速度,为后期网络融合降低了难度。
[2] 胡媛.基于集群路由技术的IP网的设计与实现[D].西安:西安电子科技大学,2010.