腾讯资深网络设计师陆素坚:腾讯互联网出口网SDN运营实践

本篇文章3681字，读完约9分钟

腾讯资深网络设计师陆素坚:腾讯互联网出口网SDN运营实践 9月27日，在云计算发展与政策论坛和数据中心联盟的指导下，由开放数据中心委员会主办，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的“2016 ODCC开放数据中心峰会”在北京隆重举行。腾讯高级网络设计师陆素坚下午在“数据中心网”分论坛发表了题为“腾讯互联网出口网SDN运营实践”的演讲。 9月27日，由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息与通信研究院和英特尔主办的2016年ODCC开放数据中心峰会在发展与政策论坛和联盟的指导下，由开放数据中心委员会主办，在北京隆重举行。当天下午，腾讯高级网络设计师陆素坚在数据中心网络分论坛发表了题为《腾讯互联网出口网SDN运营实践》的演讲。以下是演讲的全文:

腾讯高级网络设计师陆素坚

今天我分享的主题是腾讯互联网出口网络的SDN运营实践。腾讯自2012年以来一直在做SDN研究。最近，我们的网上出口安全数据网计划已在网上实施。今天，我很荣幸与大家分享这一计划的实施情况以及在此期间遇到的挑战。在开始谈论这个计划之前，让我们先简单了解一下腾讯的网络概况。我们在世界各大洲都部署了网络节点。目前，我们在海外拥有100多家运营商，总出口量近一吨。同时，我们也积极与当地进行对接。中国分为三个部分:华东、华南和华北，明年将向西扩展。目前，三大接入运营商的主力超过两个T带宽。同时，我们积极与中国的中小型运营商合作。我们已经聘用了近30家中小型运营商。我们可以看到，腾讯的互联网出口带宽资源非常丰富。管理这么多出口资源对我们来说是一项非常复杂的任务。我们必须定义许多路由策略，以允许不同的出口选择不同的路径。

在实际操作过程中，我们仍然会遇到更多的挑战。上面两张图片和上面的场景在网络操作中非常常见。这两个问题最根本的原因是BGP没有考虑实际的网络条件、质量条件和拥塞条件。我们想到了行业中常用的SDN解决方案。我们需要将网络中的数据信息发送给控制器，控制器将对其进行集中计算。让我们详细看看腾讯是做什么的。我们通过BMP收集路由，收集出口和网络流量，网络管理器收集出口网络管理器的质量信息，从外部导入AS和IP通信。我需要为这个控制器计算的所有信息都已经得到了。此时，我们用腾讯定制的路由计算算法完成集中计算，然后通过BGP实现正确的路由选择。总体计划看起来很简单。让我们看看实际操作有多有效。首先，让我们看看最简单的例子，SDN的好处。传统的阻塞会通知网络管理员我的IP受到攻击，网络管理员将操作网络设备。这种方法有很大的缺点。首先，效率很低。当我们受到攻击时，我们希望在毫秒内完成阻塞，因为当我受到攻击并频繁更换时，我需要频繁登录网络设备，这可能会影响设备的稳定性。我还需要其他操作和维护人员来操作这个设备。通过SDN解决方案，当我检测到被攻击的IP时，我通过面向北的接口通知控制器并伪造一组路由。目的地址是被攻击的IP。我们的运输设备预先装备了所指的路线。当路由被传递到转发路由时，阻塞是通过路由迭代实现的。当线路网络运行时，阻塞成功率提高100%，同步BGP标准协议在不频繁修改网络配置的情况下交付，这也提高了网络的稳定运行。

我们看另一个好处，出口调度，运营商的网络质量和出口故障或变化，如从左出口到右出口的切换，如从华东到华南的切换。以前，操作和维护人员需要随着网络设备的重新配置而切换接口，这是低效和不太可靠的。最初，为了减少配置更改的数量，退出开关是基于整个退出开关，因此不能基于网站来完成。通过我们的SDN方案，当我们需要进行退出切换时，我们可以登录前台管理页面。操作和维护人员直接输入必要的关键信息，然后控制器完成计算，最后将其转换为IP路由。这种效率也非常高，可靠性也非常高。我不再需要操作和维护人员说他们改变了配置。同时，对于很多腾讯线网出口设备的制造商来说，在改变配置之前，不同的制造商需要发布不同的配置，然后改变到标准的渠道。最重要的是实现基于网络的调度，使调度更精细。

业务的另一个最大收获是网络质量的提高，这可以自动优化。我们有很多腾讯网络直营店，有十几条路线可以到达用户。我们过去选择我们自己的方法，但是现在我们不能使用质量检测服务器。我们通过定期计算将它们发送到转发设备，转发设备引导流量趋势。我们获得的整个收入系统是自动征收、自动计算和自动分配的，可以为企业获得更好的服务质量。对于网络操作和维护，此算法是定制的。现在可以根据质量进行路由计算。将来，可以添加成本因素。在满足网络质量的前提下，我可以选择一个成本较低的插座，这样也可以让我们节省成本。

在这个计划着陆期间，一切顺利吗？我们也面临许多挑战。首先，这个数字是互联网出口的最早部署方案。BGP部署在每个转发设备的旁边，EBGP由运营商设备建立。BMP用于将路由发送到控制器。集中计算完成后，控制器通过IBGP将路由发送给BGP网关，BGP网关通过I2RS将路由发送给出口设备。我们在着陆时遇到了另一个挑战。在早期，当路由控制器与转发设备交互时，我最早选择I2RS协议。听了这个名字后，我知道这个协议是为了在路由器上打开一个接口让控制器进行调整而开发的。它最初是为SDN准备的。我一开始也选择了这样一个交互协议。然而，我们在着陆时遇到了一些问题。这个协议非常新。并非所有供应商都愿意提供设备来支持本协议。因为它太新了，即使供应商愿意这样做，每个人对此都有不同的理解，而且最终的理解是非常不同的，所以它不能互相兼容。而且，效率太低。该协议的顶层传输信道的效率非常低。我们发现在测量过程中，最高效率达到了每秒1500次，这对于拥有超过600，000个通道的互联网来说太低了。后来，我尝试选择其他交互协议，并选择了BGP通道。这已经发展了几十年，每个人都支持它。所有路由器制造商或交换机制造商都非常支持该协议。不存在兼容性问题。事实上，效率非常高。我们达到每秒15-20K，基本上可以满足所有要求。有些人可能会问，既然BGP这么好，为什么我首先选择I2RS。事实上，通过BGP通道路由将改变转发设备的原始路由表。这是什么意思？左边的图通过R反映到整个网络中，在接收到运营商的路由后，与运营商对接转发设备。路由控制器发出的路由只希望路由控制，因此我们限制了路由控制器的BGP路由，以防止它被释放到外部。我们控制器下的路由控制流量转发，因此我们的优先级高于运营商的原始转发设备。这样，就有了问题。当我们的路由控制器发出的路由覆盖了来自运营商的原始转发设备的路由时，该路由就变成了一个黑洞。只有当该设备存在时，其他设备才不存在，从而改变整个BGP路由表。这是我们不想看到的，可能会导致其他路线黑洞和滑移问题。这已经和许多制造商沟通过了，每个人都认为这是一个棘手的问题。一些供应商和制造商最终讨论了在转发设备中打开另一个表的最终解决方案。现在我们都知道有一个路由表和转发表来转发这个设备。他们说，对腾讯用户来说，再开一张桌子太长了。首先，并非所有供应商都愿意这样做。第三张桌子在我的路由器下面。即使没有这么快实现，硬件也需要改变。所以我们在考虑腾讯是否还有其他更好的解决方案，最后我们选择对网络设备进行评级。想法是分开设备。一些设备仅连接到操作员、操作员设备和国际数据中心设备。当IDC设备没有部署路由控制器时，我会通过RR向他反映。他没有退路。他不需要引导其他流量转发出去。即使在我的路由控制下的路由覆盖了来自RR的路由，我的发送也不会有任何影响。这很好地解决了在BGP的下一条路由之后改变路由的未来情况。这一变化获得了另一个好处。国际数据中心不与运营商联系。我们可以用交换机代替传统路由器。这已经作为试点部署在一个在线网络上。

我们在着陆时也遇到了挑战。巨大的路由表。SDN方案设计之初，集中计算基于网段，分散计算基于网段。这样，完成一次集中计算花费了10多分钟。这种效率太低，所以以后的想法应该改变。我们改变的方式是说，我们是基于AS来做的，无论是基于网络质量还是基于网段收集，并集中完成计算。超过50，000个计算在几秒钟内完成，然后转换成网络段信息。未来，我们仍然希望实现基于网段的优化，所以未来的想法是优化算法，提高算法的效率。第二个想法是我们可以通过控制技术和集群分布式处理来提高效率。这是我们以后将继续做的事情。我以前说过很多，现在我有一个简短的总结。腾讯在向互联网出口的网络中部署了SDN，给腾讯的网络带来了一些好处。路线选择因素是多样化的。其次，提高了运营效率和服务质量。在SDN架构的登陆过程中，遇到了很多挑战，积累了很多经验。SDN方案的登陆需要逐步进行。这并不是因为我们前面提到的BGP模式是理想的，而是潜在的故障相对较大。其次，交互协议的选择需要仔细考虑。最后，SDN方案的登陆需要灵活性。在现有技术的限制下，我们可能需要对SDN着陆方案或现有网络架构进行一些更改，以适应我们的SDN。我们今天将在这里分享它。谢谢你。