云运维如何选择部署适合自身的IDC和网络(1)
2016-02-20 19:33:40   来源： 苏永华 KVM虚拟化实践    评论：0 点击：

分享人：

苏永华：盛大游戏高级研究员，负责盛大游戏及G云网络架构规划及运维。

在此之前先后就职于中国邮政负责绿卡系统运维、腾讯公司负责数据中心的建设及规划。在网络、数据中心规划、建设方面拥有比较丰富的经验。

分享实录

目前市面上的云产品层出不穷，对于用户来说选择一款适合于自己业务的云至关重要。这要求用户选择的云产品除了与自己的业务需求契合度高之外，还要运行稳定、可用率高。

对于各种云平台来讲除了技术上的差异外，有一点是相同的，他们的资源都是部署在IDC机房和运营商网络上的。因此选择一个稳定的IDC和网络供应商来承载各自的云平台是各云服务提供商的首要任务。

之前力哥已share过G云COO冯总的相关IDC选择的文章，在文中着重对个运营商网络和节点做了阐述，因此，我会在其他方面多说一点，经验不足支持请大家多多包涵。

选择运营商骨干节点所在地区的IDC、网络一般为单线，电信和联通骨干节点所在地一般都是省会城市，IDC和网络普遍具有以下特点：

1.建设等级高，基础设施好：所建设的IDC等级相对较高，属于运营商4星级以上机房，电力、空调、柴发等基础设施都具有N+1或N+N的冗余，高可用性较好。一般不会因基础设施问题导致云平台服务小时级别的中断。

2.运维经验丰富、运维力量强：由于是骨干节点，IDC和网络的重要性较强，运营商会配备本区域最富有经验的维护人员团队，因此无论基础设备问题还是网络方面的问题，均可以得到比较迅速的定位或者协调资源来解决。

3.网络接入层级高、扩展方便：网络方面，骨干节点地区IDC一般一跳就会至省级或集团骨干网，甚至有的重点IDC核心设备直连骨干网C级设备。与其他地区相比减少了很多中间传输线路，降低了故障率且在带宽扩展性也非常的便利。

4.运营规范、服务到位：与其他地区相比运营IDC的时间都比较长而且有比较规范和完善的SLA，在服务方面比较到位。可以为客户省却大量的前期沟通成本。

从客户群体来看排名靠前的互联网企业例如BAT等都在这些地区有大量的部署，经过BAT对运营商服务质量、IDC基础条件、运营规范等方面的推动，运营商在服务意思和安全防范上无论从横向还是纵向来讲都是比较领先的。

G云部署在南京、上海、天津、广州等地机房都属于此类型的IDC，IDC和网络运行多年都非常平稳，每年基本可达到99.95%的可用率。

内容包括三个主题：

◆BGP机房和网络的选择

◆BGP在G云中的应用

◆墨菲定律对运维的启示

一、BGP机房和网络的选择

BGP网络融合了三大运营商甚至更多运营商线路，既可以解决国内运营商之间互联互通问题，也有效解决了有些业务对于多IP多线路架构上的不支持。因此，对于用户在不同时间段多运营商无缝接入的手游等类型业务特别适合。但是因BGP网络融合了多运营商线路，故对于网络故障率和故障后产生的影响都增大了很多，选择一个比较靠谱的BGP机房和网络非常重要!

对于BGP实现方式来讲，国内95%以上的BGP线路都不是全网穿透式BGP，一部分是与单个运营商网内BGP广播互联，一般是与运营商进行静态广播完成的；有的线路是采用本地运营商的资源，有的则是通过长途链路从外地引入至本地的。因此不同的方式、不同的线路资源对于网络的可用性、价格都影响较大。云平台对BGP机房和网络的选择主要注意以下几个方面：

1.BGP机房的选择---机房等级高、基础设施有冗余

国内目前有能力承建IDC并很好的对外服务的运营商除三大基础运营商外，仅有世纪互联、鹏博士、万国数据等少数运营商有实力。其他的二级运营商一般都是租用或与基础运营商合作的方式来发展BGP机房业务，为了降低成本有些运营时间较久或建设等级不高的机房会推向市场。这些机房的基础设施都比较老化甚至一些关键设施如UPS等都无冗余，运营隐患非常大，因此在选择BGP机房时要注意IDC运营的年限、建设的等级和关键基础设施的冗余。

2.BGP网络的选择---覆盖好、本地线路资源

目前BGP网络覆盖全国资源较好的的确是北京，北京的基础运营商相对比较开放也是BGP网络发展和运营最好的地区。广东地区发展次之。为保证BGP网络的品质，最好选择北京当地基础运营商广播接入的运营商。二级运营商为了节省成本或规避当地运营商的接入限制，有些线路资源从河北等地调度至北京，或把北京等地的资源调度至外地使用。除了造成延时大增外，还会有长途链路传输上的不可靠等隐患。这些都可以通过网络检测工具ping、tracert路由分析来判断线路资源是否属于本地。

3.客户群体高端或垂直，防Ddos攻击能力强

BGP网络因成本、资源等原因抗Ddos攻击能力比较弱，目前行业内BGP机房防Ddos的能力一般在5G左右，目前国内的攻击成本较低，因此现在网络遭受Ddos等安全攻击已成为常态。对于BGP运营商来说机房内客户的规模和其业务的合规性对于减少Ddos攻击数量有很大作用。

目前G云平台一般选择散户少、垂直用户多的BGP运营商作为合作伙伴，传奇、九阴等众多对端游、手游对网络要求较高的业务都在上面运行的良好。

二、BGP在G云中的应用

1.BGP简介

BGP是一种路由协议，目前internet上大型网络或者机构运行的协议绝大多数都是BGP，他协议传输可靠，更新消耗小，而且具备丰富的路由选择的策略，能够支持数十万甚至百万路由条路。因此在面临多出口路径选择且路由条路众多的情景，一般情况下都是选择使用BGP协议。

2.运营商BGP线路的那些事

由于国内多运营商的存在及互联互通问题，很多公司基于业务的特点希望所在的数据中心网络能够覆盖越多用户越好，且希望架构简单。因此选择多线路接入的BGP资源成为其必然选择。就运营商而言目前IDC出口类型主要分以下几种：　

第一种：静态链路，通过静态路由与运营商互联，运营商PE设备为城域网级别设备，这种方式最简单，而且价格便宜，一般为十几元至一百多元每兆，缺点是：无法穿透其他运营商且无法根据路由权值做路由选路策略。

第二种BGP广播链路：与运营商进行对等互联BGP连接，PE设备为骨干设备。需要拥有自己的IP地址和AS号，优势是，可以接受运营商的国内所有路由及发送自己的公网业务路由，丰富路由策略权值做路由调整使用。

这种方式链路租费和广播费用昂贵，且需要强大的运营商关系。每兆价格在几百元甚至千元。

第三种：静态代播，静态链路的衍生版本，通过静态路由与运营商互联，接入PE设备为城域网级别设备，运营商用静态路由指入互联，并用OSPF重分布将静态路由广播至全网，要求接入商必须有自己的ip地址。

此种方式在操作时，在静态链路的价格上还要付费给运营商IP广播费用一般为十几至几十元每IP、每月。此种方式也无法灵活的根据路由的权值做路由的选路。

各机房间采用BGP协议，方便路由灵活、敏捷的切换及多协议的扩展。对于一些较为边缘的机房则采用gre over ipsec的方式接入G云骨干网核心。G云机房还在根据业务的发展，与运营商进行BGP互联，建设自有的BGP出口资源。

由于BGP协议和资源使用方面相对都比较成熟了，相关的优缺点和走过的艰辛就不在此多说，因此在此仅仅与大家分享一下机房之间gre over ipsec备份线路互联时值得注意的点：

1.MTU问题，机房间做了GRE IPSEC后，数据包头大小是有变化的，需要考虑GRE和ipsec对包头的大小的影响，因此在内网传输数据或业务使用时一定要注意数据包分片问题，及时调整系统或者网络设备的MTU值。

2.Ipsec加密对网络设备是有消耗的，一般来说对数据进行des加密，对于cisco3945E设备，其效率是3des的4倍，当cisco 3945E运行 IPsec时；单向加或解密延时2.5ms，In+Out加解密延5ms，两端双向10ms ，ciscoASR路由器IPsec无延迟。Cisco 3945E 采用ESP-DES加密时内存占650M，CPU 50%。因此请大家在实施是根据数据中心在内网中的定位和需求灵活的对设备进行选型。

三、墨菲定律对运维的启示

二十世纪西方文化中最杰出的三大发现就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在问题，他总会发生。我和很多朋友在数据中心和网络、系统岗位挣扎多年，对此感受颇深，也有相当多的案例可以佐证。先说一个近期的案例，一朋友在机房搬迁时，大部分工作都操作完毕，最后仅仅是Ddos安全设备未与安全同事确认部署效果，加上连续奋战太累就先回去休息了，以为安全攻击是较小概率事件，因此即时有问题，下午也可以很快搞定。结果在上午休息过程中，该机房某款业务就遭受到数次了大流量Ddos攻击，导致整机房业务受损严重。

近来的Ctrip事件、青云、阿里云运营事件的产生从某种角度来说都有墨菲定律的影子。因此对于我们来讲主要有以下启示：

1.重视细节、重视流程

无论做变更操作还是版本发布及其他运维操作，在细心的同时严格按照流程和规范操作，比如小到变更流程、回退操作，发布流程大到运营管理和项目管理，使规范流程的意识深深的烙印在心里。无论是人为操作或者系统自动操作都有出纰漏的可能，按照规范流程操作可以有效的保护我们，使我们免于背负不必要的黑锅。

2.要有乐观积极心态，千万不能受负面情绪影响

在做运维过程中，任何操作都是战战兢兢、小心翼翼，若没有积极乐观的心态和强大的自信心，估计做不了几年运维，精神上就无法负荷了，肯定会被压垮，从而会导致更大的错误出现，乃至影响到自身的生活。因此，我们必须要有积极的心理暗示，强大的自信心来面对我们的工作，甚至客户、老板，只有这样才能在工作中游刃有余、稳步推动。也希望各位做运维的兄弟能够团结起来，进行资源、信息、知识共享降低运维的门槛。

提问环节：

问题1：运营商BGP线路里面，类型3和1相比的优势在哪？

答：类型1是目前单线或者双线机房常用的方式就是与运营山谷进行静态路由方式互联就是我们所谓的双线双IP，类型3是所谓的假bgp，即一个IP分别让几个运营商进行静态网内代播，运营商之间不能穿越。

问题2：有无做过TCP OVER ANYCAST这种网络架构的测试？

答：暂时没有进行测试，后续会有计划对DNS over anycast的技术进行研究，届时可以一起交流。

问题3：你们租机房的适合会考虑备份系统有效性吗?

答：备份系统有效性更多是从业务层面验证，对于基础性机房选择的话更多的我们会从基础设施(电、制冷、柴发)和网络稳定性去考虑。目前对于重要的业务系统例如计费认证类型的一般在同城都有灾备，而且同城各机房间会采用裸光纤进行环状互联，以保证关键数据传输的高可用性。

【编辑推荐】