CERNET 主干网运行报告

1. 内蒙古高校数字化校园建设研讨会 CERNET主干网运行报告 赛尔网络有限公司 CERNET 网络中心 网络运行部 李信满 2007年11月20日

2. 主要内容 • CERNET主干网最新进展 • CERNET主干网络运行状况

3. CERNET骨干网带宽的发展 从1994年CERNET成立到2006年，主干带宽增加30万倍

4. CERNET 主干网拓朴图

5. 国际互联线路升级 2.5Gx2 155Mbps CERNET HK US TEIN2 TANET 2.5G 100Mbps 622Mbps DRAGONTAP KOREN HARNET 155Mbps 155Mbps 100Mbps 100Mbps FLAG APAN 总国际带宽5G多

6. 国内互联现状 UNI CM CST GW ….. CNC 1G+6x155M+600M UNI 1G CST 1G CRS 3G etc. 1G 北京交换中心 2.5G 北京 CNC 2.5G 2G CT 上海 CERNET 1G CM CT: 中国电信 UNI: 中国联通 CNC: 中国网通 CM: 中国移动 CST: 中国科技网 CRS: 中国铁通 1G 广州 UNI 1G 8x155M+1G UNI CT 总国内互联带宽在15G多

7. 主干网最新进展综述 • 国际升级 • 1.5G  5G • 国内互联升级 • 铁通增加1G • 中国电信增加2G • CERNET主干升级 • 长春: 2.5G  5G • 沈阳: 7.5G  10G • 成都: 7.5G  10G • 西安: 5G  7.5G • 南昌: 155M  2.5G • 石家庄: 155Mx3  2.5G • 太原: 155Mx3  2.5G • 乌鲁木齐: 155Mx3  2.5G • 北京到武汉、武汉到广州第二个10G

8. CERNET主干网现状概述 • 主干网总带宽约450G • 10G线路：10条 • 2.5G线路：46条 • 155M线路：45条 • 节点带宽情况 • 地区中心全部 >= 10G • 带宽超过2.5G的节点：28个 • 所有省节点 >= 155M, 除拉萨、西宁、海口外>=2x155M • 主干网核心路由器台数：120台 • 全网主干节点数：38个节点 (36个城市) • 网络用户数: 2000万 • 国际出口带宽：> 4G • 国内互联带宽：> 15G • 世界最大的国家级学术网，国内前三大互联网

9. 10G 4x2.5G 2x2.5G 2.5G 4x155M nx155M CERNET 主干网升级规划(06年3月) 哈尔滨 沈阳 银川 呼和浩特 西宁 长春 北京 乌鲁木齐 大连 济南 石家庄 兰州 天津 青岛 太原 西安 郑州 合肥 南京 成都 上海 昆明 武汉 南昌 贵阳 重庆 拉萨 杭州 长沙 南宁 广州 厦门 福州 桂林 海口 深圳

10. 哈尔滨 沈阳 长春 呼和浩特 北京 太原 大连 银川 天津 乌鲁木齐 石家庄 兰州 青岛 济南 西安 西宁 郑州 重庆 南京 武汉 成都 上海 合肥 拉萨 杭州 南昌 贵阳 长沙 桂林 福州 广州 厦门 40G 10G 昆明 南宁 2.5G 海口 深圳 租用 CERNET主干网规划

11. NOC短信通知平台 • 由NOC开发，基于Linux/FreeBSD和短信网卡,支持手工及事件、程序触发的自动发送模式；有Web界面，可实时发送短信，将故障通知的时间由原来的不确定性固定为7x24小时的实时通知！ • 从2006年4月1日始，主干网的网络故障(发生与恢复)等信息实时发送给38个节点的NOC技术负责人，便于及时了解、处理网络事件 • 平均每月发出的短信数为2100多条

12. 故障管理系统TTS • 基于Web界面及MySQL数据库 • 实时记录、跟踪故障产生、处理、关闭的全过程 • 提供丰富的查询、统计, 报表生成、打印功能等

13. NOC值班消息中心 • 开发并应用了基于主动报警方式的消息中心 • 集中的消息中心，适于值班员处理 • 可汇集各种消息及告警来源，支持手动、自动方式 • 支持各种操作系统 • 主动、丰富的报警方式 • 即时消息功能 • 故障发现时间大大缩短

14. 网络运行异常检测与报警工具 • 网络正常状态描述（baseline） • 网络异常检测 • 流量异常 • 包数量异常 • 路由异常 • 机房温度异常 • CPU利用率异常 • ……

15. 网络性能管理 • 性能管理是网络管理五大功能（FCAPS）之一，网络建设完成后，除基本的故障管理外，性能管理非常重要 • 网络升级规划：何时升级线路和设备等 • 确保网络可用性和性能 • 测量和报告网络性能，确保符合SLA和QoS的要求 • 可以更好地理解、管理网络 • 对网络进行优化 • 主动网络管理的要求：不能被动地等待问题的发生和用户的抱怨

16. 网络性能管理方法 • 网络性能度量 • 延时、抖动、丢包率、可用率和带宽利用率等 • 性能测试步骤与性能 • 数据采集 • 网络正常行为描述 • 制定可接受的网络性能阈值 • 监控，比较与报告 • 网络调整与性能优化 • 所需的基本技术或工具 • SNMP, sniffer/netflow • Ping, traceroute, mrtg, iperf, wget etc.

17. 延时 (delay/latency) • 延时=传播延时 + 串行化延时 • 传播延时是信息通过传输介质时产生的延时，每1000公里光纤增加6ms • 比如北京到广州的来回距离约5000公里，CERNET主干网从北京到广州的延时在34ms左右，是正常的 • 串行化延时是信息通过中间设备时产生的延时，通常是由于设备上的排队、处理和交换引起的，通常小于1ms，但负担较重的路由器特别是防火墙，串行化延时会较大 • 对网络语音应用较好的延时应小于100ms • 测量工具：ping/traceroute

18. 抖动 (Jitter) • 延时的变化称为抖动，产生原因： • 可变的队列长度 • 包经过的路径不同 (如负载均衡等） • QoS技术的采用可能会产生较大的抖动 • 抖动对大部分应用没有影响，但对多媒体实时应用的影响较大 • 为了消除网络抖动的影响，通常应用系统需要采用缓冲（Jitter Buffer）来做平滑 • 对VOIP应用可容忍的抖动范围为20-30ms • 简单计算：Ping: J1 = abs(t2-t1), J2=abs(t3-t2), ….

19. 丢包率 • 丢包产生的原因 • 传输链路或硬件设备引起的CRC错 • 链路拥挤或队列满（tail drop or RED/WRED) • 路由改变（暂时丢包）或黑洞路由 • 接口故障或路由器故障 • 错误配置的ACL • ... ... • 既使1%的丢包，也会对网络应用的性能产生重要影响 • 测量工具：ping

20. 带宽利用率 • 决定何时进行线路升级 • 通常商业ISP在线路利用率到达35%时就要升级 • 对CERNET主干网，线路升级的前提是线路利用率达到70% • 测量工具: mrtg, snmp, telnet etc

21. 网络可用率 • 网络可用率=网络可用时间/总时间 • 是IP层的可达性 • 99.9%: 一个月的断网时间不能超过45分钟 • 99.99%: 一个月的断网时间不能超过5分钟 • 大部分运营商的网络可用率为99.9%，部分可以达到99.99% • 通常网络设备的可用率在99.99%以上，链路的可用率在99.9%以上 • 目前CERNET主干网的平均可用率超过99.9%

22. 每秒包数量（PPS） • PPS对网络设备的性能（如路由器CPU）影响很大，因此影响网络的延时与抖动等，如Nachi病毒爆发时的情景 • PPS对DOS/DDOS攻击的测量非常简捷 • 通常千兆以太网的PPS可能在10万个包左右（baseline），如果突然升到20万个，很可能发生了攻击 • 测试工具：show interface, snmp tools etc.

23. 设备CPU与内存 • CPU使用率最好不要超过30%，否则一有攻击时，设备将变得很脆弱

24. CERNET分布式性能监控系统架构 国家中心 Access Agent 显示 Core PoP PoP Core PoP Core Core Access Access Access Agent Agent …… Agent 38个节点

25. 主干网38个节点延时排序

26. 主干网38个节点7609 CPU排序

27. 主干网38个节点机房温度排序

28. 38节点主干线路利用率排序

29. 38节点网络抖动排序

30. 38节点网络可用率（4月份） 38节点月平均网络可用率为: 99.98%

31. 西安和乌鲁木齐节点带宽利用情况 西安2x2.5G: 乌鲁木齐3x155M:

32. 呼和浩特节点主干线路利用情况 流量情况 温度情况

33. SLA和QoS • SLA: Service Level Agreement, 服务质量协议 • SLA是网络运营商与用户之间签定的协议，SLA定义了提供的服务质量：包括带宽利用率、延时、丢包、抖动等 • QoS是SLA在技术方面的体现 商业 技术 SLA QoS

34. SLA实例: Level 3 延时 丢包 可用率 抖动 带宽保证

35. SLA 实例: Sprintlink

36. CERNET主干网SLA

37. CERNET NOC • 定义：所有运行维护和管理CERNET网络的工作人员 • 职责：负责运行和管理CERNET主干网、地区网、省级网，确保线路的畅通，机器、设备的稳定运行，路由的正常管理与维护等，保证整个网络的稳定、安全可靠和高效地运行。 • 任务： • 故障管理: 故障的发现、报告、定位及排除 • 配置管理：配置修改、版本控制、保证IP路由正确性 • 性能管理：服务质量保证、网络性能统计与分析、异常流量监控 • 计费管理：netflow/sniffer，基于国际入流量的计费模型 • 安全管理：CCERT，网络攻击及病毒的预防、应急处理 • 组织活动 • 每周38个节点的网络视频会议 • CERNET主干网运行工作会议

38. CERNET NOC组织结构 NOC主管专家 CERNET网络中心NOC 地区中心NOC 省主节点NOC 地区中心NOC ……

39. CERNET主干节点NOC主任名单 • 云南大学 杨勇 • 贵州大学 高鸿峰 • 西藏大学 安宝坤 • 广西师范大学 邓剑锋 • 广西大学 刘宁 • 海南师大 刘元鼎 • 深圳大学 江魁 • 中南大学 黄家林 • 郑州大学 陈刚 • 中国科技大学 张焕杰 • 山东大学 张健 • 中国海洋大学 李璐 • 浙江大学 俞宏知 • 南昌大学 段小荣 • 福州大学 赖伟堂 • 厦门大学 陈晓筹 • 大连理工大学 于广辉 • 吉林大学 玄光哲 • 哈工大 吴刚 • 北京大学 王竹威 • 北京邮电大学 张晓冬 • 西安交通大学 丁会宁 • 电子科技大学 李育强 • 华南理工大学 叶昭 • 华中科技大学 贺聿志 • 东南大学 吴剑章 • 上海交通大学 周子豪 • 东北大学 温占考 • 天津大学 鹿凯宁 • 河北师范大学 刘宏忠 • 太原理工大学 武江 • 内蒙古大学 许智君 • 青海师范大学 黄科军 • 兰州大学 陈文波 • 宁夏大学 余秀雅 • 新疆大学 刘胜全 • 重庆大学 唐学文

40. 每周NOC视频会议

41. 2007年CERNET主干网运行工作会议 • 2007年6月27至28日在海南三亚举办 • 共36个节点的NOC人员参加会议 • 会议除技术与经验交流外,还对主干网的管理进行了研讨

42. 实行主动式网络管理 • 主动式网络管理 • 在用户发现故障之前先发现 • 在用户抱怨之前先解决掉 • 实现主动式网络管理的因素 • 人: 态度、能力、方法 • 工具: 简单实用的网络管理系统（基本自己开发） • 基于WEB，方便访问与管理 • 实时报警： 手机短信，语音报警 • 精细化管理: 基于流的管理 • 运行人员要求 • PPP (Positive, Persistent, Perfect) 主动积极，坚持不懈，追求卓越！

43. CERNET网络运行中心 • 实行全年不间断网络运行服务和技术支持 • 365×24小时 运行值班 • 365×24小时 技术主管呼叫响应(24小时手机响应) • 热线电话: 010-62784048 • Email: cernoc@cernet.edu.cn • 国家网络中心NOC人员(13人） • 初级网络管理人员: 5 (CCNA) • 中级网络管理人员: 6 (CCNP) • 高级网络管理人员：1 (CCIE) • 网络运行主管: 1

44. CERNET网络运行中心

45. 最新的科研 • CERNET2 is Pure IPv6, 全世界唯一 • Softwire(IPv4 over IPv6), RFC4925 • SAVA,真实源地址体系结构 • IVI，IPv4/IPv6无缝访问(stateless end-to-end translation) • 用IP地址直接标识用户、服务等 • IPv6网管、应用等

46. 谢谢 责任就是荣誉！