网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

1. 网络流量监测分析及可视化--中国科技网全网网络流量分析系统培训网络流量监测分析及可视化--中国科技网全网网络流量分析系统培训 中国科技网研发部 联系邮箱 yanfazu@cstnet.cn 韩春静 chjhan@cstnet.cn

2. 报告提纲 • 全网流量分析系统简介与目前使用情况 • 流量分析技术介绍 • 可视化技术介绍 • 全网流量分析系统系统使用培训

3. 全网流量分析系统简介与目前使用情况

4. 用户网络流量 带宽饱和状态 全网流量分析系统项目背景介绍 • 网络带宽持续增长的原因对管理者未知 • 科研应用信息化程度对管理者非常重要 • 利用网络进行科研数据交互的国外科研机构是研究所的重要资源 各种国际科研研究机构和网络机构

5. 全网流量分析系统项目背景介绍 • 网络管理者需要获得使用网络的详细情况 分析网络流量

6. 中国科技网全网流量分析系统 项目介绍 全网流量分析系统从各个角度和深度分析科技网流量应用组成，用户使用习惯，科研流量去向等，为院和研究所信息化领导，科技网中心管理者、研究所网络管理者提供信息化管理工具 院“十一五”信息化项目 中国科技网网络中心研发部自主开发

7. 全网流量分析系统建设大事表 • 2008年12月份-2009年2月份，需求调研 • 2009年3月份-8月份，系统设计和开发 • 2009年8月份-10月份，系统测试 • 2009年10月份-12月份，新增功能设计开发 • 2010年1月份-3月份，系统测试 • 2010年3月份-至今，院内研究所开放使用。 多次为院信息化专家组演示系统功能，得到了专家的指导和肯定！ 目前系统上线运行正常，已经为全院的研究所开放了账户，多个研究所使用后，评价系统功能强大，很方便使用！

8. 全网流量分析系统解决的关键技术 • 高速链路流量实时捕获技术 • 深度包监测技术 • 海量数据高性能处理与存储技术 • 创新可视化流量展现

9. 全网流量分析系统架构设计 研究所 管理者 应用层 网络气象图 科研流量协作分析 主机活跃度分析 • 科研流量协作分析 • 应用分析 • Top IP地址分析 • Top IP地址对分析 • 记账信息 • 主机活跃度分析 • 分院统计报告 • 研究所统计报告 研究所分析 链路分析 统计报告 WEB Service 中间服务层 数据库 处理层 缓存服务 数据处理器 数据处理器 流接收器 DPI流接收器 网络层 netflow DPI设备

10. DPI（深度包检测）探针应用于流量分析 • DPI探针通过镜像方式获得流量信息，不依赖路由器Netflow的配置，不依赖路由器的硬件基本配置 • DPI探针可以为软件或者硬件，根据网络浏览级别大小选择 • DPI探针获得的应用流格式不固定，统一的处理程序不适用 • DPI探针流格式中间增加网络应用信息字段，应用信息通过应用分级获得不同的应用分析效果 • DPI探针数据量大于Netflow，需要在处理时增加采样，并采用分布式数据库进行数据处理和保存 与Netflow比较

11. 流量采集和保存关键技术 • Netflow海量数据采用文件作为临时数据保持格式，数据批量导入数据库 • 增加最近时间段的的数据库快表，获得最近5分钟，一个小时，一天，一个月的数据统计结果，提高热点关注数据的查询效率 • 采用分表的方式，将不同颗粒度数据进行保存，保证长期数据存储和查询速度

12. 引入虚链路 虚链路：虚链路相对于交换机，路由器网络中的链路，通常，2个设备端口形成一条链路。虚链路指可以将链路进行相加，形成逻辑意义上的链路，即虚链路。 China：国内所有所有出口线路 Foreign：国际所有出口线路 Gloriad：Gloriad所有线路 All Border：国内和国际所有出口线路

13. 静态图 流量可视化 文本 表 交互图

14. 可视化成就网络发展 user1 2612597673600 2640897130800 5253494804400 user2 10688049000 8927868600 19615917600 user3 54381476600 49254297300 103635773900 user4 766579973300 861216720300 1627796693600 user5 2947147088800 3381686944000 6328834032800 user6 72153578000 47381412000 119534990000 越来越高效洞悉网络

15. 流量可视化技术介绍 • 数据可视化（Data Visualization）技术指的是运用计算机图形学和图像处理技术,将数据换为图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。 • 流量可视化：即网络流量的信息可视化。我们可以通过数据可视化技术，发现大量IP地址、通信机构和不同应用隐含的规律，从而为决策提供依据。

16. 可视化开发包 • Jfreechart，java包，方便使用，对于复杂的图形绘制，每个参数需要设置，对使用者要求比较高 • Flex chart，Adobe自带包，需要对Flex开发比较熟悉，包中提供了各种丰富的图表控件以及灵活的控制参数，可以制作动态flash报表 • Google Map 和Google Earth开发包，在程序中间可以方便的嵌入开发包，目前提供了flex，JavaScript，flash等接口包

17. 动画报表工具举例 • Open Flash Chart ：http://teethgrinder.co.uk/open-flash-chart/，完全开源免费 • Fusionchart：http://www.fusioncharts.com/ 非开源，具有免费使用版本 • Anychart：http://www.anychart.com/home/ 非开源，可以下载使用，生成报表附Logo • Amchart：http://www.amcharts.com/ 非开源，可以下载使用，生成报表附Logo

18. 动画报表工具特点 • 交互性强大，信息含量丰富 • 方便使用，配置简单 • 仅仅需要修改数据文件格式和配置模板 • 可以在不同的开发语言上使用 • 需要对数据库比较熟悉 • 需要对每种工具的配置规则熟悉 • 没有可视化的开发界面，预览需要通过调用程序调试

19. 商业智能报表工具举例 • WEBFOCUSInformation Builders公司 • Style Report 美国英网软件公司（InetSoft） • 润乾报表 润乾公司 开源商业智能报表软件 • openI http://openi.sourceforge.net/openi_product.html • jaspersoft • http://www.jaspersoft.com/ • spagoBI • http://www.spagoworld.org/xwiki/bin/view/SpagoBI/ • pentaho • http://www.pentaho.com/download/

20. 商业智能报表软件特点 数据访问: 与数据库连通性，用户定制数据访问适配器 专业报表设计 强大的所见即所得（WYSIWYG）报表设计工具，拥有像Word一样简单的操作过程，以及像HTML一般的精美布局，丰富的展现元素库 嵌入商业逻辑 支持在报表、页面及元素中使用JavaScript脚本，为报表植入复杂的商业逻辑，脚本可控的报表输出及报表打印 交互式报表视图 提供零客户端下载的，安全可靠的报表门户 ，支持数据在已生成的报表内进行排序、过滤及隐藏 ，支持邮件发送，服务器端打印及客户端打印功能 嵌入机制与集成 支持Web service和SOAP 架构 ，可配置的报表门户组件，支持通过各种开发语言API 对数据和报表进行操作

21. 全网流量分析系统使用培训

22. 内容提纲 • 科研流量协作分析 • 应用分析 • Top IP地址分析 • Top IP地址对分析 • 记账信息 • 主机活跃度分析 • 分院统计报告 • 研究所统计报告

23. 科研流量协作分析 • 在这个功能模块中间，系统会呈现给用户一个地理的流量视图。用户可以查看本研究所流量与外部机构交互的情况 • 系统界面包括三个区域： • 选择区域 • TopN表格 • 地理视图

24. 选择虚链路 科研流量协作分析 选择时间段 大洲选择 全屏按钮 为了更全面、美观的查看地图，提供全屏按钮 国家/地区查询 这部分在地图里点击任何国家，可以提供具体一个国家的查询。在查询区域没有显示，此功能的查询。

25. 科研协作流量分析-Top N 地址对 柱图 • IP地址对柱图更直观的展示外部机构交换流量最大的情况。

26. 科研协作流量分析-Top N 国家饼图 • 饼图中国家/区域的大小显示了每个国家的流量比例，在Top 10的国家以外，还显示了其他国家/区域的所有流量，名称为“其他”

27. 流量分析-研究所分析 • 在这个功能模块中间，系统提供研究所的分析数据和图表 • 上行：指出研究所（科技网）的流量 • 下行：指入研究所（科技网）的流量

28. 流量分析-研究所分析-流量趋势 • 菜单选择：流量分析》研究所分析-》流量趋势 • 内容描述 • 系统提供链路流量总体的流量上下行图表

29. 流量分析-研究所分析-应用分析 • 菜单选择：流量分析》研究所分析-》应用组成 • 内容描述 • 系统提供此研究所出口流量在各个种应用分布情况

30. 流量分析-研究所分析- TOP IP地址 • 菜单选择：流量分析》研究所分析-》TOP IP地址 • 内容描述 • 系统提供研究所流量使用最多的IP地址情况，图表中提供Top 10的IP地址柱图

31. 流量分析-研究所分析- TOP IP地址对 • 菜单选择：流量分析》研究所分析-》TOP IP地址对 • 内容描述 • 系统提供研究所出口流量中流量使用最多的IP地址对情况，图表中提供Top 10的IP地址对柱图

32. 流量分析-记账信息 • 菜单选择：流量分析》记账信息 • 内容描述 • 在这个功能模块中间，系统会提供研究所流量统计的具体内容。研究所可以以此生成每个IP地址的记账信息 • 实时流量查询 • 日流量查询 • 月流量查询

33. 安全监测-主机活跃度 • 菜单选择：安全监测》主机活跃度 • 内容描述 • 系统分析研究所内部每个IP地址对外建立Session的活跃度情况，网络管理员可以根据Session的活跃度来进行异常主机流量的监测。 • 主机活跃度图分为三个部分，选择区域（上部），时间列表（中部），活跃度拼图（下部）

34. 安全监测-主机活跃度 • 选择“类型”解释 • 会话数：根据IP地址在特定时间和外部IP地址建立的session数量进行汇总 • PPS：根据IP地址在特定时间和外部地址的每秒包（packets）交换数量汇总 • BPS：根据IP地址在特定时间和外部地址的每秒位（bits）交换数量汇总

35. 统计报告 • 内容描述 • 统计报告为了向网络的管理者和研究所的管理者展现出本单位网络应用的情况，统计报告分为院网报告，分院报告和研究所报告 • 流量应用分析报告每个月出一份，系统支持报告以PDF的格式下载 报告分类 院网报告 分院报告 研究所报告

36. 统计报告-应用名称分类

37. 统计报告 流量趋势报表 • 报表横轴为各种应用分类，纵坐标为流量值，本图对每种应用在一个月的流量情况使用柱图方式显示出来，每种应用一个柱子，分上行和下行组合，并对流量进行排序 • 报表横轴为月报当月的日期，纵坐标为流量值，不同的颜色表示不同的应用。在趋势图中，不同的应用流量采用叠加的方式进行展示，可以从应用所占的面积来判断应用的大小 流量应用组成报表

38. 统计报告 内部Top IP地址流量报表 • 报表横轴为研究所内部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了流量最多的Top 20月流量情况 外部Top IP地址流量报表 • 报表横轴为研究所外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了与研究所通信的外部地址流量最多的Top 20月流量情况

39. 统计报告 内部IP地址P2P应用流量排名 • 报表横轴为研究所P2P应用流量的Top 20的内部IP地址，纵坐标为流量值，本图以柱图方式显示了研究所P2P应用流量最多的内部Top 20地址的月流量情况 外部IP地址P2P应用流量排名 • 报表横轴为研究所P2P应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所P2P应用流量最多的外部Top 20地址的月流量情况

40. 统计报告 外部Web服务器流量排名 报表横轴为研究所Web应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所Web应用流量最多的外部Top 20地址的流量情况 外部FTP服务器流量排名 报表横轴为研究所Ftp应用流量中的外部Top 20的IP地址，纵坐标为流量值，本图以柱图方式显示了研究所Ftp应用流量最多的外部Top 20地址的流量情况

41. 统计报告 IP地址对流量排名 • 报表横轴为研究所流量中Top 20的IP地址对，纵坐标为流量值，本图以柱图方式显示了研究所流量最多的通信对的流量情况

42. 统计报告 研究所流量排名报表 • 报表横轴为每个研究所，纵坐标为流量值，本图使用柱图的方式显示了分院内研究所的月流量情况，每个研究所一个柱子，分上行和下行组合，并对流量进行排序

43. 谢谢