1 / 71

高能所网络环境 与 高能所网络综合管理系统

高能所网络环境 与 高能所网络综合管理系统. 齐法制 ( 高能所计算中心 ) Fazhi.QI@ihep.ac.cn. 1. 高能所和高能所计算中心介绍. 高能所和高能所计算中心概况. 1 个国家实验室， 2 个院重点实验室。 北京正负电子对撞机国家实验室 中科院核分析技术重点实验室（北京分部） 中科院粒子天体物理重点实验室 国家纳米中心协作实验室 —— 同步辐射实验平台 纳米生物效应实验室（纳米中心、高能所共建） 网络安全实验室（高能所、中央办公厅电子科技学院、中关村管委会） 计算中心 33 名固定人员，近 20 名项目聘用人员， 10 多名研究生

mohawk
Download Presentation

高能所网络环境 与 高能所网络综合管理系统

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高能所网络环境与高能所网络综合管理系统 齐法制 (高能所计算中心) Fazhi.QI@ihep.ac.cn

  2. 1. 高能所和高能所计算中心介绍 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  3. 高能所和高能所计算中心概况 • 1个国家实验室，2个院重点实验室。 • 北京正负电子对撞机国家实验室 • 中科院核分析技术重点实验室（北京分部） • 中科院粒子天体物理重点实验室 • 国家纳米中心协作实验室——同步辐射实验平台 • 纳米生物效应实验室（纳米中心、高能所共建） • 网络安全实验室（高能所、中央办公厅电子科技学院、中关村管委会） • 计算中心 • 33名固定人员，近20名项目聘用人员，10多名研究生 • 承担多项国家和科学院重大项目 • 大型计算平台研究与建设 • 网格平台建设 • 网络安全研究 • 园区网络 • …… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  4. 为什么要计算中心 • 海量数据 • 大量计算，数据处理 • 网络，数据传输，国际交流 • …… 理论 计算 实验 (Borromean Rings) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  5. BEPCII & BESIII BEPCII正在升级到双环 亮度将提高到(3~10)×1032 cm-2s-1 J/, ’, -charm物理研究 基地 5年内将积累5PB的数据，需要 2000个CPU用于数据分析 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  6. 羊八井宇宙线实验 • 中国-意大利-日本在西藏合作进行宇宙线实验 • 每年产生200TB的原始数据 • 数据需从羊八井传回高能所，并分析处理需要约400个CPU用于数据重建 • 合作单位实时访问数据 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  7. 大亚湾中微子实验 • 在广东大亚湾核电站进行的物理实验 • 重大国际合作 • 中国 美国 等六个国家和地区 • 34个研究单位 • 190多名研究人员 • 每年产生200TB数据 • 数据需从大亚湾传回高能所，并分析处理，需要约200个CPU • 合作单位实时访问数据 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  8. LHC QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  9. 高能物理计算需求 每年产生的数据: >15 PetaBytes/year 刻度、重建、模拟等计算所需的 CPU： 10万个以上！ QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  10. 2006年2月，高能所与CERN签署了合作备忘录 承诺建设WLCG二级地区中心 Lab m Uni x CERN Tier 1 grid for a regional group Uni a UK USA Lab a France Tier3 physics department Tier 1 Uni n Tier2 Japan … CERN Tier 0 Lab b Germany Taipei  Lab c grid for a physics study group Uni y  Uni b  Desktop 参加国际高能物理网格 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  11. 中国高能物理网格 BES Online system 海量数据 存储系统 Offline processor farm YBJ Tier 0 CERN CMS & ATLAS IHEP Computing Center CASTOR Tier 1 PKU SDU …… USTC NJU … 物理数据 缓存 Tier 2 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  12. 计算中心的工作 • 高能所网络环境建设、管理与维护，网络性能分析与优化 • 日常办公素要 • 高能物理数据驱动 • 新一代计算平台建设 • 超大规模计算机集群（＞4000CPU） • 超大规模数据存储系统（ ＞5PB） • 参与国际高能物理网格计算环境研究与建设 • 高能物理计算框架 • 网络安全新技术研究 • 高速网络数据获取与分析 • 高速网络信息监视系统 • 安全BIOS研究 • 网络取证系统 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  13. 与国内外研究机构建立了紧密的合作关系 • CERN • IN2P3 • ASCC • CNIC • INFN, 北航，北京大学, 山东大学, 南京大学,华中师大,… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  14. 2. 高能所网络环境介绍 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  15. 高能所校园网环境 • 有线网络 • 150余台设备，cisco，港湾，force10，cabletron，网威 • 万兆骨干（计算网络），千兆园区连接 • 无线网络 • 办公区 • 依托现有有线网络设备、链路 • 增加无线接入点（AP） • 便于管理和控制，无线网络为一个VLAN，跨越全所办公区域 • 自主开发了控制系统和记账系统 • 家属区 • 方便用户在家办公 • 家属区网络作为高能所校园网内网的一部分 • 为了安全和访问控制，在家属区网络和校园网之间增加一台网关设备（防火墙，IP接入控制，DHCP服务器） QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  16. 高能所校园网拓扑图 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  17. 高能所广域网以及远程网络连接 • 广域网 • 1Gbps 科技网 • 同美国、亚太、欧洲良好的通讯质量保证 • 远程连接 • 西藏羊八井 • 155Mbps 专线 • 广东大亚湾 • 45Mbps专线 • 2011年底升级至155Mbps QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  18. 高能所应用系统 • 公共服务系统 • 邮件系统、网站群、ARP等 • 计算资源 • ~4000个Core • 存储系统 • 磁盘：900TB • 磁带库：2PB QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  19. 高能物理实验对计算和存贮资源的需求 • CMS 和 Atlas - 2000CPUs/600TB • BESIII - 4000CPUs/400TB 磁盘/4.8PB 磁带 • Argo - 400CPUs，200TB磁盘/200TB 磁带 • Daya Bay - 200CPUs/200TB磁盘/200TB 磁带 • HXMT - 1000CPUs/800TB. • 生物 - 200 CPUs并行计算环境 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  20. 3.高能所校园网综合管理体系 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  21. 制度（人员分工及岗位责任制度） QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  22. 制度 • 周报制度 • 月例会制度 • 高能所托管服务器管理办法 • 高能所无线网络使用制度 • 高能所IP地址申请制度 • …… QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  23. 网络综合管理系统 • 无商业软件，全部自主开发+开源软件集成 • 基于需求驱动 • 功能模块 • 用户信息（计算机信息）管理 • 用户接入管理（有线网络/无线网络） • 网络监视系统 • 设备/服务运行状态监视 • 设备/服务性能监视 • 设备故障报警（Email、图像、声音、短信） • 设备/服务可用性报告 • 网络流量（bps & pps ）实时展示 • 广域网监视 • 用户流量记账（账单/大流量提示/流量查询等） • 流量分析（定向性分析/协议统计等） • 设备运行管理系统 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  24. 用户(IP/MAC)信息管理 • 自主开发 • LAMP架构（Linux+Apache+MySQL+PHP） • 功能 • 所有系统的基础（接入控制，记账等） • 用户在线申请IP地址 • 管理员审核用户申请，并且根据其具体信息分配IP • 通过Email通知用户IP地址设置信息 • 在线查阅IP地址信息 • 在线申请注销IP地址信息（需要管理员审核确认） • 在线更改注册信息（需要管理员审核确认） QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  25. QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  26. 有线网络用户接入控制 • 有线网络（自主开发） • IP+MAC： • 与IP地址管理系统关联，管理员审核之后自动完成绑定操作，并Email通知用户绑定信息 • IP+MAC+SW Port： • 由于需要知道port值，必须用户计算机在线时方可绑定，此时，提供一个web接口，管理员通过该界面直接点击即可完成绑定/取消绑定的操作 • 减少了管理员的工作量，值班人员即可操作（无需掌握交换机操作命令） • 以上绑定全部基于acl实现，而非静态ARP，实现了没有注册登记（绑定）的IP无法进行网络访问 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  27. 无线网络用户接入控制 • 无线网络（自主开发） • 办公区 • DHCP • 高能所校园网区域均可获取信号和无线网络IP • 上网时，系统自动判断用户无线网卡是否注册，如已注册，则可正常访问；否则，被自动重定向到注册页面 • 注册和审核过程：（见无线网络使用规范） • 管理员通过web页面对用户上网申请进行审核 • 家属区 • 离线注册 • 双重保障 • DHCP：基于MAC地址分配地址，未注册MAC无法获取地址 • 用户认证 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  28. QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  29. QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  30. QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  31. 高能所网络监视系统需求 • 报警方式 • 界面状态显示报警 • 声音报警 • 邮件报警 • 结果发布 • web • 管理控制 • 监视对象管理 • 用户管理 • 故障事件管理 • 日志管理 • 网络拓扑管理 网络设备/服务器是否存活 CPU利用率 内存占用率 网络设备接口/服务器网卡处理数据包数 服务器硬盘分区剩余空间大小 指定服务状态 指定进程工作情况 网络连接数量 监视对象 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  32. 监视系统概要 • 系统 • 开源+开发 • LAMP架构 • 工作流程 • 首先读取系统级配置文件，对监视系统的监视对象和监视策略进行初始化 • 调用网络扑图结构图，将采集到的性能数据与网络拓扑图进行关联，形成网络链路状态监视结果显示，并根据结果分析以不同的颜色予以区分 • 针对节点（服务器、网络设备）监视，同样根据监视策略将监视结果使用不同的颜色状态在主页面上显示 • 根据报警策略设置，向相关人员发送异常状态设备和服务警报信息。 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  33. 设备/服务监视 • 网络设备 • 交换机、路由器、防火墙 • SNMP • 监视项目 • 网络设备运行状态（UP/Down） • 网络设备性能状态 • 设备cpu利用率 • 设备内存利用率 • 设备接口收发数据包/字节数等--〉链路性能信息 • 服务器/应用 • 应用服务器、计算节点等考虑到安全因素无法开启SNMP的网络设备 • 服务器运行状态（UP/Down） • 服务器性能状态 • 服务器自身的状态，如内存、cpu/load、进程数等 • 安装客户端 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  34. 设备故障报警 • Email • 图像 • 声音 • 短信 • 避免现场值班 • 提高故障响应速度 • 一个短信网关（自主开发,系统+短信猫+SIM卡） • 预设故障诊断规则库 • 根局采集到的性能数据，查询故障诊断的规则知识库，判断出是什么故障 • 查到故障类别，及时发送报警信号 • 无法查询到故障类别，则在发送报警信号的同时，发送故障信息给管理员，由管理员更新完善故障规则库 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  35. 设备/服务可用性报告 • 直观的图形化报告 • 用于： • 网络设备、服务健康性评价 • 设备、服务器升级的数据支持 • 管理员工作考核 • 年报资料（供领导查阅） QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  36. 网络流量（bps & pps ）实时展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  37. 综合管理系统应用效果展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  38. 页面导航和汇总统计 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  39. 网络拓扑实时显示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  40. 监视对象分组显示/组内成员状态显示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  41. 故障报警 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  42. 网络拓图扑调整 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  43. 用户流量统计 用户 信息 • 自主开发 • 原理 • 功能 • 账单 • 大流量提示 • 流量查询 • 科研流量/非科研流量 • 效果 用户 信息 DHCP 日志 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  44. 记费系统 • 目的： • 避免网络资源浪费 • 冲抵网络链路租用费 • 功能： • 流量采集、费用计算、账单、大流量报警、网上查询 • 基于IP（有线）和基于MAC（无线） • 丰富的计费策略， • 用户不同，策略不同 • 所内之间不计费 • 科研与非科研流量分别统计计费 • 分时段计费：按照时段设置优惠策略，白天收费高些，夜晚收费优惠。 • 培养用户珍惜网络资源的好习惯，有效的提高网络使用效率并减少了带宽压力。 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  45. 流量分析 • 开源+开发 • 目的 • 网络的可视性 • 应用的可视性 • 长期的趋势数据用作网络带宽规划 • 功能 • 定向性分析 • 协议统计 • 实现 • 数据采集处理模块 • 端口镜像 • nProbe • 数据存储模块 • Perl+Mysql • nProbe输出的数据文件  mysql数据库 • 数据分析模块 • PHP+Apache • 网络流向分析： WHOIS：IP地址信息<->地域信息 • 网络应用统计： P2P/VOIP/FTP/HTTP/…统计 • 根据配置（如：需要统计的IP地址段/主机/协议/…）实现对流量和网络会话信息的归纳、统计 • 使用apache对结果发布 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  46. 系统使用效果展示 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  47. 广域网监视 • 网络连通性 • 网络可靠性 • 网络性能 • 监视 • 测量 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  48. 设备运维系统 • 功能（续） • 故障管理 • 查询 • 基本信息查询(按主机名,时间段,关键字,ip) • 添加 • 删除(权限:组负责人和管理员)修改(权限:组负责人和管理员) • 知识库 • 查询 • 基本信息查询(关键字,类别) • 添加 • 删除 • 修改 • 正在开发中 • 当前的运维管理办法 • 文档制度 • 针对设备的操作历史查找困难 • 目的 • 文档记录数据库化 • 便于查找和总结 • 功能 • 设备管理(主机管理) • 查询 • 基本信息查询(按主机名,位置,组,ip) • 查询历史修改记录 • 添加 • 删除(权限:组负责人和管理员) • 修改(权限:组负责人和管理员) • 系统运行管理 • 查询 • 基本信息查询(按主机名,时间段,关键字,ip) • 添加 • 删除(权限:组负责人和管理员) • 修改(权限:组负责人和管理员) QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  49. 4. 高能所网络安全管理体系 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

  50. 网络安全管理制度 • 网络/系统管理员的岗位职责及行为规范制度 • 高能所网络使用规范和制度 • 服务器的日常维护和检查制度 • 防火墙规则变更制度 • 网络设备配置变更制度 • 紧急事件的应急响应制度 • Linux安全问题应急处理及UNIX安全事件处理 • 电子邮件服务器的使用规范和制度 • 计算机病毒防范制度 • 病毒问题的解决流程 • 系统补丁添加制度 QI Fazhi/CC/IHEP 2009-6-25 - CSTNet

More Related