2014 年 8 月 2 日 刘 功 发 中国科学技术大学国家同步辐射实验室

1. 加速器控制 2014年8月2日 刘 功 发中国科学技术大学国家同步辐射实验室

2. 主要参考文献 • 刘松强，计算机控制系统的原理与方法，北京：科学出版社，2007.1. • 赵籍九，尹兆生，粒子加速器技术，北京：高等教育出版社，2006.11. • Richard C. Dorf, Robert H. Bishop, 现代控制系统（第十一版），北京：电子工业出版社，2011.4. • 胡寿松，自动控制原理（第六版），北京：科学出版社，2013.3. • Proceedings of ICALEPCS, PAC, IPAC, EPAC, etc. http://www.jacow.org/index.php?n=Main.Proceedings • The materials from EPICS home page, http://www.aps.anl.gov/epics/ • Kuo-Tung Hsu (許國棟), Controls and Diagnostics, the lecture of the fifth OCPA Accelerator School.

3. 内容提要 • 控制系统的基本概念 • 加速器控制系统 • EPICS • HLSII控制系统

4. 自动控制和自动控制系统 • 自动控制： 在无人直接参加的情况下，利用控制装置使被控对象和过程的某个或某些被控量自动地按照预定的规律运行。 • 自动控制系统： 由控制装置和被控对象所组成，它们以某种相互依赖的的方式组合成为一个有机整体，并对被控对象进行自动控制。

5. 自动控制理论的发展 • 经典控制理论 • 1940-50年代形成，其发展由二战中自动火炮、雷达、飞机以及通讯系统的控制研究所推动 • 研究内容：SISO、线性定常系统 • 研究目标：反馈控制系统的稳定 • 基本方法：主要为频域方法，拉普拉斯变换，以传递函数为基础的根轨迹法、频率响应法 • 现代控制理论 • 1960-70年代形成，其产生由冷战时期的空间技术所驱动 • 研究内容：MIMO • 研究目标: 最优控制 • 基本方法: 主要为时域方法，以状态为基础的状态空间法、贝尔曼的 动态规划法和庞特里亚金的极小值原理

6. 自动控制理论的发展（续） • 计算机控制技术 • 1970年代以来，随着计算机技术的不断发展，出现了许多以计算机控制为基础的自动化技术，自动化技术发生了根本性的变化，相应的自动控制科学研究也出现了很多分支，如自适应控制、混杂控制、模糊控制、神经网络控制等。 • 离散系统，Z变换。

7. 输入通道 传感器 人机界面 被控 对象 （设备） 处理机 输出通道 动作器 计算机控制系统 • 组成： • 输入/输出模块，提供输入/输出通道 • 以微处理器（Microprocessor）为核心的处理机 • 人机界面（Human-Machine Interface， HMI） • 定义：利用计算机来实现自动控制的系统。

8. 自动控制系统的基本要求 • 稳定性（稳） 稳定性是保证控制系统正常工作的先决条件。考虑到实际系统工作环境或参数的变动,可能导致系统不稳定，因此我们除要求系统稳定外,还要求其具有一定的稳定裕量。 • 准确性（准） 准确性是指系统的稳态精度高。稳态精度是系统过渡到新的平衡工作状态以后或系统对抗干扰重新恢复平衡后最终保持的精度，与控制系统的结构和参数以及输入信号形式有关。 • 快速性（快） 快速性指系统过渡过程的时间短。过渡过程是系统过渡到新的平衡工作状态以后或系统对抗干扰重新恢复平衡的过程。

9. 控制系统的设计流程 } 确定控制目标 • 确定控制目标和受控变量，并定义系统性能指标和设计要求。 确定受控变量 定义系统性能指标和设计要求 } 进行系统配置 • 系统定义和建模 建立系统模型，包括受控 对象、执行机构和传感器 如性能未达到规定要求，则修改系统配置 } 对控制器进行描述说明，并选择确定需要调整的关键参数 • 系统设计、仿真和分析 对参数进行调整优化，并分析系统性能 如性能满足要求，则设计任务结束

10. 控制系统的分类 • 按系统工作方式或信号流向：开环、闭环 • 按系统规模 • 嵌入式控制系统 • 机箱式控制系统 • 分布式控制系统 • 按体系结构：集中式、分布式 • 按系统性能：线性和非线性、连续和离散、定常和时变 • 按设定值变化规律：恒值控制、随动控制和程序控制 • 按元件类型：机械、电气、机电、液压、生物 • 按系统功用：温度控制、压力控制、位置控制… • … …

11. 嵌入式控制系统 • “嵌”在被控设备中的控制系统，处理能力和I/O数据吞吐量都较小。 • 硬件结构：主体包含在一个电路模块中甚至一个芯片中。（System-on-Chip, SoC） • CPU • 存储器：RAM+ROM • IO通道：ADC+DAC+DI+DO • FPGA/ASIC • 诊断端口 • 辅助系统：电源和风扇 • 软件结构：“超循环”方法处理多任务，或实时系统 • 人机界面：小显示屏/指示灯+按键/旋钮 • 应用范围：单个设备，如家用电器、数码产品等

12. 机箱式控制系统 • 系统安装在机箱内，通常由若干模块通过机箱背板总线构成紧耦合系统，近年来出现了采用高速串行总线和交换式结构的机箱式系统。 • 背板总线：并行的、所有模块共享数据通道的数据传输方式，如VME、cPCI、PXI等 • 产品：PC/IPC/VME/cPCI/ATCA/μTCA等 • 应用范围：各类小型系统，如工业控制、雷达、电信等 CPCI

13. 分布式控制系统 • 分布式控制系统（Distributed Control System，DCS），也称分散控制系统、集散控制系统，是1970年代中期发展起来的、以微处理器为基础的、实行集中管理分散控制的计算机系统。 • 多台计算机构成，基于网络的中、大规模控制系统，其基本结构为： • 分散过程控制装置 • 集中操作管理装置 • 通信系统

14. 不同规模控制系统的比较

15. 内容提要 • 控制系统的基本概念 • 加速器控制系统 • EPICS • HLSII控制系统

16. 加速器控制系统的任务 控制系统是将加速器各个子系统联系起来、协调工作的纽带，也是加速器调试和运行的平台。 • 监控各种设备 • 调节束流以实现物理目标，如对撞、打靶、储存供光等 • 满足不同使用者的需求 • 运行人员 • 加速器物理学家/机器研究人员 • 各个子系统的专业技术人员 • 管理人员：信息化管理

17. 加速器控制系统的功能 • 设备的监测控制功能 • 在中央控制室或本地对各类设备实施开关、参数调整 • 设备参数的save/restore • 在中央控制室监测设备状态及参数 • 束流调节的手段，即调束软件 • Matlab/AT, XAL/OpenXAL, SAD • 储存环闭轨校正、插入件补偿、BBA等 • 以数据库为核心的信息管理系统 • 提供机器参数、历史数据的查询 • 机器性能分析：参数统计分析、参数相关性分析 • 故障报警和故障诊断 • 报警和联锁保护功能，确保人员和设备的安全 • 时间系统，提供定时信号和时间同步功能 • 电子日志elog • 网页方式 • 相关工作人员共享/交换信息：设备安装、调试、维护，各种想法等

18. 加速器控制系统的技术特点 • 基于网络的分布式计算机控制系统 • 规模庞大，如LHC主环周长达27km • 控制对象种类繁多：带电粒子源、磁铁、电源、真空、微波高频、束流注入引出、束流测量、辐射防护、冷却水、储存环插入件等 • 控制对象数量大，如LHC的控制点达106～107量级 • 部分区域电磁干扰强 • 多种技术的集成 • 计算机、网络、自动控制、数据库、网页设计 • 电子学、数据采集、数字信号处理、抗干扰和容错技术 • 控制系统工作寿命比加速器装置设计寿命短 • 加速器装置设计寿命一般为20～30年 • 控制系统的工作寿命一般为5～10年，因为计算机等技术更新太快 • 在加速器装置的运行寿命内，控制系统需要经历2～3次的升级改造

19. 早期的粒子加速器控制室

20. The SNS Control Room

21. A story David Gurd, SNS controls group leader，retired now “Accelerator Control Systems – A Personal Recollection” Beam Dynamics Newsletter，No. 47，December 2008 When I joined the controls group at TRIUMF in 1970, the director did not want computers used for control. Indeed when the first terminal and keyboard was approved for programming purposes at TRIUMF (for$5000), he personally wrote on the order: “Not to be brought into the Control Room!” (I kept that document as a souvenir until it was destroyed in the Los Alamos fire.)

22. 加速器控制系统的结构 Server & storage Channel Access Client LAN IOC Channel Access Server Process Variables: Power Supply Computer Interface S1A:H1:CurrentAO S1:P1:x S1:P1:y S1:G1:vacuum Beam Position Monitor Computer Interface Vacuum Gauge Computer Interface

23. 加速器控制系统结构的“标准模型” • 标准模型最早由B. Kuiper在ICALEPCS’91上提出。 • B. Kuiper, “Issues in Accelerator Controls”，Proceedings of ICALEPCS ’91, Tsukuba, Japan, November 1991, pp. 602-611. 分布式控制系统的基本结构： • 分散过程控制装置 • 集中操作管理装置 • 通信系统 M. E. Thuot, L. R. Dalesio, “Control System Architecture: The Standard and Non-Standard Models”，PAC1993_1086

24. 加速器控制系统硬件 • the operator interface/管理层 • PC/Linux • 服务器：数据/文件/网页 • 存储：SAN、NAS、RAID • data communication/数据通信 • 网络：100/1000/10000M Ethernet • 现场总线：DeviceNet、profibus/profinet • 经典的串行通信：RS232/422/485， RS232 to Ethernet • the front-end computers/前端控制器 • VME/cPCI/ATCA/ μTCA/PLC/FPGA 主要设计方法： • 尽量购买商业化产品，并减少硬件种类 • 考虑硬件系统各个层次的可用性：服务器虚拟化、存储RAID、UPS、网络冗余等

25. 加速器控制系统软件 • 操作系统 • 服务器/OPI：桌面操作系统，Linux/Unix • 前端控制器：实时操作系统，VxWorks/Linux (RT or non-RT)/RTEMS • data communication/数据通信 • 统一的网络通信协议，一般基于TCP/IP • 唯一的变量名称，系统内自动查找，“透明性” • 数据库 • 关系数据库：Oracle/MySQL，静态参数、历史数据 • 运行时数据库： runtime database • 编程语言 • C/C++、Java、Matlab、LabVIEW、Python、Perl 主要设计方法： • 选定软件开发包及版本，选定操作系统并尽量减少其种类 • 软件工程：面向对象、结构化/模块化 • 中间件（middleware）

26. 粒子加速器控制系统的设计要求 • 可用性（Availability）高 A=MTBF/（MTBF+MTTR）*100% • 标准化（standardization）高 尽量减少软硬件的种类，尽量购买商业化的产品 以节约开发和维护成本 • 扩展性（Scalability）好 便于升级和扩展 • 开放性（Openness）好 便于交流、共享开发成果

27. 加速器控制系统的开发过程 （1）用户需求调查：控制功能、稳定度、响应速度、操作模式、控制流程、联锁逻辑、人机界面、接口信号表、命名规则 （2）国内外同类系统及市场调研 （3）选择开发工具并建立开发环境 初步 设计 预 研制 针对技术难点或新型非标设备的控制开展预研和样机试制以及同类产品的性能比较 工程 设计 确定系统开发工具和技术路线、软硬件结构、硬件选型和批量采购、硬件布局图、线缆连接图、实时数据库、设备监控界面、调束软件、数据库管理系统设计 系统 建设 离线测试、联机调试、系统安装、在线调试

28. 加速器控制系统开发环境的建立 • 选择开发工具 • EPICS（Experimental Physics and Industrial Control System） • TANGO（TAco Next Generation Objects ） • DOOCS（The Distributed Object Oriented Control System） • SCADA：commercial • 购置Unix/Linux服务器 • 建立编译/交叉编译环境 • 安装远程登录软件（Exceed、Xmanager、ssh客户端等） • 安装版本管理软件cvs、svn

29. 加速器控制系统的开发工具 • EPICS：open source • 主页：http://www.aps.anl.gov/epics/ • 用户：非常广泛，>100 projects • TANGO：open source • 主页：http://www.tango-controls.org/ • 主要用户： • ESRF - European Synchrotron Radiation Facility, Grenoble, France • SOLEIL - Soleil Synchrotron, Paris, France • ELETTRA - Elettra Synchrotron, Trieste, Italy • ALBA - Alba Synchrotron, Barcelona, Spain • DESY - Petra III Synchrotron, Hamburg, Germany • DOOCS：open source • 主页：http://tesla.desy.de/doocs/doocs.html • 主要用户： DESY FLASH/European XFEL • SCADA：commercial

30. EPICS控制系统结构图

31. TANGO控制系统结构图 Andy Götz etc， “THE TANGO CONTROL SYSTEM” Beam Dynamics Newsletter，No. 47，December 2008

32. DOOCS控制系统结构图 http://tesla.desy.de/doocs/doocs.html

33. 系统的可用性概念 • MTBF： Mean Time Between Failure，平均无故障时间 用于度量系统的可靠性，可靠性越高， MTBF值越大 • MTTR： Mean Time To Restoration，平均维修时间 用于度量系统的可维护性，可维护性越好，MTTR值越小 • Availability：可用性, A A=MTBF/(MTBF+MTTR) * 100%。 系统的可靠性越高，可维护性越好，则可用性越高

34. 加速器的可用性指标 • 早期的高能粒子加速器，设计时很少关注可用性指标，甚至没有这个指标，如德国DESY的HERA。从实际运行的情况分析，高能粒子加速器的可用性一般为75%-85%。 • 现在设计的高能加速器，不但有可用性指标，而且很有挑战性，如计划中的ILC（其总长度为31km）。 • 总可用性指标为85% • 其控制系统的可用性指标为99% • 可用性指标对用户装置尤其重要 • 日本spring-8, 可用性：> 99% • 瑞士SLS，可用性：>99% • HLS，可用性：~95% • ARW（Accelerator Reliability Workshop） • ARW2002、ARW2009、ARW2011 、ARW2013， 两年一次 • http://www.accelerator-reliability.org/workshops-1/arw/

35. 提高系统可用性的基本方法 • 防障：Fault Prevention or Fault Avoidance，防止或避免系统出现故障。 • 硬件：高可靠性元件、设备，防干扰措施 • 软件：严格的故障模式及影响分析、高可靠性软件技术等 • 容障： Fault Tolerance，使系统在发生故障时仍能正常工作，即容忍故障。容障的基本技术是冗余。 • 空间冗余，又称物理冗余，外加冗余资源减少故障带来的损失 • 时间冗余，通过多执行一遍代码，可以消除暂态故障。此外还有信息冗余，例如通信协议中的冗余码 • 排障： Fault Removal，在系统设计或故障发生时，采用核查、验证等技术手段来排除故障。 • 核查（Verification），在系统从设计到实现的各个阶段中实施 • 验证（Validation），在系统完成阶段实施

36. 加速器可用性的相关因素 J. Carwardine, C.Saunders, N.Arnoid, et al. The ILC Control System, Proceedings of ICALEPCS07, Knoxville, Tennessee, USA, p271-275.

37. 提高服务器可用性的方法 • 传统的双机热备份系统或称cluster系统 • 服务器的工作负载低，一般<20% • 空间、电源和冷却成本高 • 虚拟化方法 • 服务器硬件资源（CPU、内存、网络等）的逻辑抽象和统一表示 • 降低管理复杂度、提高资源利用率、降低运营成本 • 虚拟化产品 • Xen：开源，支持Windows、Linux • VMware：VMware vSphere数据中心虚拟化 ，企业版 • IBM：system Z系列（大型机）、system P系列（小型机） • Microsoft：Windows Server 2008的Hyper-V

38. 服务器虚拟化的两个方向 多变一 将多台服务器虚拟化成一台虚拟机 • 并行计算（Parallel Computing） • 高性能运算（HPC） • 分布式运算（Distributed Computing） • 网格计算（Grid Computing） • 云计算（Cloud Computing） 一变多 将一台服务器虚拟化成更多的虚拟机 • 大型机的虚拟化：IBM的LPAR • UNIX服务器： • IBM的LPAR • HP的nPAR，vPAR • Sun的Domain、Container • Intel架构服务器： • VMware的vSphere

39. VI Client Web 浏览器 图形终端 VM VM VM VM VM ESX/ESXi vSphere虚拟计算中心的物理拓扑结构 VirtualCenter 管理服务器 服务器群1 服务器群2 服务器群3 Fabric IP网络 FC交换机 FC存储阵列 iSCSI 存储阵列 NAS 存储阵列

40. 未更改过的应用 未更改过的OS 虚拟硬件 虚拟化实现机制 服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中 虚拟化前 虚拟化后 • 软件必须与硬件相结合 • 每台机器上只有单一的操作系统镜像 • 每个操作系统只有一个应用程序负载 • 每台机器上有多个负载 • 软件相对于硬件独立

41. VMware ESX Server VMware ESX Server x86 Architecture x86 Architecture 用VMotion减少计划内宕机时间 VMotion迁移虚拟机 SAN/NAS • VMotion的优点 • 零宕机时间: 进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化 • 服务器的持续可用性, 完整的交易集成 • 支持Fibre Channel和iSCSI SAN环境以及NAS

42. ESX Server 宕机! VMware HA切换过程演示 VirtualCenter SAN / NAS

43. 时间系统的分类 • 定时系统： • 传递的时间信息基于相对时间，即基于某个时间参考点的时间值。 • 定时系统是现代电子学和计算机的核心，从芯片级（CPU芯内的定时）、电路板级（处理机模块内的定时）、设备级（计算机内的定时）直到分布式系统的定时，其原理和遇到的问题都是相同或相近的。 • 在分布式控制系统中，若干分布在不同位置的设备，需要通过定时系统从主时钟获得相对时间信号，用于触发（或延时触发）执行特定的控制（或测量）。这种系统级的定时/触发系统所需要的时间精度因设备的功能而异，从ms到ps量级不等。 • 时间同步系统： • 传递的时间信息基于绝对时间，即基于日期（年月日时分秒）。 • 分布式控制系统中，不同计算机节点中运行的进程之间往往需要保证同步/互斥关系，所进行的测量或控制也需要满足时间因果关系。为此，需要通过网路通信建立时间同步系统，由主时钟节点向所有其它节点传送称为时间戳（time stamp）的短数据包，提供统一的参考时间，用来校正各节点的本地时钟，实现时间同步。

44. 定时系统 • 定时系统的任务 • 为加速器设备提供一系列时序信号，完成从粒子产生、注入、引出、加速、积累到物理目标实现的过程。 • 为束流测量系统和实验线站设备提供各种定时信号。 • 为增强器磁铁电源提供同步信号，要求较前2项低，在增强器回旋周期量级（~ μs）。 • 技术路线的选择依据 • 性能需求：稳定性、精度、分辨率 • 运行需求：运行模式（patterns of operation）的复杂度 • 传输方式：性能、价格、复杂度

45. 定时系统按传输方式分类 • 模拟定时系统 • 通过同轴电缆或光缆直接（不加调制、不编码）传输定时脉冲信号。 • 时间分辨率高，但灵活性不高，动态范围受计数器位数的限制。 • 数字定时系统 • 时间信息经过编码之后以数字信号的方式发送，如广泛用于粒子加速器的事件定时系统。 • 灵活性高，易于扩展。 • 可提供多种定时信号，如高频频率、增强器回旋频率、储存环回旋频率等。

46. 模拟定时系统

47. HLS 定时系统：模拟定时系统 • 18路输出，提供给电子枪、微波源、冲击磁铁、切割磁铁、能谱靶、开关磁铁及调制器1~ 6 各1路，另有6 路备份。 • 脉冲周期、延时及脉宽均可步进调节, 最小步长为0.1 μs, 抖动小于10 ns，注入频率0.5Hz。 • 时间范围，0.05 μs～2s，4×107，对应计数器26位（226=6.4×107）

48. 事件定时系统（event system） • 利用Gigabit以太网物理层协议，事件发生器（Event Generator，EG）将输入的触发定时信号转换为16bit的编码发送出去，事件接收器（Event Receiver，ER）从编码中提取并输出信号。 • 各种设备使用同样的事件接收器，它根据事件码所指定的内容（延迟时间和脉冲宽度等）输出各种定时信号。 • 时间分辨率： 2.5Gbps，16bit，8B10B，则传输20bit用时8ns，即时间分辨率为8ns。

49. 上海光源定时系统 定时系统的模式 A：单束团 B：多数团模式 C：混合束团模式 主定时系统的逻辑时序 赵黎颖, 殷重先, 刘德康

50. 上海光源定时系统（续） 定时系统的布局图 定时系统的硬件框图