智能算法

智能算法 谷俊峰工业装备结构分析国家重点实验室工程力学系运载工程与力学学部

课程名称 智能算法教师联系方式办公地点：综合实验楼1号楼610 Tel：13840882960 E-mail：jfgu@dlut.edu.cn 上课时间地点（10-17周）周三 3－4节，综362 周五 7－8节，综362 教学信息

课程目标 1）掌握智能算法的基本概念和原理； 2）学会用智能算法解决优化问题。课程重点应用领域组合优化课程要求课程介绍 • 了解各主要智能算法的起源、原理、操作和应用领域 • 掌握主要智能算法求解优化问题的流程 • 学会智能算法在实际中的应用

课程设计论文和课上报告 实现实际或者虚拟优化问题的求解。（鼓励与实际问题或者本人未来研究领域的结合）在网上下载（一种或多种）智能优化程序；如果自己编程实现更好，(加分)；如果对网上下载程序或自己的编程进行了某种算法上的改进也很好（加分）。论文要求：将要优化的问题、所用智能优化方法、计算结果及对结果的简单分析写成论文，论文格式见样板论文。报告要求：简要说清所要解决问题以及所用方法和计算结果。(ppt) 课程考核

课程内容 §1 绪论 §2 遗传算法（1） §3 遗传算法（2） §4 人工神经网络 §5 模拟退火算法 §6 群智能算法（粒子群，蚁群） §7 模糊逻辑 §8 课程汇报

Andries P. Engelbrecht, Computational Intelligence: A Introduction, Wiley, New York, 2002. ISBN 0-470-84870-7. 丁永生编著，《计算智能——理论、技术与应用》，科学出版社，2004.8. ISBN7-03-013902-X. P.481. (TP183/27) 褚蕾蕾，陈绥阳，周梦编著，《计算智能的数学基础》，科学出版社，2002. (TP183/15) 徐宗本，张讲社，郑亚林，编著，《计算智能中的仿生学：理论与算法》，科学出版社，2003.5，ISBN7-03-010792-6. P.315. (TP183/17) 徐宗本，编著，《计算智能（第一册）---模拟进化计算》，高等教育出版社，2004.2，ISBN7-04-013839-5. P.141. 王国俊，编著，《计算智能（第二册）---词语计算与Fuzzy集》，高等教育出版社，2005.2，ISBN7-04-016032-3. P.106. (TP183/31:2) 罗四维，著，《大规模人工神经网络理论基础》，清华大学出版社和北方交通大学出版社，2004.2，ISBN7-81082-174-1. P.177. 课程参考书

Haykin S. Neural Networks: A Comprehensive Foundation, Macmillan, IEEE Press, 1994. 张乃尧、阎平凡编著，《神经网络与模糊控制》，清华大学出版社，2002。王小平，曹立明编著，《遗传算法--理论、应用与软件实现》，西安交通大学出版社，2002.1。张颖，刘艳秋等，《软计算方法》，科学出版社，2002。谷荻隆嗣等，《人工神经网络与模糊信号处理》，科学出版社，2003。李士勇等，《蚁群算法及其应用》哈尔滨工业大学出版社，2004.9 陈国良、王煦法、庄镇权等，《遗传算法及其应用》，人民邮电出版社，1995。史忠植，《知识发现》，清华大学出版社，2002。傅京孙等，《人工智能及其应用》，清华大学出版社，1987。蔡自兴、徐光佑，《人工智能及其应用》清华大学出版社，1996 蔡自兴，《智能控制---基础与应用》，国防工业出版社，1998。刘金琨编著，《智能控制》，电子工业出版社，2005.5。课程参考书

第一章绪论 智能算法

1.1智能算法 1.2优化的概念 1.3优化算法 1.4计算复杂性 1.5本章小结提纲

从感觉到记忆到思维这一过程，称为“智慧”，智慧的结果就产生了行为和语言，将行为和语言的表达过程称为“能力”，两者合称“智能”，将感觉、去记、回忆、思维、语言、行为的整个过程称为智能过程，它是智力和能力的表现。它们分别又可以用“智商”和“能商”来描述其在个体中发挥智能的程度。“情商”可以调整智商和能商的正确发挥，或控制二者恰到好处地发挥它们的作用。从感觉到记忆到思维这一过程，称为“智慧”，智慧的结果就产生了行为和语言，将行为和语言的表达过程称为“能力”，两者合称“智能”，将感觉、去记、回忆、思维、语言、行为的整个过程称为智能过程，它是智力和能力的表现。它们分别又可以用“智商”和“能商”来描述其在个体中发挥智能的程度。“情商”可以调整智商和能商的正确发挥，或控制二者恰到好处地发挥它们的作用。智能及智能的本质是古今中外许多哲学家、脑科学家一直在努力探索和研究的问题，但至今仍然没有完全了解，以致智能的发生与物质的本质、宇宙的起源、生命的本质一起被列为自然界四大奥秘。近年来，随着脑科学、神经心理学等研究的进展，人们对人脑的结构和功能有了初步认识，但对整个神经系统的内部结构和作用机制，特别是脑的功能原理还没有认识清楚，有待进一步的探索。因此，很难对智能给出确切的定义。 1.1 什么是智能？

　根据加德纳的多元智能理论，人类的智能可以分成八个范畴：　根据加德纳的多元智能理论，人类的智能可以分成八个范畴： 1、语言智能(Linguistic intelligence）　是指有效的运用口头语言或及文字表达自己的思想并理解他人，灵活掌握语音、语义、语法，具备用言语思维、用言语表达和欣赏语言深层内涵的能力结合在一起并运用自如的能力。他们适合的职业是：政治活动家，主持人，律师，演说家，编辑，作家，记者，教师等。 2、数学逻辑智能(Logical-Mathematical intelligence ) 　是指有效地计算、测量、推理、归纳、分类，并进行复杂数学运算的能力。这项智能包括对逻辑的方式和关系，陈述和主张，功能及其他相关的抽象概念的敏感性。他们适合的职业是：科学家、会计师、统计学家、工程师、电脑软体研发人员等。 3、空间智能(Spatial intelligence ) 　是指准确感知视觉空间及周围一切事物，并且能把所感觉到的形象以图画的形式表现出来的能力。这项智能包括对色彩、线条、形状、形式、空间关系很敏感。他们适合的职业是：室内设计师、建筑师、摄影师、画家、飞行员等。 1.1 智能的分类

4、身体运动智能(Bodily-Kinesthetic intelligence) 　是指善于运用整个身体来表达思想和情感、灵巧地运用双手制作或操作物体的能力。这项智能包括特殊的身体技巧，如平衡、协调、敏捷、力量、弹性和速度以及由触觉所引起的能力。他们适合的职业是：运动员、演员、舞蹈家、外科医生、宝石匠、机械师等。 5、音乐智能(Musical intelligence) 　是指人能够敏锐地感知音调、旋律、节奏、音色等能力。这项智能对节奏、音调、旋律或音色的敏感性强，与生俱来就拥有音乐的天赋，具有较高的表演、创作及思考音乐的能力。他们适合的职业是：歌唱家、作曲家、指挥家、音乐评论家、调琴师等。 6、人际智能(Interpersonal intelligence) 　是指能很好地理解别人和与人交往的能力。这项智能善于察觉他人的情绪、情感，体会他人的感觉感受，辨别不同人际关系的暗示以及对这些暗示做出适当反应的能力。他们适合的职业是：政治家、外交家、领导者、心理咨询师、公关人员、推销等。 1.1 智能的分类

7、自我认知智能(Intrapersonal intelligence) 　是指自我认识和善于自知之明并据此做出适当行为的能力。这项智能能够认识自己的长处和短处，意识到自己的内在爱好、情绪、意向、脾气和自尊，喜欢独立思考的能力。他们适合的职业是：哲学家、政治家、思想家、心理学家等。 8、自然认知智能(Naturalist intelligence) 　是指善于观察自然界中的各种事物，对物体进行辨别和分类的能力。这项智能有着强烈的好奇心和求知欲，有着敏锐的观察能力，能了解各种事物的细微差别。他们适合的职业是：天文学家、生物学家、地质学家、考古学家、环境设计师等。 1.1 智能的分类智能是指个体对客观事物进行合理分析、判断及有目的地行动和有效地处理周围环境事宜的综合能力。

智能的三个层次：（1994年，James C. Bezdek） 生物智能（Biological Intelligence, BI）：由人脑的物理化学过程反映出来的，人脑是有机物，它是智能的基础；人工智能（Artificial Intelligence, AI）：是非生物的，人造的，常用符号来表示，AI的来源是人类知识的精华。计算智能（Computational Intelligence, CI）：是由数学方法和计算机实现的，CI的来源是数值计算的传感器。 1.1 智能的层次从复杂性看： • BI > AI > CI AI是CI到BI的过渡，因为AI中除计算算法之外，还包括符号表示及数值信息处理。模糊集合和模糊逻辑是AI到CI的过渡。

什么是人工智能？ 能力方面人工智能就是用人工的方法在机器（计算机）上实现的智能，或称机器智能学科方面是一门研究如何构造智能机器或智能系统，以模拟、延伸和扩展人类智能的学科 AI的主要研究和应用领域机器思维、机器感知、机器行为、计算智能、机器学习、分布智能、智能系统、人工心理与人工情感、人工生命、人工智能的典型应用 1.1 人工智能

1.1 计算智能与人工智能 计算智能和人工智能的联系从关系上说，计算智能属于人工智能的一个分支

计算智能（Computational Intelligence，CI）是从模拟自然界生物体系和人类智能现象发展而来，用计算机模拟和再现自然界的某些智能行为，并用于改造自然的工程实践的算法总称，是一种新型人工智能研究领域，也称为智能算法。计算智能的三大基本领域包括神经计算、进化计算、模糊计算。 1.1 计算智能

计算智能 1.1 计算智能的分类遗传算法（进化策略，进化规划）蚁群优化算法粒子群优化算法免疫算法分布估计算法 Memetic算法 … 进化计算：神经计算：模糊计算：单点搜索：人工神经网络模糊逻辑模拟退火算法禁忌搜索算法 …

1.1 计算智能研究领域的主要特点

（1）50年代，美国学者Holland，遗传算法 （2）60年代，德国人Rechenberg和Schwefel，进化策略（3）60年代，美国学者Fogel，进化规划（4）50年代，Rosenblatt等人，感知器（神经网络）（5）60年代，Zadeh，模糊逻辑理论起步阶段 1950-1969 （1）遗传算法、进化策略、进化规划的理论基础不断完善（模式定理），算法之间的区别越来越不明显（2）80年代，模拟退火算法（1983年）、禁忌搜索算法（1986）的提出提供了新的优化手段（3）Hopfield前馈型神经网络结构（1982年）、Rumelhart后向传播学习算法（1986年）的提出将神经网络的研究推向一个新的学习高潮发展阶段 1970-1989 （1）遗传算法（GA）、进化策略（ES）和进化规划（EP）算法也在不断的发展和完美（2）1992年，Dorigo等人提出了蚁群算法（ACO），为解决离散组合优化问题提供了重要的工具（3）1995年，在Eberhart和Kennedy提出的粒子群优化算法（PSO）在连续优化问题上得到了广泛的应用继续发展 1990年之后 1.1 计算智能发展历程

1.1 计算智能的特征

计算智能的主要应用 国防科技经济工业农业雷达天线设计卫星轨道参数优化战场模拟军事物流优化干扰抑制 … 机器学习数据挖掘图像处理模式识别蛋白质结构预测多目标优化多播路由 … 金融数据分析证券投资组合企业现金流管理企业财务分析与预警 … 功率电子电路优化电磁过滤输电网规划工作流调度管理车辆路由交通控制 … 排灌工程水利水电工程温室控制水库防洪农业工程 … 1.1 计算智能的应用已应用在优化计算、模式识别、图像处理、自动控制、经济管理、机械工程、电气工程、通信网络和分子生物学等多个领域，涉及国防、科技、经济、工业和农业等各个方面

1.2 优化问题的定义 什么是优化？就是从各种方案中选取一个最好的。从数学角度看，优化理论就是研究如何在状态空间中寻找到全局最优点。优化问题的数学形式为： X设计变量； f 目标函数； g, h约束函数如果没有约束，则最优化问题称为无约束最优化问题

1.2 优化问题的分类 • 根据决策变量xi的取值类型 • 函数优化 • 组合优化 • 混合型优化问题

1.2 函数优化问题 • 函数优化问题对应的决策变量均为连续变量，优化问题 f 的目标函数取决于其对应的连续变量x1,x2, …, xn的取值。 • 各个取值变量可能是独立的，也可能是互相关联、互相制约的，他们的取值组合构成了一个问题的解。 • 由于决策变量是连续值，因此对每个变量进行枚举是不可能的。

Benchmark问题典型特点 单极小非凸非线性多极小高维强振荡噪声不可微 1.2 函数优化问题

测试函数（Benchmark问题） （1）Sphere Model 其最优状态和最优值为 1.2 函数优化问题

1.2 函数优化问题 • 测试函数（2）Schwefel’s Problem 2.22 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（5）Generalized Rosenbrock’s Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（6）Quartic Function i.e. Niose 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（7）Generalized Schwefel’s Problem 2.26 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（7）Generalized Schwefel’s Problem 2.26

1.2 函数优化问题 • 测试函数（8）Generalized Rastrigin’s Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（9）Ackley’s Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（9）Ackley’s Function

1.2 函数优化问题 • 测试函数（10）Generalized Griewank Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（10）Generalized Griewank Function

1.2 函数优化问题 • 测试函数（11）Six-Hump Camel-Back Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（12）Branin Function 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（13）J. D. Schaffer 其最优状态和最优值为

1.2 函数优化问题 • 测试函数（22）J. D. Schaffer 此函数在距全局最优点大约3.14范围内存在无穷多个局部极小将其包围，并且函数强烈振荡。

1.2 函数优化问题 • 有约束的函数优化 1：图解法 • 设计空间 • 目标函数等值面 • 约束曲面 • 可行设计/不可行设计 • 可行区域

有约束的函数优化 2: 解的影响因素：（1）曲面拓扑性质，线性或凸函数比无规律的函数更容易求解；（2）可行区域的疏密程度，通常以可行区域占整个搜索空间的比值来度量；（3）整体最优解与可行区域最优解之比；（4）在最优解处活跃约束的数目，活跃约束数目越多则最优解离可行区域的边界越近。 1.2 函数优化问题

1.2 函数优化问题 • 有约束转化为无约束的处理

数学表述 • 通俗定义：所谓组合优化，是指在离散的、有限的数学结构上，寻找一个（或一组）满足给定约束条件并使其目标函数值达到最大或最小的解。组合优化问题通常带有大量的局部极值点，往往是不可微的、不连续的、多维的、有约束条件的、高度非线性问题。 • 所属范畴:涉及离散事件的最优编排、分类、次序筛选等问题，是运筹学的一个重要分支。 1.2 组合优化问题

1.2 组合优化问题 • 典型问题——旅行商问题（Traveling salesman problem, TSP）管梅谷教授1960年首先提出，国际上称之为中国邮递员问题。问题描述：一商人去n个城市销货，所有城市走一遍再回到起点，使所走路程最短。

1.2 组合优化问题 12 1 2 1 3 8 即寻找一个排列： π(X) = {v1，v2，…，vn}， 2 10 3 4 使得最小.

1.2 组合优化问题 • 典型问题——旅行商问题计算复杂度：指数灾难

智能算法

智能算法

Presentation Transcript