计算智能

1. 计算智能 王帅强 http://www2.sdufe.edu.cn/wangsq 山东财经大学 计算机科学与技术学院

2. 教师： 王帅强 • 办公室：金融工程中心 • 教育背景： • 本科—博士：山东大学 • 访问博士：Hong Kong Baptist University • 博士后：Texas State University, TX, USA • 研究方向： • 数据挖掘 Data Mining • 信息检索 Information Retrieval • 邮箱：shqiang.wang@gmail.com • 个人主页：http://www2.sdufe.edu.cn/wangsq/

3. 课程目的 • 了解智能计算领域的概念 • 了解智能计算领域的计算方式 • 掌握利用智能计算解决问题的方式 • 为将来的研究工作奠定基础,开拓思路 • 解决的问题：优化、分类和聚类问题 • 解决的方法：智能算法

4. 课程安排 • 授课 • 英文文献阅读 • Presentation • Final exam

5. 课程内容 • 导论 • 神经计算 • 进化计算 • 群体智能 • 人工免疫算法

6. 科学发展的大趋势 • 学科结构重心: 从物理科学转到生命科学 • 跨学科综合研究滋生新科学 • 社会的迫切需要

7. 科学发展大趋势 20世纪末,生物信息学 • 生物信息学是采用信息科学、计算机科学、生物数学、比较生物学等学科的观点和方法对生命的现象及其组成分子(核酸、蛋白等)进行研究，主要是研究生命中物质的组成、进化、结构与功能的规律、以及这些物质在生命体中能量和信息的交换或传递。 • 该学科以计算机和生物电子设备为工具，对生物信息进行提取、储存、加工和分析，用信息理论技术及生物数学的方法去理解和阐述生物大分子的存在和生命价值，最终对它们进行各种处理与应用。 (亲子鉴定)

8. 对信息技术发展态势的看法 • 信息技术仍处在蓬勃发展期，20 年内仍然是第一技术。 • 以编程方式工作的数字电子计算机技术已相当成熟，今后20年主要是应用与集成方面的创新。 • 计算机技术的创新主要体现在系统级，系统级的创新包括大量的原始性创新。 • 在信息理论方面特别是借鉴脑科学成果的智能技术还处于起步阶段。

9. 智能科学 21世纪的智能科学，智能科学是一门交叉学科，主要由： • 脑科学 • 认知科学 • 人工智能 等学科共同研究智能行为的基本理论和实现技术。

10. 基本科学问题 (1) 神经活动的基本过程 神经信号的发生、转导、传导、突触传递等。 神经递质的合成、维持、释放及与受体的相互作用的研究都取得了令人瞩目的进展。 对神经元和神经系统发育的分子机制的研究 19世纪未叶，Cajal染色法的发明在技术上为Cajal的神经元学说准备了前提条件。 20世纪40年代末期微电极的发明，开创了神经生理研究的新时代，对神经活动的认识因此出现了重大的飞跃。

11. 基本科学问题 (2) 脑的感知过程和知觉表达知觉信息的表达是知觉研究的基本问题，是研究其它各个层次认知过程的基础。知觉过程是从那里开始的？外在物理世界的哪些变量具有心理学的知觉意义？作为知觉的计算模型计算的对象是什么？ 现有脑成像技术的时间、空间分辨能力将大幅度提高，新的无创伤检测脑活动的技术将进一步发展起来。

12. 基本科学问题 (3) 记忆过程中的信息处理 记忆在智能活动中占有突出的位置，记忆能力也是智能水平的重要标志之一。 在内容上，记忆可分为陈述性记忆（包括情景记忆和语义记忆等）和非陈述性记忆（包括启动效应、运动技巧、习惯等）；在时间上，记忆又可分为感知记忆、短时记忆和长时记忆。工作记忆是一种短时记忆，它的功能是短时间“在线”式地保存和处理信息，是多种高级认知功能的核心环节。

13. 基本科学问题 (4) 学习过程中的信息处理，感性认识与理性认识的相互关系 学习在脑内如何发生，是神经生物学的核心问题之一。学习导致神经系统结构和功能上的精细修饰，形成记忆痕迹。揭示学习的神经机制，对理解人类智力的本质具有重大意义。

14. 基本科学问题(5) 语言加工的认知机制 语言的中枢表象是什么？语言加工的认知和脑机制 理解和使用语言是人类特有的功能，是人类意识和意志表达的基本途径。 汉语以其独特的词法和句法体系、文字系统和语音声调系统而显著区别于印欧语言。 从神经、认知、和计算三个层次上研究汉语加工和信息处理是摆在我国科学家面前刻不容缓的任务。

15. 基本科学问题 (6) 思维的认知机理 思维是具有意识的人脑对于客观现实的本质属性、内部规律性的自觉的、间接的和概括的反映。 通过研究不同层次的思维模型，研究思维的规律和方法, 为新型智能信息处理系统提供原理和模型。 近年来神经生理学和脑科学的研究成果表明，脑的感知部分，包括视觉、听觉、运动等脑皮层区不仅具有输入/输出通道的功能，而且具有直接参与思维的功能。智能不仅是运用知识，通过推理解决问题，智能也处于感知通道

16. 基本科学问题 (7) 情感系统 情感（emotion）是人们对客观事物的主观态度和相应的内心体验。 　　情感活动与大脑边缘系统和植物神经系统有着重要的联系。大脑皮层则调节着情绪和情感的进行，控制着皮层下中枢的活动。包括丘脑、下丘脑、边缘系统和网状结构的机能。动物实验表明边缘系统的5-羟色胺和去甲肾上腺素含量最高。并对情感活动的调节起重要作用。

17. 基本科学问题 (8) 免疫系统 免疫系统是生物在长期进化中与各种致病因子的不断斗争中逐渐形成的，在个体发育中也需抗原的刺激才能发育完善。免疫系统的功能主要有两方面： (1)识别和清除侵入机体的微生物、异体细胞或大分子物质（抗原） (2)监护机体内部的稳定性，清除表面抗原发生变化的细胞（肿瘤细胞和病毒感染的细胞等）。

18. Robotics - RoboCup 1997 – First official Rob-Cup soccer match Picture from 2003 competition

19. 智能计算 • 智能计算有时称之为软计算 • 智能计算就是借用自然界（生物界）规律的启迪，根据其原理，模仿其运行过程，设计求解问题的算法，从而达到解决问题的目的。

20. 智能计算 • 大脑神经系统－>神经网络 • 生物的遗传进化规律－>遗传算法、进化计算 • 生物群体具有智能特性－>群集智能算法 • 免疫系统->免疫网络 • 固体退火原理->模拟退火技术

21. Neural Network

22. Neural Network

23. Neural Network

24. Classification • single-layer NNs, such as the Hopfield network; • multilayer feedforward NNs, including, for example, standard backpropagation,functional link and product unit networks; • temporal NNs, such as the Elman and Jordan simple recurrent networks as well as time-delay neural networks; • self-organizing NNs, such as the Kohonen self-organizing feature maps and the learning vector quantizer; • combined supervised and unsupervised NNs, e.g. some radial basis function networks.

25. Applications • These NN types have been used for a wide range of applications, including diagnosis of diseases, speech recognition, data mining, composing music, image processing, forecasting, robot control, credit approval, classification, pattern recognition, planning game strategies, compression, and many others.

26. Evolutionary Computation • Evolutionary computation (EC) has as its objective to mimic processes from natural evolution, where the main concept is survival of the fittest: the weak must die. • In natural evolution, survival is achieved through reproduction. Offspring, reproduced from two parents (sometimes more than two), contain genetic material of both (or all) parents – hopefully the best characteristics of each parent. Those individuals that inherit bad characteristics are weak and lose the battle to survive. This is nicely illustrated in some bird species where one hatchling manages to get more food, gets stronger, and at the end kicks out all its siblings from the nest to die.

27. Evolutionary Computation • Evolutionary algorithms use a population of individuals, where an individual is referred to as a chromosome. A chromosome defines the characteristics of individuals in the population. Each characteristic is referred to as a gene. The value of a gene is referred to as an allele. For each generation, individuals compete to reproduce offspring. Those individuals with the best survival capabilities have the best chance to reproduce. Offspring are generated by combining parts of the parents, a process referred to as crossover. Each individual in the population can also undergo mutation which alters some of the allele of the chromosome. The survival strength of an individual is measured using a fitness function which reflects the objectives and constraints of the problem to be solved. After each generation, individuals may undergo culling, or individuals may survive to the next generation (referred to as elitism). Additionally, behavioral characteristics (as encapsulated in phenotypes) can be used to influence the evolutionary process in two ways: phenotypes may influence genetic changes, and/or behavioral characteristics evolve separately.

28. Classification • Genetic algorithms which model genetic evolution. • Genetic programming which is based on genetic algorithms, but individuals are programs (represented as trees). • Evolutionary programming which is derived from the simulation of adaptive behavior in evolution (phenotypic evolution). • Evolution strategies which are geared toward modeling the strategy parameters that control variation in evolution, i.e. the evolution of evolution. • Differential evolution, which is similar to genetic algorithms, differing in the reproduction mechanism used. • Cultural evolution which models the evolution of culture of a population and how the culture influences the genetic and phenotypic evolution of individuals. • Coevolution where initially “dumb” individuals evolve through cooperation, or in competition with one another, acquiring the necessary characteristics to survive.

29. Applications • Evolutionary computation has been used successfully in real-world applications, for example, model design, data mining, combinatorial optimization, fault diagnosis, classification, clustering, scheduling, and time series approximation.

30. Swarm Intelligence • Swarm intelligence (SI) originated from the study of colonies, or swarms of social organisms. Studies of the social behavior of organisms (individuals) in swarms prompted the design of very efficient optimization and clustering algorithms. For example, simulation studies of the graceful, but unpredictable, choreography of bird flocks led to the design of the particle swarm optimization algorithm, and studies of the foraging behavior of ants resulted in ant colony optimization algorithms.

31. Classification • Ant colony • Particle swarm optimization (PSO)

32. Applications • Studies of ant colonies have contributed in abundance to the set of intelligent algorithms. The modeling of pheromone depositing by ants in their search for the shortest paths to food sources resulted in the development of shortest path optimization algorithms. Other applications of ant colony optimization include routing optimization in telecommunications networks, graph coloring, scheduling and solving the quadratic assignment problem. Studies of the nest building of ants and bees resulted in the development of clustering and structural optimization algorithms.

33. Artificial Immune Systems • The natural immune system (NIS) has an amazing pattern matching ability, used to distinguish between foreign cells entering the body (referred to as non-self, or antigen) and the cells belonging to the body (referred to as self). As the NIS encounters antigen, the adaptive nature of the NIS is exhibited, with the NIS memorizing the structure of these antigen for faster future response the antigen.

34. Models • The classical view of the immune system is that the immune system distinguishes between self and non-self, using lymphocytes produced in the lymphoid organs. These lymphocytes “learn” to bind to antigen. • Clonal selection theory, where an active B-Cell produces antibodies through a cloning process. The produced clones are also mutated. • Danger theory, where the immune system has the ability to distinguish between dangerous and non-dangerous antigen. • Network theory, where it is assumed that B-Cells form a network. When a B-Cell responds to an antigen, that B-Cell becomes activated and stimulates all other B-Cells to which it is connected in the network.

35. Applications • An artificial immune system (AIS) models some of the aspects of a NIS, and is mainly applied to solve pattern recognition problems, to perform classification tasks, and to cluster data. One of the main application areas of AISs is in anomaly detection, such as fraud detection, and computer virus detection.

36. 优化问题 • 优化技术？ 以数学为基础，解决各种工程问题优化解 • 优化技术的用途 系统控制 人工智能 模式识别 生产调度

37. 优化问题 • 最优化问题的描述 最优化问题的数学模型的一般描述：

38. 传统优化方法 • 待解决的问题 连续性问题，以微积分为基础，规模较小 • 传统的优化方法 理论上的准确与完美，主要方法：线性与非线性规划、动态规划、多目标规划、整数规划等；排队论、库存论、对策论、决策论等。 • 传统的评价方法 算法收敛性、收敛速度

39. 现代优化方法 • 待解决的问题 离散性、不确定性、大规模 • 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解） 实用性强（解决实际工程问题） • 现代的评价方法 算法复杂性

40. 最优化问题及其分类 • 函数优化 • 组合优化

41. 函数优化问题 令X为Rn上的有界子集（即变量的定义域）， 为n维实值函数，所谓函数f在X域上全局最小化就是寻求点x使得f(x)在X域上全局最小。 • 难点 • 高维 • 多峰值

42. 函数优化问题 • 测试函数（Benchmark问题） （1）Sphere Model 其最优状态和最优值为

43. 函数优化问题 • 测试函数 （2）Schwefel’s Problem2.22 其最优状态和最优值为

44. 函数优化问题 • 测试函数 （3）Schwefel’s Problem 1.2 其最优状态和最优值为

45. 函数优化问题 • 测试函数 （4）Schwefel’s Problem 2.21 其最优状态和最优值为

46. 函数优化问题 • 测试函数 （5）Generalized Rosenbrock’s Function 其最优状态和最优值为

47. 函数优化问题 • 测试函数 （8）Generalized Schwefel’s Problem 2.26 其最优状态和最优值为

48. 函数优化问题

49. 函数优化问题 • 测试函数 （9）Generalized Rastrigin’s Function 其最优状态和最优值为

50. 函数优化问题 • 测试函数 （22）J. D. Schaffer 其最优状态和最优值为