运筹学与最优化方法

运筹学与最优化方法 吴祈宗等编制

主要内容 • 第一章运筹学思想与运筹学建模 • 第二章基本概念和理论基础 • 第三章线性规划 • 第四章最优化搜索算法的结构与一维搜索 • 第五章无约束最优化方法 • 第六章约束最优化方法 • 第七章目标规划 • 第八章整数规划 • 第九章层次分析法 • 第十章智能优化计算简介

第一章 运筹学思想与运筹学建模

第一章运筹学思想与运筹学建模 运筹学—简称 OR （美）Operation`s Research （英）Operational Research “运筹于帷幄之中，决胜于千里之外” • 三个来源：军事、管理、经济 • 三个组成部分：运用分析理论、竞争理论、随机服务理论

一、什么是运筹学 • 为决策机构在对其控制下的业务活动进行决策时，提供一门量化为基础的科学方法。 • 或是一门应用科学，它广泛应用现有的科学技术知识和数学方法，解决实际中提出的专门问题，为决策者选择最优决策提供定量依据。 • 运筹学是一种给出问题坏的答案的艺术，否则的话，问题的结果会更坏。

二、运筹学的应用原则 • 合伙原则：应善于同各有关人员合作 • 催化原则：善于引导人们改变一些常规看法 • 互相渗透原则：多部门彼此渗透地考虑 • 独立原则：不应受某些特殊情况所左右 • 宽容原则：思路宽、方法多，不局限在某一特定方法上 • 平衡原则：考虑各种矛盾的平衡、关系的平衡

三、运筹学解决问题的工作步骤 1 ）提出问题：目标、约束、决策变量、参数 2 ）建立模型：变量、参数、目标之间的关系表示 3 ）模型求解：数学方法及其他方法 4 ）解的检验：制定检验准则、讨论与现实的一致性 5 ）灵敏性分析：参数扰动对解的影响情况 6 ）解的实施：回到实践中 7 ）后评估：考察问题是否得到完满解决

四、运筹学模型的构造思路及评价 • 直接分析法 • 类比方法 • 模拟方法 • 数据分析法 • 试验分析法 • 构想法模型评价: 易于理解、易于探查错误、易于计算等

优化模型的一般形式 Opt. f ( xi, yj, k ) s.t. gh( xi, yj, k )   ,   0 h = 1,2, … ,m 其中：xi 为决策变量（可控制） yj为已知参数 k为随机因素 f , gh为（一般或广义）函数建模举例（略）—— 自看

五、基本概念和符号 1、向量和子空间投影定理 (1) n维欧氏空间：Rn 点（向量）：x Rn, x = (x1 ,x2 ,…,xn)T 分量 xi R (实数集) 方向（自由向量）：d Rn, d  0 d =(d1 ,d2 ,…,dn)T表示从0指向d 的方向实用中，常用 x + d 表示从x 点出发沿d 方向移动d 长度得到的点 d x+(1/2)d x 0

五、基本概念和符号（续） 1、向量和子空间投影定理 (2) 向量运算：x , y Rn n x , y 的内积：xTy =  xiyi = x1y1+ x2y2+ …+ xnyn i =1 x , y 的距离：‖x-y ‖= [(x-y)T(x-y)](1/2) x 的长度：‖x‖= [ xTx ](1/2) 三角不等式：‖x + y ‖≤‖x‖＋‖y‖ 点列的收敛：设点列｛x(k)｝ Rn, x Rn 点列｛x(k)｝收敛到 x ，记 lim x(k) = x lim‖x(k)- x‖ = 0  lim xi(k) = xi ,i k k k x x+y y

五、基本概念和符号（续） 1、向量和子空间投影定理 (3) 子空间：设d (1) , d (2) , … , d (m) Rn, d (k)0 m 记 L( d (1) , d (2) , … , d (m) )={ x = j d (j)jR} j =1 为由向量d (1) , d (2) , … , d (m)生成的子空间，简记为L。 • 正交子空间：设 L为Rn的子空间，其正交子空间为 L＝{ x  RnxTy=0 , y L} • 子空间投影定理：设 L 为Rn的子空间。那么x Rn， 唯一 x L , y L, 使 z=x+y , 且 x为问题 min ‖z - u‖ s.t. u  L的唯一解，最优值为‖y‖。 • 特别，L＝Rn 时，正交子空间 L＝{ 0 }（零空间）

五、基本概念和符号（续） • 规定：x , y Rn，x ≤ y  xi ≤yi ，i类似规定 x ≥ y，x = y，x < y , x > y . • 一个有用的定理设 xRn，R，L为Rn的线性子空间， (1)若 xTy ≤  , yRn且 y ≥0，则 x ≤ 0， ≥0 . (2)若 xTy ≤  , y  L  Rn，则 x  L， ≥0 .(特别,L＝Rn时,x =0) • 定理的其他形式： “若 xTy ≤  , yRn且 y ≤0，则 x ≥ 0， ≥0 .” “若 xTy ≥  , yRn且 y ≥0，则 x ≥ 0， ≤0 .” “若 xTy ≥  , yRn且 y ≤0，则 x ≤ 0， ≤0 .” “若 xTy ≥  , y  L  Rn，则 x  L， ≤0 .”

五、基本概念和符号（续） 2、多元函数及其导数 (1) n元函数：f (x): Rn R 线性函数：f (x) = cTx + b =  ci xi+ b 二次函数：f (x) = (1/2) xTQx + cTx + b = (1/2)i j aij xi xj+  ci xi+ b 向量值线性函数：F(x) = Ax + d  Rm 其中 A为 mn矩阵，d为m维向量 F(x)=( f1(x), f2(x), … , fm(x) )T 记 aiT为A的第i行向量，fi (x) = aiTx

五、基本概念和符号（续） 2、多元函数及其导数 (2) 梯度（一阶偏导数向量）： f (x)＝( f / x1 ,  f / x2 , … ,  f / xn )TRn. 线性函数：f (x) = cTx + b ,f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b  f (x) = Qx + c 向量值线性函数：F(x) = Ax + d  Rm  F /  x = AT

五、基本概念和符号（续） 2、多元函数及其导数 (3) Hesse 阵（二阶偏导数矩阵）：  2f /x1 2  2f /x2 x1 …  2f /xn x1 2f (x)= 2f /x1 x2  2f /x22 …  2f /xn x2 … … … … 2f /x1 xn 2f /x2 xn …  2f /xn2 线性函数：f (x) = cTx + b ,2f (x) = 0 二次函数：f (x) = (1/2) xTQx + cTx + b, 2f (x)=Q

五、基本概念和符号（续） 2、多元函数及其导数 (4)n元函数的Taylor展开式及中值公式：设 f (x): Rn R，二阶可导。在x* 的邻域内 • 一阶Taylor展开式： f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖ • 二阶Taylor展开式： f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T2f (x*)(x-x*) + o‖x-x*‖2 • 一阶中值公式：对x,   , 使 f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*) • Lagrange余项：对x,   , 记xx*+ (x-x*) f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T2f (x )(x-x*)

第一章其它基础知识 • 复习下列知识： • 线性代数的有关概念：向量与矩阵的运算、向量的线性相关和线性无关，矩阵的秩，正定、半正定矩阵，线性空间等； • 集合的有关概念：开集、闭集，集合运算，内点、边界点等。

运筹学 与最优化方法