第二章

第二章 基本概念和基本理论

2.0、预备知识 1、向量和子空间投影定理 (1) n维欧氏空间：Rn 点（向量）：x Rn, x = (x1 ,x2 ,…,xn)T 分量 xi R (实数集) 方向（自由向量）：d Rn, d  0 d =(d1 ,d2 ,…,dn)T表示从0指向d 的方向实用中，常用 x + d 表示从x 点出发沿d 方向移动d 长度得到的点 d x+(1/2)d x 0

2.0、预备知识（续） 1、向量和子空间投影定理 (2) 向量运算：x , y Rn n x , y 的内积：xTy =  xiyi = x1y1+ x2y2+ …+ xnyn i =1 x , y 的距离：‖x-y ‖= [(x-y)T(x-y)](1/2) x 的长度：‖x‖= [ xTx ](1/2) 三角不等式：‖x + y ‖≤‖x‖＋‖y‖ 点列的收敛：设点列｛x(k)｝ Rn, x Rn 点列｛x(k)｝收敛到 x ，记 lim x(k) = x lim‖x(k)- x‖ = 0  lim xi(k) = xi ,i k k k x x+y y

2.0、预备知识（续） 1、向量和子空间投影定理 (3) 子空间：设d (1) , d (2) , … , d (m) Rn, d (k)0 m 记 L( d (1) , d (2) , … , d (m) )={ x = j d (j)jR} j =1 为由向量d (1) , d (2) , … , d (m)生成的子空间，简记为L。 • 正交子空间：设 L为Rn的子空间，其正交子空间为 L＝{ x  RnxTy=0 , y L} • 子空间投影定理：设 L 为Rn的子空间。那么x Rn， 唯一 x L , y L, 使 z=x+y , 且 x为问题 min ‖z - u‖ s.t. u  L的唯一解，最优值为‖y‖。 • 特别，L＝Rn 时，正交子空间 L＝{ 0 }（零空间）

2.0、预备知识（续） • 规定：x , y Rn，x ≤ y  xi ≤yi ，i类似规定 x ≥ y，x = y，x < y , x > y . • 一个有用的定理设 xRn，R，L为Rn的线性子空间， (1)若 xTy ≤  , yRn且 y ≥0，则 x ≤ 0， ≥0 . (2)若 xTy ≤  , y  L  Rn，则 x  L， ≥0 .(特别,L＝Rn时,x =0) • 定理的其他形式： “若 xTy ≤  , yRn且 y ≤0，则 x ≥ 0， ≥0 .” “若 xTy ≥  , yRn且 y ≥0，则 x ≥ 0， ≤0 .” “若 xTy ≥  , yRn且 y ≤0，则 x ≤ 0， ≤0 .” “若 xTy ≥  , y  L  Rn，则 x  L， ≤0 .”

2.0、预备知识（续） 2、多元函数及其导数 (1) n元函数：f (x): Rn R 线性函数：f (x) = cTx + b =  ci xi+ b 二次函数：f (x) = (1/2) xTQx + cTx + b = (1/2)i j aij xi xj+  ci xi+ b 向量值线性函数：F(x) = Ax + d  Rm 其中 A为 mn矩阵，d为m维向量 F(x)=( f1(x), f2(x), … , fm(x) )T 记 aiT为A的第i行向量，fi (x) = aiTx

2.0、预备知识（续） 2、多元函数及其导数 (2) 梯度（一阶偏导数向量）： f (x)＝( f / x1 ,  f / x2 , … ,  f / xn )TRn. 线性函数：f (x) = cTx + b ,f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b  f (x) = Qx + c 向量值线性函数：F(x) = Ax + d  Rm  F /  x = AT

2.0、预备知识（续） 2、多元函数及其导数 (3) Hesse 阵（二阶偏导数矩阵）：  2f /x1 2  2f /x2 x1 …  2f /xn x1 2f (x)= 2f /x1 x2  2f /x22 …  2f /xn x2 … … … … 2f /x1 xn 2f /x2 xn …  2f /xn2 线性函数：f (x) = cTx + b ,2f (x) = 0 二次函数：f (x) = (1/2) xTQx + cTx + b, 2f (x)=Q

2.0、预备知识（续） 2、多元函数及其导数 (4)n元函数的Taylor展开式及中值公式：设 f (x): Rn R，二阶可导。在x* 的邻域内 • 一阶Taylor展开式： f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖ • 二阶Taylor展开式： f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T2f (x*)(x-x*) + o‖x-x*‖2 • 一阶中值公式：对x,   , 使 f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*) • Lagrange余项：对x,   , 记xx*+ (x-x*) f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T2f (x )(x-x*)

2.1 数学规划模型的一般形式 min f(x)--------目标函数 s.t. xS--------约束集合，可行集其中，S  Rn，f :S  R，xS称（f S )的可行解 • 最优解: x*S，满足f (x*)≤ f (x),  xS。则称 x*为(f S)的全局最优解(最优解), 记 g.opt.(global optimum),简记 opt. • 最优值: x*为(f S)的最优解, 则称 f * = f (x*)为 (f S)的最优值(最优目标函数值) ( f S )

2.1 数学规划模型的一般形式（续） • 局部最优解: x*S， x* 的邻域 N(x*) ，使满足 f (x*)≤ f (x),  x S  N(x*)。则称 x*为(f S)的局部最优解,记 l .opt.(local optimum) • 在上述定义中，当x  x* 时有严格不等式成立，则分别称 x*为(f S)的严格全局最优解和严格局部最优解。 l .opt . 严格l .opt . 严格g .opt .

2.1 数学规划模型的一般形式（续） • 函数形式:f(x), gi(x) , hj(x) : RnR min f(x) (fgh) s.t. gi(x)≤ 0 , i = 1,2,…,m hj(x) = 0 , j = 1,2,…,l • 矩阵形式: min f(x) ，f(x): RnR (fgh) s.t. g(x)≤ 0 , g(x) : RnRm h(x) = 0 , h(x) : RnRl 当 f(x), gi(x) , hj(x)均为线性函数时，称线性规划；若其中有非线性函数时，称非线性规划。

2.2 凸集、凸函数和凸规划 一、凸集 1、凸集的概念：定义：设集合 S  Rn，若x(1), x(2)S, [0,1]，必有 x(1)＋(1- ) x(2) S ，则称 S 为凸集。规定：单点集 {x} 为凸集，空集为凸集。注: x(1)＋(1- ) x(2) = x(2)＋(x(1)- x(2))是连接 x(1)与x(2)的线段。凸集非凸集非凸集

2.2 凸集、凸函数和凸规划(续) 一、凸集 1、凸集的概念： • 例:证明集合 S = { x∣Ax = b } 是凸集。其中，A为 mn矩阵，b为m维向量。 • 凸组合：设x(1) , x(2) , … , x(m) Rn, j≥0 m m j =1, 那么称 j x(j) 为x(1), x(2), … , x(m)的 j =1 j = 1 凸组合。 m • 比较: z = j x(j) j =1 jR—构成线性组合 ——线性子空间 j≥0 , j >0 —构成半正组合 ——凸锥 j≥0 , j =0 —构成凸组合 ——凸集

2.2 凸集、凸函数和凸规划(续) 一、凸集 1、凸集的概念：定理：S是凸集S中任意有限点的凸组合属于S • 多胞形 H(x(1) , x(2) , … , x(m) )：由 x(1) , x(2) , … , x(m) 的所有凸组合构成。 • 单纯形：若多胞形 H(x(1) , x(2) , … , x(m) )满足， x(2)-x(1) , x(3) -x(1) , … , x(m)-x(1)线性无关。单纯形多胞形单纯形

2.2 凸集、凸函数和凸规划(续) 一、凸集 2、凸集的性质： • 凸集的交集是凸集；（并？） • 凸集的内点集是凸集；（逆命题是否成立？） • 凸集的闭包是凸集。（逆命题是否成立？） • 分离与支撑：凸集边界上任意点存在支撑超平面两个互相不交的凸集之间存在分离超平面非正常分离支撑强分离分离

2.2 凸集、凸函数和凸规划(续) 一、凸集 3、凸锥： • 定义：C Rn, 若 x C,  > 0有 x  C, 则称 C 是以 0 为顶点的锥。如果 C 还是凸集，则称为凸锥。 • 集合 { 0 }、Rn 是凸锥。 • 命题：C是凸锥C中任意有限点的半正组合属于S 0

2.2 凸集、凸函数和凸规划(续) 二、凸函数 1、凸函数及水平集定义: 设集合 S  Rn 为凸集，函数 f :SR 若  x(1), x(2)  S,   ( 0 , 1 ) ，均有 f(x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ，则称 f(x) 为凸集 S 上的凸函数。若进一步有上面不等式以严格不等式成立，则称 f(x) 为凸集 S 上的严格凸函数。 • 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为凹函数（严格凹函数）。严格凹函数凸函数严格凸函数

2.2 凸集、凸函数和凸规划(续) 二、凸函数 1、凸函数及水平集： • 定理： f(x) 为凸集 S 上的凸函数 S 上任意有限点的凸组合的函数值不大于各点函数值的凸组合。 • 思考：设f1, f2是凸函数， • 设1, 2 > 0, 1f1+2f2 , 1f1 - 2f2是否凸函数？ • f(x)= max{ f1(x) , f2 (x) } , g(x)= min{ f1(x) , f2 (x) }是否凸函数？

2.2 凸集、凸函数和凸规划(续) 二、凸函数 1、凸函数及水平集： • 定义：设集合 S  Rn ，函数 f :SR，  R，称 S = { x S∣f(x) ≤} 为 f(x) 在 S 上的 水平集。 • 定理：设集合 S  Rn 是凸集，函数 f :SR是凸函数，则对   R，S是凸集。 • 注： • 水平集的概念相当于在地形图中，海拔高度不高于某一数值的区域。 • 上述定理的逆不真。考虑分段函数f(x)=1(x≥0)或0(x<0)，函数非凸，但任意水平集是凸集。

2.2 凸集、凸函数和凸规划(续) 二、凸函数 2、凸函数的性质： • 方向导数：设 S Rn 为非空凸集，函数 f :SR ，再设 x*S, d 为方向，使当> 0充分小时有 x*+d S,如果 lim[ f(x*+ d )-f(x*) ] / 存在（包括  ）   则称 f(x) 为在点沿方向的方向导数存在，记 f `(x*;d) = lim[ f(x*+ d )-f(x*) ] /    • 若 f(x) 在 x* 可导，则 f `(x*;d) = [f (x*) ]Td .

2.2 凸集、凸函数和凸规划(续) 二、凸函数 2、凸函数的性质：以下设 S Rn 为非空凸集，函数 f :SR 2）若f 凸，则 f 在 S 的内点集上连续；注： f 在 S 上不一定连续。例: f(x)＝2(当x=1)； f(x)＝x2 (当x<1) . 3）设f 凸，则对任意方向方向导数存在。 4）设 S 是开集，f 在 S 上可微，则 f凸 x*S，有f (x) ≥ f (x*)+ f T(x*)(x-x*) ,  x S . 5) 设 S 是开集，f 在 S 上二次可微，则 a) f 凸 xS，2f (x) 半正定； b) 若 xS，2f (x) 正定，则f严格凸。

2.2 凸集、凸函数和凸规划(续) 二、凸函数 2、凸函数的性质： • 例： • f(x)＝x12+2x1x2+2x22+10x1 - 4 ； • f(x)＝-3x12+x1x2-x22-2x32-2x2x3+26 ; • f(x)＝3x12+ax1x2+2x22-4x1+6 ( a=5, 4.5 )；

2.2 凸集、凸函数和凸规划(续) 三、凸规划： • 当（f S）中，S为凸集，f是S上的凸函数（求min），称（f S）为凸规划； • 对于（fgh）, f,gi为凸函数，hj为线性函数时，（fgh）为凸规划。 • 定理：设集合 S Rn 为凸集，函数 f :SR f(x) 为凸集 S 上的凸函数。X*为问题（fs）的l.opt，则X*为g.opt；又如果f是严格凸函数，那么X*是（fs）的唯一g.opt。

2.3 多面体、极点、极方向 1）多面体：有限个半闭空间的交例：S = { xRnAx = b , x≥0 }

2.3 多面体、极点、极方向 2) 多面体的极点（顶点）： xS，不存在 S中的另外两个点x(1)和x(2)，及 λ(0,1)，使 x = λx(1)+(1-λ)x(2). 3) 方向：xS , dRn , d 0 及 λ > 0 , 总有 x + λd S. d(1) = λd(2) ( λ>0) 时，称 d(1)和d(2)同方向。 4) 极方向：方向 d不能表示为两个不同方向的组合 ( d = d(1)+d(2) ) .

2.3 多面体、极点、极方向 多面体 S = { xRnAx = b , x≥0 }的极点和极方向定理1（极点特征）设 A满秩，x是 S 极点的充分必要条件是: 存在分解 A = [ B , N ]，其中B为m阶非奇异矩阵，使 xT = [ xBT, xNT ], 这里 xB = B-1b≥0, xN =0. • S中必存在有限多个极点。( ≤ Cnm )

2.3 多面体、极点、极方向 多面体S = { xRnAx = b , x≥0 }的极点和极方向定理2（极方向特征）设 A = [p1, p2, … ,pn]满秩，d是 S极方向的充分必要条件是: 存在分解 A = [ B , N ]，其中B为m阶非奇异矩阵，对于N中的列向量 pj使 B-1pj≤0, dT = [ dBT, dNT ], 这里 j dB = -B-1pj, dN = (0, ... , 1, … ,0)T • S中必存在有限多个极方向。( ≤ (n-m)Cnm )

例题考虑多面体 S = { xRnAx = b , x≥0 }，其中 3 2 1 0 0 65 A = 2 1 0 1 0 b = 40 0 3 0 0 1 75 即 3 x1 + 2 x2 + x3 = 65 2 x1 + x2 + x4 = 40 3 x2 + x5 = 75 x1 , x2 , x3 , x4 , x5 ≥ 0

例题 3 2 1 0 0 A = [ P1 , P2 , P3 , P4 , P5 ] = 2 1 0 1 0 0 3 0 0 1 A矩阵包含以下10个3×3的子矩阵： B1=[p1 ，p2 ，p3] B2=[p1 ，p2 ，p4] B3=[p1 ，p2 ，p5] B4=[p1 ，p3 ，p4] B5=[p1 ，p3 ，p5] B6=[p1 ，p4 ，p5] B7=[p2 ，p3 ，p4] B8=[p2 ，p3 ，p5] B9=[p2 ，p4 ，p5] B10=[p3 ，p4 ，p5]

例题其中B4= 0，因而B4不能构成极点和极方向。其余均为非奇异方阵，因此该问题共有9个可构成极点、极方向的子矩阵，我们称之为基。对于基B3=[p1 ，p2 ，p5]，令x3= 0， x4 = 0，在等式约束中令x3 = 0，x4= 0，解线性方程组： 3 x1+ 2 x2+ 0 x5= 65 2 x1+ x2+ 0 x5= 40 0 x1+ 3 x2+ x5 = 75 得到x1=15，x2= 10，x5 = 45，对应的极点： x = (x1，x2，x3，x4，x5 )T = (15，10，0，0，45 )T

例题类似可得到极点 x(2) = (5, 25, 0, 5, 0 )T（对应B2） x(7) = (20, 0, 5, 0, 75 )T（对应B5） x(8) = (0, 25, 15, 15, 0 )T（对应B7） x(9) = (0, 0, 65, 40, 75 )T（对应B10）而 x(3)= (0, 32.5, 0, 7.5, -22.5 )T（对应B9） x(4)= (65/3, 0, 0, -10/3, 75 )T（对应B6） x(5)= ( 7.5, 25, -7.5, 0, 0 )T（对应B1） x(6) = ( 0, 40, -15, 0, -45 )T（对应B8）不是极点

2.3 多面体、极点、极方向 多面体 S = { xRnAx = b , x≥0 }的极点和极方向定理3（表示定理）考虑上述多面体S，设A满秩，x(1),x(2) , …,x(k)为所有极点， d(1),d(2) , …,d(l)为所有极方向。那么，对于 xS，λi≥0，且λ1+ λ2+…+ λk= 1, j≥0, j = 1,2,…,l, 使 x = λ1 x(1) + λ2 x(2) + … + λk x(k) + 1 d(1) + 2 d(2) + … + l d(l) .

第 二 章

第 二 章

Presentation Transcript

第二章

第二章