第二章 优化设计 数学基础

1. 第二章 优化设计数学基础

2. 本章内容 • 优化问题分单变量和多变量，有约束和无约束，线性和非线性问题。 • 无约束优化就是数学上的无条件极值，约束优化就是数学上的条件极值。 • 我们常见的是非线性规划问题。 • 本章是回顾相关的数学基础，讨论约束最优化的条件等问题

3. 第一节 多元导数的方向导数与梯度 方向导数 一个二元函数在 处的偏导数

4. 图2-1二维空间中的方向

5. 一个二元函数在 处的沿方向d的导数

6. 同理，三元函数的方向导数 多元函数的方向导数

7. 图2-2三维空间中的方向

8. 二元函数的梯度 二元函数的梯度 称函数在 处的梯度。

9. 方向导数的几种形式：

10. 图2-3梯度方向与等值线的关系

11. 当在 平面内画出 的等值 线 可以看出，在等值线的切线方向d是函数变化率为零的方向，即有 所以

12. 作业：求二元函数 在 处函数变化率最大的方向和数值。

13. 多元函数的梯度

14. d方向上的方向导数

15. 为梯度 的模。 为梯度方向单位向量，它与函数等值面 相垂直。

16. 图2-5梯度方向与等值面的关系

17. 多元函数的泰勒展开 一元函数 在 点处的泰勒展开式为 其中 二元函数 在 点处的泰勒展开式为 其中

19. 其二阶偏导数矩阵： 又称hession矩阵

20. 作业 求二元函数 在 点处的二阶泰勒展开式。

21. 将二元函数的泰勒展开式推广到多元函时，则 在 点处泰勒展开式的矩阵形式为 其中 为函数 在 点处的梯度

22. 若将函数的泰勒展开式只取到线性项，即取 则 是过 点和函数 所代表的超曲面相切的切平面。

23. 第二节 无约束优化的极值条件 对于二元函数 ，若在 点处取得极值，其必要条件是 为了判断从上述必要条件求得的 是否是

24. 极值点，需要建立极值的充分条件。根据二元函数 在 点处的泰勒展开式，考虑上述极值必要条件，有 设 则

25. 即要求: 或表示为

26. 该条件反映了函数在 处的各阶主子式大于0

27. 多元函数的极值充分条件 正定

28. 第三节 凸集、凸函数与凸规划 • 函数的极小点和最小点 图2-7下凸的一元函数

29. 凸集 一个点集（或区域），如果连结其中任意两点 和 的线段全部包含在该集合内，就成该点集为凸集，否则称非凸集。凸集的概念可以用数学的语言简练地表示为：如果对一切 ， 及一切满足 的实数 ，点 ，则称集合 为凸集。凸集既可以是有界的，也可以是无界的。n维空间中的 维子空间也是凸集（例如三维空间中的平面）。

30. 图2-8凸集与非凸集

31. 凸集具有以下性质： （1）若A是一个凸集， 是一个实数， 是凸集A中的动点，即 ，则集合 还是凸集 （2）若A和B是凸集， 、 分别是凸集A、B中的动点，即 ， ，则集合 还是凸集。 （3）任何一组凸集的交集还是凸集。

32. 这三个性质如图所示 凸集的性质

33. 凸函数 函数 如果在连接其凸集定义域内任意两点 、 的线段上，函数值总小于或等于用 及 作线性内插所得的值，那么称 为凸函数。用数学语言表达为

34. 凸函数的定义

35. 下面给出凸函数的一些简单性质： 设 为定义在凸集 上的一个凸函数，对任意实数 ，则函数 也是定义在 上的凸函数。 设 和 为定义在凸集 上的两个凸函数，则其和 也是 上的凸函数。 对任意两个整数 和 ，函数 也是在 上的凸函数。

36. 凸性函数 设 为定义在凸集 上，且具有连续一阶导数的函数，则 在 上为凸函数的充分必要条件是对凸集 内任意不同两点 、 ，不等式 恒成立。 这是根据函数的一阶导数信息——函数的梯度 来判断函数的凸性。也可以用二阶导数信息——函数的海塞矩阵 来判断函数的凸性。 设 为定义在凸集 上且具有连续二阶导数的函数，则 在 上为凸函数的充分必要条件是海塞矩阵 在 上处处半正定。（证明从略）

37. 凸规划 对于约束优化问题 若 都为凸函数，则称此问题 为凸规划。 凸规划有如下性质： 1）若给定一点 ，则集合 为凸集。此性质表明，当 为二元函数时期等值线成大圈套小圈形式。 2）可行域 为凸集。 3）凸规划的任何局部最优解就是全局最优解。

38. 第四节 等式约束优化的极值条件 求解等式约束优化问题： 需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。对这一问题在数学上有两种处理方法：消元法（降维法）和拉格朗日乘子法（升维法），现分别予以介绍。

39. 消元法 为了便于理解，先讨论二元函数只有一个等式约束的简单情况，即 对于n维情况 由 个约束方程将n个变量中的前 个变量用其余 个变量表示，即有

40. 拉格朗日乘子法 拉格朗日乘子法是求解等式约束优化问题的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题。所以又称升维法。 对于具有 个等式约束的N维优化问题 在极值点 处有

41. 把 个等式约束给出的 个 分别乘以 待定系数 再和 相加，得 （2-10） 可以通过其中的 个方程 （2-11） 来求解 个 ，使得 个变量的微分 的系数全部为零。 这样式（2-10）的等号左边就只剩下 个变量的微分 的项，即它变为 （2-12）

42. 但 应是任意的量，则应有 （2-13） 式（2-11）和式（2-13）及等式约束 就是点 达到约束极值的必要条件。

43. 设 ，目标函数是 ，约束条件是 的 个等式约束方程。为了求出 的可能的极值点 ，引入拉格朗日乘子 ，并构成一个新的目标函数

44. 第五节 不等式约束优化的极值条件 工程上大多数问题都是不等式约束优化问题. 一元函数在一定区间的优化问题: 引入松弛变量

45. 得到拉格朗日方程

46. 分析 可知，此时不是 ，就是 。当 时， ，约束起作用，即为 的情况。当 时， ，约束不起作用，即为 的情况。这个分析结果可表示为 这说明对于 和 ，二者至少必有一个需要取零值，因此可将 的条件写成 。 可将 的条件写成 。

47. 分析极值点 在区间 中所处的位置，将会出现三种可能的情况： 1）当 时，因为此时 ，则极值条件为 2）当 时，因为此时 ，则极值条件为 ，即 。 3）当 时，因为此时 ，则极值条件为 ，即 。

48. 这和如下图所示的从几何概念分析的结果完全一致。这和如下图所示的从几何概念分析的结果完全一致。 三个极值条件的几何表示

49. 第六节 库恩—塔克条件 将上述一元函数推广到多元函数，可以得到著名的库恩—塔克条件 （其中设计变量 为n维向量，它受到有m个不等式约束的限制） 可以得到拉格朗日函数

50. 拉格朗日函数的极值条件 从一元函数类推可以得到库恩—塔克条件