线 性 代 数 Linear Algebra 刘鹏

1. 线 性 代 数Linear Algebra刘鹏 复旦大学通信科学与工程系 光华楼东主楼1109 Tel: 65100226 pliu@fudan.edu.cn

2. 问题：非齐次线性方程组 AX=b的所有解向量 是否构成 Rn上的线性空间？ • 否，因为对线性运算不封闭： • 设 X1 X1是解向量，则 • 对加法运算不封闭，因此不能构成 Rn上的 线性空间.

3. 三、过渡矩阵与坐标变换公式 • 定义 4.6:设 ε1, ε2 , ..., εn和 ε'1, ε'2 , ..., ε'n 是 n 维线性空间 V 中的两个基，且有： 则称矩阵 M为由基ε1, ε2 , ..., εn到 基ε'1, ε'2 , ..., ε'n 的过渡矩阵(transition matrix).

4. 定理 4.3:设 ε'1, ε'2 , ..., ε'n 和ε1, ε2 , ..., εn 是 n 维线性空间 V 中的两个基，且有： (1)过渡矩阵 M 是可逆的； 则 (2)若 α∈V，且在基 ε1, ε2 , ..., εn和 ε'1, ε'2 , ..., ε'n 下的坐标分别为 [x1,x2,...,xn]T和 [x'1,x'2,...,x'n]T ，则有

5. 四、线性子空间的维数与基 • 基/维数/坐标等概念也可以应用到线性子空间． 定理 4.4: 设α1, α2 , ... ,αl与 β1 , β2 , ... ,βs是线性空间 V 中的两个向量组。 (1)L(α1, α2 , ... ,αl) = L(β1 , β2 , ... ,βs) 的充分必要条件是 α1, α2 , ... ,αl 与β1 , β2 , ... ,βs 等价; (2)L(α1, α2 , ... ,αl) 的维数等于向量组α1, α2 , ... ,αl 的秩.

6. § 4.3 欧几里德(Euclid)空间 一、欧几里德空间的定义及基本性质 • 定义 4.7:引入内积后的有限维实线性空间 就是欧氏空间. • 常定义内积 (inner/dot/scalar product) 如下 实数

7. 内积的基本性质： 对称性 (1)(α,β) = (β,α)； (2、3)线性性 (2)(kα,β) = k(α,β)； (3) (α+β,γ) = (α,γ) + (β,γ)； (4) (α,α)≥0 ，当且仅当α=0 时(α,α)= 0 . 恒正性

8. 二、向量的长度与夹角 • 有了内积的定义，可以进一步给出欧氏空间内向量的长度与向量间夹角的定义. • 定义 4.8:设α是欧氏空间V 的一个向量，称非负实数 长度为1的向量:单位向量. 为向量α的长度(length) 或模或范数(norm，2范数)，记为: • 有了范数就可以度量：度量向量间距离的远近，度量向量的长度，度量误差的大小....

9. 长度的基本性质： (1) 正定性: ||||  0; 且|||| = 0  =  ; (2) 齐次性: ||k|| = |k|·|||| (kR); (3) 三角不等式: || + ||  |||| + ||||. • 定理 4.5:柯西—施瓦茨不等式(Cauchy-Schwartz Inequality): 对于欧氏空间 V 中任意两个向量，，恒有 当且仅当 与 线性相关时等号成立.

10. (,  ) , 0     = arccos ||||·|||| • 定义 4.9:设,  是欧氏空间中的两个非零向量 定义,  的夹角为 • 定义 4.10: 若(,  ) = 0, 即=  / 2, 则称与正交或垂直，记为⊥ .

11. 三、内积的坐标表示 • 有了内积的定义，线性空间中的基、维数、坐标等概念也可以应用于欧氏空间. • 设 V 是一个 n 维欧氏空间，在 V 中任意取定 一个基 ε1, ε2 ,...,εn ，对 V 中任意两个向量 ， 有 • 由内积的性质

13. 利用矩阵可表示为 • 其中 • 矩阵 A 称为基 ε1, ε2 ,...,εn 的 度量矩阵(metric matrix). • A 是基中各个向量的内积构成的，度量矩阵确定 后，V 中任意两个向量的内积可由它们的坐标决定. • 由定义，度量矩阵是实对称阵， • 度量矩阵的对角线元素恒正.

14. 例： 设ε1, ε2 ,ε3，ε4是欧氏空间V 中的一个基， 其度量矩阵为 且V 中两个向量 求 ||ε2|| 和 ( ，). 解：由度量矩阵的定义 • 由(3.8)式

15. 如果基中向量两两正交，度量矩阵变为对角阵； 如果基中向量两两正交，度量矩阵变为对角阵； • 如果基中向量不仅两两正交，而且长度为1  度量矩阵变为单位阵  内积计算大大简化.

16. 四、标准正交基 • 线性空间内任一向量可由基和坐标线性表示； • 基作为度量标准，首先必需满足：(1) 组成向量线性无关；(2) 空间中任一向量都可由基线性表示. • 基作为度量标准，本身应该尽可能简洁。 • 普通基不满足：表示不方便，计算不方便， 计算不稳定. • 而标准正交基类似于几何空间中的直角坐标系： 表示方便，计算方便，计算稳定.

17. 例如：（1 0 0）（1 1 0） （1 1 1） 与 （1 0 0）（0 1 0） （0 0 1） • 后面我们会看到，在标准正交基下，内积、 范数、度量矩阵等都具有简单的形式； • 标准正交基是基的一种，所以任一向量  ， 总能用标准正交基线性表示.

18. 定义 4.11在欧氏空间 V 中，一组非零向量，如果它们两两正交(mutually orthogonal)，就称它为正交向量组。 • 例如 R n 的标准基 (e1 , e2 , ..., en) • 例如 1 2 1 1 1 1 1 0 1

19. 定理 4.6设α1,α2,…,αm (m≤n) 是 n 维欧氏空间V 中的一组正交向量，则α1,α2,…,αm线性无关。 证明：作正交向量组α1,α2,…,αm的线性组合，使得 • 用 αj 对等式作内积，因为 • 故必有 λj = 0, 所以向量组α1,α2,…,αm线性无关.

20. 特别地，只有一个非零向量构成的向量组 也称为正交向量组, • 因为在此向量组中找不到两个向量不正交. • dimV = n 时，V中两两正交的向量不会超过 n 个 , • 如平面上找不到3个两两正交的向量，空间中找不到4个两两正交的向量.

21. 定义 4.12在 n 维欧氏空间 V 中，由 n 个两两正交的非零向量所构成的正交向量组称为正交基； • 由单位向量构成的正交基称为标准正交基。 • 例如 1 2 1 1 1 1 1 0 1

22. 例：证明向量组： 是欧氏空间R3的一个标准正交基. 解：由于 • 且 • 由定义知 1， 2 ，  3 是一组正交基.

23. 若ε1, ε2 ,...,εn 是 n 维欧氏空间 V 中的一个 标准正交基，由定义4.12有 • 标准正交基的度量矩阵为单位阵. • 利用度量矩阵，两个向量的内积变得非常简单

24. 因此向量组的正交化非常必要: 从内积空间（如欧几里得空间）中的一组线性无关向量出发，得到同一子空间上两两正交的向量组(基). 定理 4.7任一 n 维欧氏空间(n≥1) 都必有正交基(orthogonal basis)。

25. 证明：设向量组α1,α2,…,αn是n 维欧氏空间的任意一个基，我们可以由它构造一个正交基 • 施密特正交化过程(Schmidt’s Orthonormalization Process) • 先取 • 显然β1 ≠ 0, 令 使β2与β1 正交，即 • 于是系数 • 而且β2 ≠ 0, 否则 α1,α2 线性相关，与假设矛盾.

26. 此时β2与β1 已正交； • 我们再令 • 并且使β3 与β2 、β1 都正交，故 • 于是系数 • 同理，由 • 因此，有 • 且β3 ≠ 0, 否则 α1,α2,α3线性相关，与假设矛盾.

27. 此时β3、β2 、β1 已两两正交. • 重复上述步骤，可得 • 且βn ≠ 0, 此时 β1, β2, ... , βn两两正交，即为 所求正交基. • Schmidt 正交化提供了正交化方法：通过子空间的一个基 得出子空间的一个正交基， • 并可进一步求出对应的标准正交基.

28.      几何解释：设, Rn, 且与 线性无关, 求常数 k 使 +k 与 正交. 解 (1)：几何方法 • γ与 α同方向，所以 • 施密特正交化的几何解释

29. 定义(投影)若  与  是n 维内积空间中的向量，则  到  的标量投影(scalar projection)为 则  到  的向量投影(vector projection)η为 • 由前例 -η⊥. • Schmidt 正交化基本思路就是利用投影原理，在已有正交基的基础上构造一个新的正交基。

30. 具体的说，从其中一个向量所张成的一维子空间开始，重复扩展构造直到 n 维空间：

31. Erhard Schmidt • 哥廷根大学博士，师从希尔伯特 • 拉普拉斯和柯西更早发现这一正交化方法，但没有达到施密特的高度. • (1876.1.13-1959.12.6)德国数学家 • 主要工作在积分方程和希尔伯特空间方面，,创立了泛函分析。 • 现代数学的奠基人之一。 • 实际数值计算中，Schmidt正交化并不稳定，误差累积会使得正交性越来越差， • 常用的是 Householder 变换或Givens旋转. 

32. 4.7推论 任一 n 维欧氏空间(n≥1) 都有一个标准正交基(orthonormal basis)。 • 只要将定理4.7中的正交基单位化即得. • η1, η2, ... , ηn即为 所求标准正交基. • 正交基带来的好处： • 标准正交基  正交矩阵  线性方程组求解 • 计算的方便性和稳定性

33. 例：已知欧氏空间 R4的向量组： 试求：(1)生成子空间 L( 1， 2 ， 3 )的一个标准正交基；(2) 将此标准正交基扩充成 R4的一个标准正交基. 解: (1)先求向量组的秩，得到一组基 • 向量组的秩r = 2，dim L( 1， 2 ， 3 )=2，取 1， 2为基.

34. 将 1， 2正交化，令 • 再标准化，得 • 即为生成子空间L( 1， 2 ， 3 )的一个标准正交基.

35. (2) 将此标准正交基扩充成 R4的一个标准正交基. • 设向量 = [x1，x2 ，x3 ，x4] ∈ R4，且 ⊥1， ⊥2，即 • 求齐次线性方程组的基础解系，得

36. 将 4， 5正交化，令 • 再标准化，得 • 向量组ε1，ε2 ，ε3 ，ε4 就是 R4的一个标准正交基.

37. 练习：考虑 P[x]3 中定义的内积 求P[x]3 的一组标准正交基. 提示: 不妨从标准基出发，先正交化，再单位化 (1) 正交化，令

38. (2) 单位化：

39. P0 选择系数，令 βn (1)=1 n 阶勒让德多项式：

40. 40

41. 例：令矩阵 试求：A 的列空间的一组标准正交基； 解: 显然 A 的3个列向量线性无关，它们构成 R4 的3 维子空间的一组基，可以使用施密特正交化过程 • 正交化、标准化同时进行，令 • 令

42. 令 • 向量组q1，q2 ，q3 就是 A 的列空间的一组标准正交基.

43. 定理(QR分解)若 A 是一秩为 n 的 m×n 阶矩阵，则A 可以分解为乘积 QR, 其中 Q 为列正交的m×n 阶矩阵，R 为对角线元素均为正的 n×n 阶上三角阵。 • 例中的 QR 分解为