目录
CONTENTS
第 1章向量和矩阵 .............................................................................................................1
1.1向量及其线性组合....................................................................................................2
1.1.1线性组合 cv + dw .........................................................................................3
1.1.2求解二元方程组.............................................................................................4
1.1.3消元法会失效吗.............................................................................................4
1.1.4三维向量的情形.............................................................................................5
1.1.5如何知道这是一个平面？ ...............................................................................6 习题 1.1..........................................................................................................................6
1.2点积、长度和角度....................................................................................................9
1.2.1垂直向量..................................................................................................... 11
1.2.2向量之间的夹角........................................................................................... 13
1.2.3三维空间中的平面 ....................................................................................... 15 习题 1.2........................................................................................................................ 16
1.3矩阵和它们的列空间 .............................................................................................. 19
1.3.1 A的列空间................................................................................................. 22
1.3.2秩 1矩阵 .................................................................................................... 24 习题 1.3........................................................................................................................ 25
1.4 矩阵乘法 AB和 CR ............................................................................................ 28 = BA ................................................................................... 30
1.4.1通常来说 AB .
1.4.2 (AB)C = A(BC)....................................................................................... 30
1.4.3回顾矩阵乘法 AB ....................................................................................... 31
1.4.4秩 1矩阵和 A = CR .................................................................................. 31
1.4.5 C由 A的前 r个线性无关的列组成 ............................................................. 32
1.4.6矩阵乘积 CR.............................................................................................. 32
1.4.7如何找出矩阵 R .......................................................................................... 34
1.4.8 A的列乘以 B的行，C的列乘以 R的行 .................................................... 35 习题 1.4........................................................................................................................ 37
1.5谈谈第 1章 ........................................................................................................... 39
第 2章解线性方程组 Ax = b ........................................................................................... 41
2.1消元法和回代 ........................................................................................................ 42
2.1.1回代解法
Ux = c ........................................................................................ 43
2.1.2把
A转化成 U，b转化成 c ........................................................................ 44
2.
1.3消元法失效的情况 ....................................................................................... 44
2.
1.4线性相关或线性无关的列向量....................................................................... 45
2.
1.5行向量和列向量的图示................................................................................. 46
2.
1.6消元和置换的例子 ....................................................................................... 46 习题 2.1........................................................................................................................ 47
2.
2初等矩阵和逆矩阵.................................................................................................. 50
2.
2.1和逆矩阵有关的事实 .................................................................................... 51
2.2.2矩阵乘积
AB的逆...................................................................................... 53
2.2.3
L是 E的逆 ............................................................................................... 55 习题 2.2........................................................................................................................ 55
2.3矩阵运算和
LU分解 ............................................................................................. 58
2.
3.1消元法的计算复杂度 .................................................................................... 59
2.3.2证明
LU分解 ............................................................................................. 60
2.3.3伟大的
A = LU分解 .................................................................................. 60
2.3.4
A = LU的第二种证明：将列乘以行 ............................................................ 61
2.
3.5不包含行对换的消元法................................................................................. 62 习题 2.3........................................................................................................................ 62
2.4置换与转置
............................................................................................................ 65
2.4.1置换
........................................................................................................... 65
2.
4.2置换矩阵的性质........................................................................................... 66
2.4.3
PA = LU分解：P导致行交换 .................................................................. 66
2.
4.4选取“部分主元”以减少舍入误差 ................................................................ 67
2.4.5
PAQ：P对 A做行交换，Q对 A做列交换 ............................................... 67
2.4.6
A的转置 .................................................................................................... 68
2.
4.7内积的意义 ................................................................................................. 69
2.4.8对称矩阵
..................................................................................................... 70
2.4.9对称乘积
ATA、AAT和 LDLT分解 ......................................................... 71 习题 2.4........................................................................................................................ 72
2.
5导数和有限差分矩阵 .............................................................................................. 75
2.
5.1公式的逆向推导：由差值求导数 ................................................................... 76
2.
5.2二阶差分矩阵 K、T、B ............................................................................. 77
2.5.3矩阵
K的性质............................................................................................ 78
2.
5.4一端自由一端固定的矩阵 Tn ........................................................................ 80
2.
5.5两端自由的矩阵 B是奇异的 ........................................................................ 80 习题 2.5........................................................................................................................ 81
2.6谈谈第
2章 ........................................................................................................... 83
目录XI
第 3章矩阵的四个基本子空间........................................................................................... 85
3.
1线性空间及其子空间 .............................................................................................. 86
3.
1.1线性空间的例子........................................................................................... 86
3.
1.2线性空间的子空间 ....................................................................................... 87
3.1.3
A的列空间................................................................................................. 88
3.1.4
A的行空间................................................................................................. 89
3.1.5
A的列向量张成了线性空间 C(A)................................................................. 89 习题 3.1........................................................................................................................ 90
3.2通过消元法
A = CR计算零空间 ........................................................................... 93
3.
2.1利用消元法将 A转化成 rref(A)：最简行阶梯形矩阵 .................................... 95
3.
2.2逐列消元：从 A到 R0的步骤 ..................................................................... 96
3.2.3矩阵分解
A = CR和零空间 ........................................................................ 97
3.
2.4消元法的终章：分块消元 ............................................................................100 习题 3.2.......................................................................................................................101
3.3方程组
Ax = b的解集..........................................................................................105
3.3.1方程组的特解 xp : Axp = b.........................................................................106
3.
3.2行满秩和解集 .............................................................................................108 习题 3.3.......................................................................................................................112
3.
4线性无关性、基、维数 ..........................................................................................117
3.4.1线性无关
....................................................................................................117
3.
4.2张成子空间的向量组 ...................................................................................120
3.
4.3线性空间的基 .............................................................................................120
3.
4.4矩阵空间和函数空间的基 ............................................................................124 习题 3.4.......................................................................................................................126
3.
5四个基本子空间的维数 ..........................................................................................131
3.5.1
R0的四个子空间........................................................................................132
3.5.2
A的四个子空间 .........................................................................................134
3.5.3秩
2矩阵 =秩 1矩阵 +秩 1矩阵..............................................................138 习题 3.5.......................................................................................................................139
3.6谈谈第
3章：消元法的全局理解 ............................................................................142
第 4章正交性 .................................................................................................................145
4.
1向量和子空间的正交性 ..........................................................................................146 习题 4.1.......................................................................................................................150
4.
2向直线和子空间作正交投影 ...................................................................................153
4.
2.1正交投影到直线..........................................................................................155
4.
2.2正交投影到子空间 ......................................................................................157
习题 4.2.......................................................................................................................162
4.3最小二乘法
...........................................................................................................165
4.
3.1误差最小化 ................................................................................................166
4.
3.2最小二乘法的全局图景................................................................................168
4.3.3直线拟合
....................................................................................................169
4.3.4当
A列向量线性相关时求解 x.....................................................................171
4.
3.5抛物线拟合 ................................................................................................172 习题 4.3.......................................................................................................................174
4.
4正交矩阵和格拉姆-施密特正交化 ...........................................................................178
4.
4.1用单位正交基来作正交投影：用 Q代替 A...................................................181
4.4.2格拉姆
-施密特正交化 ..................................................................................182
4.4.3
QR分解 ...................................................................................................184 习题 4.4.......................................................................................................................188
4.5矩阵的广义逆
.......................................................................................................192
4.5.1
m × n矩阵 A的广义逆 A+(n × m矩阵) ....................................................193
4.5.2
A的重要作用是把行空间映射成列空间........................................................196
4.5.3
A = CR的广义逆 A+ = R+C+ .................................................................196
4.
5.4广义逆的例子—— A是图的关联矩阵 ...........................................................197 习题 4.5.......................................................................................................................199
4.6谈谈第
4章：正交性的巨大成功 ............................................................................199
第 5章行列式 .................................................................................................................201
5.
1三阶方阵的行列式和代数余子式.............................................................................201
5.
1.1三阶方阵的行列式 ......................................................................................202
5.
1.2代数余子式和 A.1的公式 ..........................................................................204
5.
1.3三对角矩阵 ................................................................................................205 习题 5.1.......................................................................................................................206
5.
2行列式的计算和使用 .............................................................................................208
5.2.1证明式
(5.10).式 (5.13).............................................................................209
5.
2.2克莱姆法则解方程组 Ax = b.......................................................................210
5.
2.3行列式的完全展开式：n!项 ........................................................................211 习题 5.2.......................................................................................................................212
5.
3行列式与面积和体积 .............................................................................................214 习题 5.3.......................................................................................................................217
第 6章特征值和特征向量 ................................................................................................219
6.1初识特征值
Ax = βx............................................................................................219
6.
1.1特征方程：det(A . βI)=0 ........................................................................223
6.
1.2行列式和迹 ................................................................................................225
6.
1.3虚数特征值 ................................................................................................226
6.1.4
AB和 A + B的特征值 .............................................................................227
6.1.5
MATLAB中的 Eigshow函数......................................................................230 习题 6.1.......................................................................................................................231
6.2矩阵的对角化
.......................................................................................................235
6.
2.1相似矩阵：特征值相同................................................................................239
6.
2.2斐波那契数列 .............................................................................................241
6.2.3矩阵方幂
Ak ..............................................................................................242
6.
2.4不可对角化的矩阵（选讲） .........................................................................243 习题 6.2.......................................................................................................................246
6.3对称正定矩阵
.......................................................................................................251
6.
3.1快速证明：正交的特征向量和实特征值 ........................................................251
6.3.2正定矩阵
....................................................................................................252
6.
3.3顺序主子式判据和主元判据 .........................................................................254
6.
3.4正定矩阵和极小值问题................................................................................257
6.
3.5半正定矩阵 ................................................................................................258
6.3.6椭圆
ax2 +2bxy + cy2 =1...........................................................................259
6.
3.7最优化和机器学习 ......................................................................................260
6.
3.8实对称矩阵都可以正交对角化......................................................................261 习题 6.3.......................................................................................................................262
6.
4复数、复向量和复矩阵 ..........................................................................................267
6.
4.1复向量：长度 ∥v∥和内积 vˉTw ...................................................................269
6.4.2复矩阵
A及其共轭转置 AˉT ........................................................................269
6.4.3复矩阵
A的四个基本子空间 .......................................................................269
6.4.4
SˉT = S：实特征值和酉正交的特征向量 .......................................................270
6.4.5置换矩阵
P的复特征值和特征向量 .............................................................270
6.
4.6所有循环矩阵 C有相同的傅里叶特征向量 ...................................................272
6.
4.7快速傅里叶变换..........................................................................................272
6.
4.8循环矩阵相乘 CD = DC ...........................................................................273
6.
4.9信号处理中的卷积 ......................................................................................274 习题 6.4.......................................................................................................................274
6.
5解线性微分方程 ....................................................................................................275
6.5.1
du/dt = Au的解.......................................................................................276
6.
5.2二阶微分方程 .............................................................................................278
6.5.3差分方程
....................................................................................................280
6.
5.4二阶方阵的稳定性 ......................................................................................282
6.
5.5矩阵的指数函数..........................................................................................282 习题 6.5.......................................................................................................................286
6.6用
QR计算特征值 ...............................................................................................290
6.7谈谈微分方程
.......................................................................................................292
目录XIII
第 7章奇异值分解 ..........................................................................................................293
7.
1奇异值和奇异向量.................................................................................................293
7.
1.1奇异值分解的几何意义................................................................................294
7.
1.2奇异值分解的完整型 ...................................................................................295
7.
1.3奇异值分解的简化型 ...................................................................................296
7.
1.4奇异值分解的证明 ......................................................................................296
7.1.5
AB和 BA：相同的非零特征值..................................................................298
7.1.6
2 × 2矩阵的奇异向量 .................................................................................299
7.
1.7第一个奇异向量 v1 .....................................................................................299
7.
1.8计算特征值和奇异值 ...................................................................................300 习题 7.1.......................................................................................................................301
7.
2通过线性代数来做图像处理 ...................................................................................303
7.2.1对角矩阵的奇异值 ......................................................................................304
7.
2.2利用奇异值分解进行图像压缩......................................................................305 习题 7.2.......................................................................................................................306
7.3主成分分析
...........................................................................................................307
7.3.1埃克哈特
-扬定理 .......................................................................................308
7.
3.2通过奇异值分解进行主成分分析 ..................................................................309
7.
3.3主成分分析背后的几何意义 .........................................................................309
7.3.4埃克哈特
-扬定理的几何意义 ........................................................................310
7.
3.5主成分分析背后的统计学原理......................................................................310
7.
3.6主成分分析背后的线性代数 .........................................................................311 习题 7.3.......................................................................................................................312
第 8章线性映射..............................................................................................................313
8.
1线性映射的概念 ....................................................................................................313
8.
1.1直线到直线，三角形到三角形......................................................................315
8.
1.2微积分中的线性映射 ...................................................................................316
8.
1.3映射的例子（多数是线性的）......................................................................317 习题 8.1.......................................................................................................................319
8.
2线性映射的矩阵 ....................................................................................................322
8.
2.1基变换：矩阵 B .........................................................................................323
8.
2.2构造线性映射 T的矩阵 ..............................................................................324
8.2.3矩阵乘积
AB与映射复合 TS相对应 ..........................................................326
8.
2.4选择最好的基 .............................................................................................326 习题 8.2.......................................................................................................................328
8.3寻找好的基
...........................................................................................................331
8.
3.1若尔当标准形 .............................................................................................333
8.
3.2函数空间的基 .............................................................................................335
8.
3.3函数空间的正交基 ......................................................................................336
8.
3.4勒让德多项式和切比雪夫多项式 ..................................................................336 习题 8.3.......................................................................................................................337
目录XV
第 9章最优化中的线性代数 .............................................................................................339
9.
1多变量函数的最小化问题.......................................................................................339
9.1.1梯度下降
=最速下降..................................................................................341
9.1.2
n =1时一元函数 f(x)的一阶导数..............................................................341
9.1.3梯度向量
.F的几何意义 ...........................................................................344
9.
1.4一个重要的“之字形”示例 .........................................................................345
9.
1.5动量与重球的路径 ......................................................................................346
9.1.6二次模型
....................................................................................................347 习题 9.1.......................................................................................................................348
9.
2反向传播和随机梯度下降.......................................................................................349
9.
2.1多变量链式法则..........................................................................................350
9.
2.2随机梯度下降 .............................................................................................350
9.
2.3普通最小二乘的 SGD..................................................................................351
9.
2.4反向传播的核心思想 ...................................................................................351
9.2.5
Keras与 TensorFlow中的反向传播 .............................................................353
9.2.6
Av + b的导数 ...........................................................................................353
9.
2.7隐藏层的偏导数..........................................................................................354
9.2.8偏导数
σw/σA1的细节 ..............................................................................354 习题 9.2.......................................................................................................................355
9.
3约束条件、拉格朗日乘子与最小范数 ......................................................................356
9.
3.1拉格朗日乘数法——成本函数的偏导数 ........................................................357
9.
3.2极大值的极小值 =极小值的极大值..............................................................359
9.
3.3二次规划：一般情形 ...................................................................................360
9.
3.4不等式约束 ................................................................................................361
9.
3.5科学与工程中的对偶问题 ............................................................................362 习题 9.3.......................................................................................................................363
9.
4线性规划、博弈论和对偶.......................................................................................364
9.4.1线性规划
....................................................................................................364
9.4.2在线示例
....................................................................................................365
9.4.3最大流
-最小割 ............................................................................................365
9.4.4二人博弈
....................................................................................................366
9.4.5半定规划
....................................................................................................368 习题 9.4.......................................................................................................................368
第 10章数据学习............................................................................................................370
10.
1分段线性学习函数 ...............................................................................................371
10.
1.1深度神经网络的构建................................................................................373
10.1.2
Fk是 vk.1的分段线性函数 .....................................................................373
10.
1.3一个中间层（L =2）的情况 ....................................................................374
10.
1.4学习函数 F (v)的图像.............................................................................375
10.
1.5计算学习函数图像的平坦分块个数：一个中间层的情形..............................376
10.
1.6计算学习函数图像的平坦分块个数：更多中间层的情形..............................377
10.1.7移除
.......................................................................................................378 习题 10.1 .....................................................................................................................378
10.2发明和实验
.........................................................................................................379
10.
2.1泛化与双重下降 ......................................................................................380
10.
2.2卷积神经网络：权重共享 .........................................................................381
10.
2.3最大池化 ................................................................................................381
10.
2.4深度学习领域的四大重要成就 ..................................................................382 习题 10.2 .....................................................................................................................382
10.
3均值、方差和协方差............................................................................................383
10.3.1方差
.......................................................................................................384
10.
3.2连续概率分布..........................................................................................385
10.3.3
p(x)的均值和方差 ..................................................................................386
10.
3.4正态分布：钟形曲线................................................................................387
10.
3.5均值和方差：投掷 N次硬币，以及 N ～.的渐进行为 ...........................388
10.
3.6协方差矩阵和联合概率 ............................................................................390
10.
3.7协方差矩阵 V的半正定性 .......................................................................392
10.3.8
Z = AX的协方差矩阵 ...........................................................................393
10.3.9相关性
δ.................................................................................................394 习题 10.3 .....................................................................................................................394
10.
4深度学习的成功引发的思考..................................................................................395
附录 A...............................................................................................................................397
