目录
第1章绪论： 从主成分分析说起
1.1数据降维的必要性
1.2PCA的步骤
1.3PCA的原理
1.3.1投影方差最大化
1.3.2重构误差最小化
1.4PCA的知识脉络
习题
第2章矩阵与向量空间
2.1矩阵的概念和运算
2.1.1矩阵和向量的定义
2.1.2常见的特殊矩阵
2.1.3矩阵的运算
2.1.4逆矩阵
2.2线性方程组及其求解
2.2.1线性方程组的形式
2.2.2特解与通解
2.2.3初等变换
2.2.4负1技巧解齐次线性方程组
2.2.5矩阵求逆
2.2.6解的进一步讨论
2.3向量空间
2.3.1向量空间的概念
2.3.2子空间
2.3.3线性组合与线性相关
2.3.4基
2.3.5秩
2.4线性变换
2.4.1线性变换的定义
2.4.2线性变换的矩阵表示
2.4.3基变换与坐标变换
2.4.4不同基下的变换矩阵
2.4.5像与核
2.5仿射空间
2.5.1仿射空间的概念
2.5.2仿射变换
习题
第3章矩阵与内积空间
3.1范数
3.2内积
3.2.1点积
3.2.2一般内积
3.2.3对称正定矩阵
3.3长度和距离
3.4角度和正交
3.5规范正交基
3.6正交补
3.7函数的内积
3.8正交投影
3.8.11维子空间上的正交投影
3.8.2一般子空间上的正交投影
3.8.3线性方程组的最小二乘解
3.8.4施密特正交化
3.8.5仿射空间上的正交投影
3.9旋转
3.9.12维欧氏空间中的旋转
3.9.23维欧氏空间中的旋转
3.9.3n维欧氏空间中的旋转
3.9.4旋转的性质
习题
第4章矩阵的度量与分解
4.1行列式与迹
4.1.1行列式的递归定义
4.1.2行列式的性质
4.1.3迹的定义和性质
4.2特征值和特征向量
4.2.1概念和求解
4.2.2直观解释
4.2.3进一步讨论
4.3特征分解与对角化
4.3.1原理和方法
4.3.2特征分解的直观解释
4.4奇异值分解
4.4.1从特征值到奇异值
4.4.2奇异值分解定理
4.4.3奇异值分解的直观解释
4.4.4奇异值分解的构建
4.4.5特征分解与奇异值分解
4.5常见的矩阵范数
4.5.1元素形式范数
4.5.2诱导范数
4.6矩阵的低秩近似
4.7Cholesky分解
习题
第5章向量函数的微分
5.1一元函数的导数
5.1.1导数及其几何意义
5.1.2基本导数公式与求导法则
5.1.3泰勒级数
5.2多元函数的梯度
5.2.1偏导数和梯度
5.2.2梯度的加法和乘法法则
5.2.3梯度的链式法则
5.3向量值函数的雅可比矩阵
5.4广义梯度的计算
5.4.1链式法则应用举例
5.4.2常用的恒等式
5.5多层神经网络中的反向传播
5.6Hessian矩阵
5.6.1二阶导数与Hessian矩阵
5.6.2使用Hessian矩阵判断极值和鞍点
习题
第6章矩阵与概率统计
6.1概率空间和随机变量
6.1.1从布尔逻辑到概率论
6.1.2概率与随机变量
6.1.3概率论与统计学
6.2多维概率分布
6.2.1离散型随机向量的分布
6.2.2连续型随机向量
6.2.3离散型分布与连续型分布之比较
6.3求和规则、乘积规则和贝叶斯定理
6.3.1求和规则
6.3.2乘积规则
6.3.3贝叶斯定理
6.4汇总统计和统计量
6.4.1均值和协方差
6.4.2经验均值和经验协方差
6.4.3随机向量求和与仿射变换
6.4.4统计独立性
6.5高斯分布
6.5.1高斯分布的定义
6.5.2多维高斯分布的边缘分布和条件分布
6.5.3和与线性变换
6.6随机变量的变量替换
6.6.1一维随机变量的变量替换
6.6.2多维随机变量的变量替换
习题
第7章矩阵与连续优化
7.1无约束优化与梯度下降
7.1.1常见的损失函数
7.1.2梯度下降的基本原理
7.1.3利用梯度解线性方程组
7.1.4学习率
7.1.5带有动量的梯度下降
7.1.6批量梯度下降
7.1.7初始值的影响及对策
7.2凸集和凸函数
7.3约束优化与拉格朗日乘子法
7.3.1不等式约束优化
7.3.2等式与不等式混合约束优化
7.3.3线性规划及其对偶
7.3.4二次规划及其对偶
习题
附录APython实验
A.1实验环境与工具
A.1.1Anaconda安装配置
A.1.2Python环境配置
A.1.3项目创建及Python解释器选择
A.2NumPy基础实验
A.2.1数组操作
A.2.2数值计算
A.2.3线性代数
A.3Matplotlib绘图实验
A.3.1基础绘图
A.3.2图表美化(添加标题、图例、标签，调整颜色、线型)
A.3.3多图绘制
A.4PCA的实现与应用
A.4.1PCA原理回顾
A.4.2PCA实现
A.4.3PCA应用实例
A.5线性方程组求解
A.5.1直接求解
A.5.2梯度下降法
A.6矩阵分解实验
A.6.1特征分解
A.6.2奇异值分解
A.7优化算法实验
A.7.1无约束优化
A.7.2约束优化
参考文献
