封面
前折页
书名页
版权
译者序
前言
致谢
第1章 线性代数与优化：导论
 1.1 引言
 1.2 标量、向量与矩阵
  1.2.1 标量与向量间的基本运算
  1.2.2 向量与矩阵间的基本运算
  1.2.3 特殊的矩阵类
  1.2.4 矩阵幂、多项式与逆
  1.2.5 矩阵逆引理：求矩阵和的逆
  1.2.6 Frobenius范数、迹与能量
 1.3 作为可分解算子的矩阵乘法
  1.3.1 作为可分解行和列算子的矩阵乘法
  1.3.2 作为可分解几何算子的矩阵乘法
 1.4 机器学习中的基本问题
  1.4.1 矩阵因子分解
  1.4.2 聚类
  1.4.3 分类与回归建模
  1.4.4 异常值检测
 1.5 机器学习中的优化
  1.5.1 用于函数简化的泰勒展开
  1.5.2 机器学习中的优化示例
  1.5.3 计算图中的优化问题
 1.6 总结
 1.7 拓展阅读
 1.8 习题
第2章 线性变换与线性系统
 2.1 引言
 2.2 矩阵乘法的几何表示
  2.2.1 正交变换
  2.2.2 Givens旋转与Householder反射
  2.2.3 缩放：一个非刚性变换
  2.2.4 一般情况：正交变换与缩放变换的组合
 2.3 向量空间与几何表示
  2.3.1 基系统中的坐标
  2.3.2 基集之间的坐标变换
  2.3.3 向量集的生成空间
  2.3.4 机器学习示例：离散小波变换
  2.3.5 向量空间的子空间之间的关系
 2.4 矩阵行与列的线性代数
 2.5 矩阵的行阶梯形式
  2.5.1 LU分解
  2.5.2 应用：建立一个基集
  2.5.3 应用：矩阵求逆
  2.5.4 应用：求解线性方程组
 2.6 矩阵秩的概念
 2.7 生成正交基集
  2.7.1 Gram-Schmidt正交化与QR分解
  2.7.2 QR分解
  2.7.3 离散余弦变换
 2.8 线性系统的优化视角
  2.8.1 Moore-Penrose伪逆
  2.8.2 投影矩阵
 2.9 病态矩阵与系统
 2.10 内积：几何视角
 2.11 复向量空间
 2.12 总结
 2.13 拓展阅读
 2.14 习题
第3章 特征向量与可对角化矩阵
 3.1 引言
 3.2 行列式
 3.3 可对角化变换与特征向量
  3.3.1 复特征值
  3.3.2 左特征向量与右特征向量
  3.3.3 对角化的存在唯一性
  3.3.4 三角化的存在唯一性
  3.3.5 共享特征值的相似矩阵族
  3.3.6 共享特征向量的可对角化矩阵族
  3.3.7 对称矩阵
  3.3.8 半正定矩阵
  3.3.9 Cholesky分解：对称LU分解
 3.4 机器学习与优化应用
  3.4.1 机器学习中的快速矩阵运算
  3.4.2 机器学习中的可对角化矩阵示例
  3.4.3 二次优化中的对称矩阵
  3.4.4 对角化的应用：优化中的分离变量
  3.4.5 范数约束二次规划的特征向量
 3.5 求特征向量的数值算法
  3.5.1 基于Schur分解的QR方法
  3.5.2 求主特征向量的幂方法
 3.6 总结
 3.7 拓展阅读
 3.8 习题
第4章 最优化基础：机器学习视角
 4.1 引言
 4.2 优化基础
  4.2.1 单变量优化问题
  4.2.2 双变量优化问题
  4.2.3 多变量优化问题
 4.3 凸目标函数
 4.4 梯度下降的细节
  4.4.1 用有限差分检验梯度的正确性
  4.4.2 学习率衰减与盲驱动
  4.4.3 线搜索
  4.4.4 初始化
 4.5 机器学习中优化问题的性质
  4.5.1 经典目标函数与可加分离性
  4.5.2 随机梯度下降法
  4.5.3 机器学习中优化问题的特点
  4.5.4 超参数调优
  4.5.5 特征预处理的重要性
 4.6 计算关于向量的导数
  4.6.1 矩阵微积分符号
  4.6.2 实用的矩阵微积分恒等式
  4.6.3 向量求导的链式法则
 4.7 线性回归：数值目标下的优化
  4.7.1 Tikhonov正则化
  4.7.2 随机梯度下降法
  4.7.3 偏移的使用
 4.8 二元目标优化模型
  4.8.1 最小二乘分类：二元目标回归
  4.8.2 支持向量机
  4.8.3 Logistic回归
  4.8.4 为什么线性回归是机器学习中的基础问题
 4.9 多类设定下的优化模型
  4.9.1 Weston-Watkins支持向量机
  4.9.2 多项式Logistic回归
 4.10 坐标下降法
  4.10.1 基于坐标下降法的线性回归
  4.10.2 块坐标下降法
  4.10.3 作为块坐标下降的k均值算法
 4.11 总结
 4.12 拓展阅读
 4.13 习题
第5章 高等优化求解方法
 5.1 引言
 5.2 基于梯度优化的挑战
  5.2.1 局部最优与平坦域
  5.2.2 微分曲率
  5.2.3 拓扑示例：悬崖与山谷
 5.3 对下降调节一阶导数
  5.3.1 基于动量的学习
  5.3.2 AdaGrad算法
  5.3.3 RMSProp算法
  5.3.4 Adam算法
 5.4 牛顿法
  5.4.1 牛顿法的基本形式
  5.4.2 线搜索对非二次函数的重要性
  5.4.3 示例：关于二次碗的牛顿法
  5.4.4 示例：基于非二次函数的牛顿法
 5.5 机器学习中的牛顿法
  5.5.1 线性回归的牛顿法
  5.5.2 支持向量机的牛顿法
  5.5.3 Logistic回归的牛顿法
  5.5.4 不同模型间的联系与统一框架
 5.6 牛顿法：挑战与求解
  5.6.1 奇异矩阵与不定的黑塞矩阵
  5.6.2 鞍点问题
  5.6.3 非二次函数的收敛问题与求解
 5.7 牛顿法在计算上的有效变体
  5.7.1 共轭梯度法
  5.7.2 拟牛顿法与BFGS
 5.8 不可微优化函数
  5.8.1 次梯度法
  5.8.2 近端梯度法
  5.8.3 组合优化中代理损失函数的设计
  5.8.4 优化序列决策的动态规划
 5.9 总结
 5.10 拓展阅读
 5.11 习题
第6章 约束优化与对偶
 6.1 引言
 6.2 投影梯度下降法
  6.2.1 线性等式约束
  6.2.2 线性不等式约束
  6.2.3 序列二次规划
 6.3 原始坐标下降法
  6.3.1 凸集上凸优化的坐标下降法
  6.3.2 机器学习中的应用：盒回归
 6.4 拉格朗日松弛与对偶
  6.4.1 Kuhn-Tucker最优性条件
  6.4.2 应用对偶方法的一般步骤
  6.4.3 应用：支持向量机的对偶问题
  6.4.4 支持向量机的对偶问题的优化算法
  6.4.5 无约束问题的拉格朗日松弛
 6.5 基于惩罚的方法与原始对偶法
  6.5.1 单一约束的惩罚方法
  6.5.2 惩罚方法的一般形式
  6.5.3 障碍法与内点法
 6.6 范数约束优化问题
 6.7 原始方法与对偶方法的比较
 6.8 总结
 6.9 拓展阅读
 6.10 习题
第7章 奇异值分解
 7.1 引言
 7.2 奇异值分解：线性代数视角
  7.2.1 方阵的奇异值分解
  7.2.2 通过填充将方阵的SVD推广到矩形矩阵的SVD
  7.2.3 矩形矩阵奇异值分解的几种定义
  7.2.4 截断奇异值分解
  7.2.5 奇异值分解的两种解释
  7.2.6 奇异值分解唯一吗
  7.2.7 二元分解与三元分解
 7.3 奇异值分解：优化视角
  7.3.1 基于基正交的最大化形式
  7.3.2 基于残差的最小化形式
  7.3.3 矩阵分解方法的推广
  7.3.4 主成分分析
 7.4 奇异值分解的应用
  7.4.1 降维
  7.4.2 噪声消除
  7.4.3 求解线性代数中的四个基本子空间
  7.4.4 Moore-Penrose伪逆
  7.4.5 求解线性方程与线性回归
  7.4.6 机器学习中的特征预处理与白化
  7.4.7 异常值检测
  7.4.8 特征工程
 7.5 奇异值分解的数值算法
 7.6 总结
 7.7 拓展阅读
 7.8 习题
第8章 矩阵分解
 8.1 引言
 8.2 基于优化的矩阵分解
 8.3 无约束矩阵分解
  8.3.1 完全指定矩阵的梯度下降
  8.3.2 在推荐系统中的应用
 8.4 非负矩阵分解
  8.4.1 基于Frobenius范数的优化问题
  8.4.2 用对偶方法求解
  8.4.3 非负矩阵分解的可解释性
  8.4.4 非负矩阵分解示例
  8.4.5 I-散度目标函数
 8.5 加权矩阵分解
  8.5.1 非负稀疏矩阵的实际应用
  8.5.2 随机梯度下降法
  8.5.3 应用：基于隐式反馈数据的推荐系统
  8.5.4 应用：邻接矩阵中的链路预测
  8.5.5 应用：GloVe单词-单词文本嵌入
 8.6 非线性矩阵分解
  8.6.1 Logistic矩阵分解
  8.6.2 最大边缘矩阵分解
 8.7 广义低秩模型
  8.7.1 处理分类元素
  8.7.2 处理序数元素
 8.8 共享矩阵分解
  8.8.1 共享因子分解的梯度下降
  8.8.2 如何在任意场景中建立共享模型
 8.9 因子分解机
 8.10 总结
 8.11 拓展阅读
 8.12 习题
第9章 线性代数中的相似性
 9.1 引言
 9.2 数据矩阵与相似矩阵的等价性
  9.2.1 数据矩阵与相似矩阵的相互转换
  9.2.2 何时从相似矩阵中恢复数据
  9.2.3 何种类型的相似矩阵是“有效的”
  9.2.4 作为优化模型的对称矩阵分解
  9.2.5 核方法：机器学习视角
 9.3 从相似矩阵中有效恢复数据
  9.3.1 Nyström抽样
  9.3.2 基于随机梯度下降的矩阵分解
  9.3.3 非对称相似分解
 9.4 相似矩阵的线性代数运算
  9.4.1 相似矩阵的能量与单位球规范化
  9.4.2 均值与方差的范数
  9.4.3 相似矩阵的中心化
  9.4.4 相似矩阵与距离矩阵的相互转换
 9.5 基于相似矩阵的机器学习
  9.5.1 基于相似矩阵的特征工程
  9.5.2 相似矩阵的直接用途
 9.6 线性代数中的表示定理
 9.7 相似矩阵与线性可分离性
 9.8 总结
 9.9 拓展阅读
 9.10 习题
第10章 图中的线性代数
 10.1 引言
 10.2 图论基础与邻接矩阵
 10.3 邻接矩阵的幂
 10.4 Perron-Frobenius定理
 10.5 图矩阵的右特征向量
  10.5.1 谱聚类的核视角
  10.5.2 谱聚类的Laplace视角
  10.5.3 谱聚类的矩阵分解视角
  10.5.4 哪种谱聚类视角最有用
 10.6 图矩阵的左特征向量
  10.6.1 作为转移矩阵的左特征向量的PageRank
  10.6.2 声望与中心化的相关度量
  10.6.3 左特征向量在链接预测中的应用
 10.7 可约矩阵的特征向量
  10.7.1 无向图
  10.7.2 有向图
 10.8 在机器学习中的应用
  10.8.1 应用于顶点分类
  10.8.2 应用于多维数据
 10.9 总结
 10.10 拓展阅读
 10.11 习题
第11章 计算图中的优化
 11.1 引言
 11.2 计算图的基础知识
 11.3 有向无环图中的优化
  11.3.1 计算图中的挑战
  11.3.2 梯度计算的一般框架
  11.3.3 暴力计算节点关于节点的导数
  11.3.4 计算节点关于节点导数的动态规划方法
  11.3.5 把节点-节点导数转换为损失-权重导数
  11.3.6 基于向量变量的计算图
 11.4 应用：神经网络中的反向传播
  11.4.1 常见激活函数的导数
  11.4.2 基于向量的反向传播
  11.4.3 基于向量的反向传播示例
 11.5 计算图的一般视角
 11.6 总结
 11.7 拓展阅读
 11.8 习题
参考文献
后折页
封底