近年来,在所有科学学科和工业环境中收集的数据量和种类都出现了爆炸式增长。如此庞大的数据集给统计和机器学习领域的研究人员带来了许多挑战。本书对高维统计学进行了详尽介绍,重点介绍核心方法论和理论,包括尾部界、集中不等式、一致律和经验过程以及随机矩阵。此外还深入探索了特定的模型类,包括稀疏线性模型、用秩约束矩阵模型、图模型和各种类型的非参数模型。书中提供了数百个工作示例和练习,既适合统计学相关课程使用,也适合统计学、机器学习和相关领域的研究生与研究人员自学。
封面
前折页
书名页
版权
本书赞誉
译者序
致谢
第1章 简介
1.1 经典理论和高维理论
1.2 高维会产生什么问题
1.2.1 线性判别分析
1.2.2 协方差估计
1.2.3 非参数回归
1.3 高维中什么能帮助我们
1.3.1 向量的稀疏性
1.3.2 协方差矩阵中的结构
1.3.3 回归形式的结构
1.4 什么是非渐近的观点
1.5 全书概述
1.5.1 各章内容
1.5.2 阅读背景要求
1.5.3 教学建议和流程图
1.6 参考文献和背景
第2章 基本尾部概率界和集中不等式
2.1 经典的界
2.1.1 从马尔可夫不等式到Chernoff界
2.1.2 次高斯随机变量和Hoeffding界
2.1.3 次指数随机变量和Bernstein界
2.1.4 一些单边结果
2.2 基于鞅的方法
2.2.1 背景
2.2.2 鞅差序列的集中度界
2.3 高斯随机变量的Lipschitz函数
2.4 附录A:次高斯随机变量的等价性
2.5 附录B:次指数随机变量的等价性
2.6 参考文献和背景
2.7 习题
第3章 测度集中度
3.1 基于熵技巧的集中度
3.1.1 熵及其相关性质
3.1.2 Herbst方法及其延伸
3.1.3 可分凸函数和熵方法
3.1.4 张量化和可分凸函数
3.2 集中度的几何观点
3.2.1 集中度函数
3.2.2 与Lipschitz函数的联系
3.2.3 从几何到集中度
3.3 Wasserstein距离和信息不等式
3.3.1 Wasserstein距离
3.3.2 传输成本和集中不等式
3.3.3 传输成本的张量化
3.3.4 马尔可夫链的传输成本不等式
3.3.5 非对称耦合成本
3.4 经验过程的尾部概率界
3.4.1 一个泛函Hoeffding不等式
3.4.2 一个泛函Bernstein不等式
3.5 参考文献和背景
3.6 习题
第4章 一致大数定律
4.1 动机
4.1.1 累积分布函数的一致收敛
4.1.2 更一般函数类的一致定律
4.2 基于Rademacher复杂度的一致定律
4.3 Rademacher复杂度的上界
4.3.1 多项式识别的函数类
4.3.2 Vapnik-Chervonenkis维数
4.3.3 VC维数的控制
4.4 参考文献和背景
4.5 习题
第5章 度量熵及其用途
5.1 覆盖和填装
5.2 高斯复杂度和Rademacher复杂度
5.3 度量熵和次高斯过程
5.3.1 一步离散化的上确界
5.3.2 离散化界的例子
5.3.3 链方法和Dudley熵积分
5.4 一些高斯比较不等式
5.4.1 一般的比较不等式结果
5.4.2 Slepian和Sudakov-Fernique不等式
5.4.3 高斯收缩不等式
5.5 Sudakov下界
5.6 链方法和Orlicz过程
5.7 参考文献和背景
5.8 习题
第6章 随机矩阵和协方差估计
6.1 预备知识
6.1.1 符号和基本结果
6.1.2 协方差矩阵估计问题
6.2 Wishart矩阵及其性质
6.3 次高斯总体的协方差矩阵
6.4 一般矩阵的界
6.4.1 矩阵分析背景知识
6.4.2 矩阵的尾部条件
6.4.3 矩阵Chernoff方法和独立分解
6.4.4 随机矩阵的上尾部概率界
6.4.5 协方差矩阵的结果
6.5 带结构的协方差矩阵的界
6.5.1 未知稀疏与截断
6.5.2 渐近稀疏
6.6 附录:定理6.1的证明
6.7 参考文献和背景
6.8 习题
第7章 高维情形下的稀疏线性模型
7.1 问题及应用
7.1.1 不同的稀疏模型
7.1.2 稀疏线性模型的应用
7.2 无噪情形下的还原
7.2.1 ℓ_1松弛
7.2.2 精确还原和限制零空间
7.2.3 限制零空间的充分条件
7.3 有噪情形下的估计
7.3.1 受限特征值条件
7.3.2 严格稀疏模型下的ℓ_2误差界
7.3.3 随机设计矩阵的受限零空间和特征值
7.4 预测误差的界
7.5 变量或子集选择
7.5.1 Lasso的变量选择相合性
7.5.2 定理7.21的证明
7.6 附录:定理7.16的证明
7.7 参考文献和背景
7.8 习题
第8章 高维下的主成分分析
8.1 主成分和降维
8.1.1 PCA的解释和应用
8.1.2 特征值和特征空间的扰动
8.2 一般特征向量的界
8.2.1 一个一般的确定性结果
8.2.2 一个穗状总体的结果
8.3 稀疏主成分分析
8.3.1 一个一般的确定性结果
8.3.2 稀疏情况下穗状模型的结果
8.4 参考文献和背景
8.5 习题
第9章 可分解性和受限强凸性
9.1 一般的正则化M估计
9.2 可分解正则项及其用途
9.2.1 定义和一些例子
9.2.2 可分解性的一个关键结果
9.3 受限曲率条件
9.4 一些一般定理
9.4.1 受限强凸性下的结论
9.4.2 Φ^*曲率下界
9.5 稀疏向量回归的界
9.5.1 稀疏的广义线性模型
9.5.2 受限强凸性下的界
9.5.3 在ℓ_∞曲率条件下的界
9.6 组结构稀疏性的界
9.7 重叠可分解范数下的界
9.8 证明受限强凸性的方法
9.8.1 Lipschitz损失函数和Rademacher复杂度
9.8.2 通过截断获得的一个单边界
9.9 附录:星形性质
9.10 参考文献和背景
9.11 习题
第10章 带秩约束的矩阵估计
10.1 矩阵回归及其应用
10.2 核范数正则化的分析
10.2.1 可分解性与子空间
10.2.2 受限强凸性与误差界
10.2.3 算子范数曲率下的界
10.3 矩阵压缩感知
10.4 相位还原问题的界
10.5 低秩约束的多元回归
10.6 矩阵补全
10.7 加性矩阵分解
10.8 参考文献和背景
10.9 习题
第11章 高维数据的图模型
11.1 基本概念
11.1.1 因子分解
11.1.2 条件独立性
11.1.3 Hammersley-Clifford等价性
11.1.4 图模型的估计
11.2 高斯图模型的估计
11.2.1 图Lasso:ℓ_1正则极大似然
11.2.2 基于邻域的方法
11.3 指数形式的图模型
11.3.1 一般形式的邻域回归
11.3.2 Ising模型的图选择
11.4 带有腐蚀数据或隐变量的图
11.4.1 带有腐蚀数据的高斯图估计
11.4.2 带有隐变量的高斯图选择
11.5 参考文献和背景
11.6 习题
第12章 再生核希尔伯特空间
12.1 希尔伯特空间的基本知识
12.2 再生核希尔伯特空间
12.2.1 半正定核函数
12.2.2 ℓ^2(N)中的特征映射
12.2.3 从一个核构造一个RKHS
12.2.4 一个更加抽象的视角及更多例子
12.3 Mercer定理及其结果
12.4 再生核希尔伯特空间上的算子
12.4.1 再生核的和
12.4.2 张量乘积
12.5 插值和拟合
12.5.1 函数插值
12.5.2 基于核岭回归的拟合
12.6 概率测度之间的距离
12.7 参考文献和背景
12.8 习题
第13章 非参数最小二乘
13.1 问题设定
13.1.1 不同的度量准则
13.1.2 约束最小二乘估计
13.1.3 一些例子
13.2 控制预测误差
13.2.1 度量熵的界
13.2.2 高维参数问题的界
13.2.3 非参数问题的界
13.2.4 定理13.5的证明
13.3 最优不等式
13.3.1 最优不等式的几个例子
13.3.2 定理13.13的证明
13.4 正则化估计
13.4.1 正则化估计的最优不等式
13.4.2 核岭回归的结果
13.4.3 推论13.18的证明
13.4.4 定理13.17的证明
13.5 参考文献和背景
13.6 习题
第14章 局部化和一致定律
14.1 总体和经验L^2范数
14.1.1 局部化的一致定律
14.1.2 核函数类的特殊化
14.1.3 定理14.1的证明
14.2 一个单边一致定律
14.2.1 非参数最小二乘法的结论
14.2.2 定理14.12的证明
14.3 Lipschitz损失函数的一个一致定律
14.3.1 一般预测问题
14.3.2 Lipschitz损失函数的一致定律
14.4 非参数密度估计的一些结果
14.4.1 密度估计的非参数极大似然方法
14.4.2 密度估计的投影方法
14.5 附录:总体和经验Rademacher复杂度
14.6 参考文献和背景
14.7 习题
第15章 minimax下界
15.1 基本框架
15.1.1 minimax风险
15.1.2 从估计到检验
15.1.3 一些散度度量
15.2 二元检验和Le Cam方法
15.2.1 贝叶斯误差和全变差距离
15.2.2 Le Cam凸包方法
15.3 Fano方法
15.3.1 Kullback-Leibler散度和互信息
15.3.2 minimax风险的Fano下界
15.3.3 基于局部填装的界
15.3.4 高斯熵界的局部填装
15.3.5 Yang-Barron形式的Fano方法
15.4 附录:信息论的基本背景
15.5 参考文献和背景
15.6 习题
参考文献
后折页
封底
机械工业出版社 京icp备14043556号-1 (署)网出证(京)字第214号 Copyright (C) 2001 CmpBook. All Rights Reserved