


《动手学 AutoML:从 NAS 到大语言模型优化实战》聚焦机器学习自动化的发展趋势,系统介绍了 AutoML 的核心原理、关键方法、系统架构与典型应用,辅以多个完整项目,帮助读者实现从理解到实战的过渡。
《动手学 AutoML:从 NAS 到大语言模型优化实战》内容涵盖传统流程自动化(如模型选择与参数调优)、深度学习架构搜索(如 NAS)、大语言模型与 LLM Agent 系统优化,展现 AutoML 技术的全景图谱。
《动手学 AutoML:从 NAS 到大语言模型优化实战》分为四个部分:第一部分介绍机器学习流程的工程复杂性,提出自动建模的需求,并建立AutoML 的基本定义、优化目标与系统流程框架;第二部分聚焦 NAS,讲解搜索空间、搜索策略与模型评估方法,全面解析结构搜索自动化技术;第三部分聚焦 AutoML 在模型组件、数据策略与大语言模型上的自动优化应用,包括损失函数搜索、激活函数搜索、数据增强策略、LLM 模型压缩与融合,以及 LLM Agent 与 AutoML 的融合方式;第四部分提供实战项目,包括基于随机搜索的 NAS 入门实践、可微分搜索与进化压缩开发,以及 LLM 剪枝优化的研究示例,配有代码与完整流程。
《动手学 AutoML:从 NAS 到大语言模型优化实战》适合有一定机器学习基础的研究生、开发者与数据科学实践者,兼顾原理讲解与实战指导,是深入掌握 AutoML 技术的实用读物。
封面
前折页
书名页
版权
前言
第一部分 基础篇:AutoML基础介绍
第1章 机器学习与AutoML基础
1.1 机器学习概述
1.1.1 机器学习定义与范式
1.1.2 机器学习应用的自动化需求
1.2 AutoML定义与优化目标
1.3 AutoML的技术演进
1.3.1 传统机器学习时代
1.3.2 深度学习时代
1.3.3 大语言模型时代
1.4 AutoML的系统流程
1.4.1 数据准备自动化
1.4.2 特征工程自动化
1.5 神经架构搜索(NAS)基础
1.5.1 NAS核心组件
1.5.2 NAS思想的多领域延伸
参考文献
第2章 AutoML框架与平台
2.1 传统机器学习自动化框架
2.1.1 Auto-WEKA:贝叶斯优化自动选参框架
2.1.2 AutoSklearn:基于集成学习的自动建模
2.1.3 TPOT:基于遗传算法优化流水线
2.2 深度学习自动化框架
2.2.1 微软NNI框架
2.2.2 华为Vega框架
2.2.3 Hyperbox框架
2.2.4 亚马逊AutoGluon框架
2.2.5 Auto-Keras框架
2.3 AutoML云服务平台
2.3.1 谷歌Cloud AutoML
2.3.2 微软Azure AutoML
2.3.3 百度EasyDL
2.3.4 阿里云PAI
2.3.5 亚马逊Autopilot
2.3.6 Databricks AutoML
2.4 AutoML专业服务公司
2.4.1 H2O.ai公司
2.4.2 第四范式
2.4.3 九章云极DataCanvas
第二部分 进阶篇:NAS技术详解
第3章 NAS搜索空间
3.1 NAS搜索空间基础
3.1.1 模型架构的形式化表达
3.1.2 常用候选操作集
3.2 基于整体结构的搜索空间
3.3 基于单元结构的搜索空间
3.3.1 设计范式简介
3.3.2 单元内部结构
3.3.3 复杂度分析
3.3.4 模型不一致性问题
3.4 基于层级结构的搜索空间
3.4.1 内层:基于单元层级的网络结构设计
3.4.2 外层:基于网络层级的网络结构设计
3.5 基于网络态射的搜索空间
3.5.1 网络态射
3.5.2 恒等网络态射
3.5.3 改进的网络态射算法
3.6 基于基础数学运算的搜索空间
3.6.1 AutoML-Zero基本原理
3.6.2 搜索难度分析
3.6.3 搜索策略
参考文献
第4章 NAS搜索策略
4.1 基础搜索策略
4.1.1 网格搜索
4.1.2 随机搜索
4.2 进化搜索策略
4.2.1 进化算法基本原理
4.2.2 架构编码策略
4.2.3 进化算子设计
4.2.4 进化算法NAS实践
4.3 贝叶斯优化策略
4.3.1 贝叶斯优化的基本原理
4.3.2 代理模型
4.3.3 采集函数
4.3.4 贝叶斯优化NAS实践
4.4 强化学习策略
4.4.1 强化学习基本原理
4.4.2 贝尔曼方程
4.4.3 强化学习算法分类
4.4.4 策略梯度算法
4.4.5 策略梯度NAS实践
4.5 可微分神经架构搜索策略
4.5.1 可微分搜索算法原理
4.5.2 改进的可微分搜索算法
参考文献
第5章 NAS模型评估
5.1 完整训练评估
5.2 代理模型评估
5.3 早停法模型评估
5.3.1 基于资源分配的高效评估框架
5.3.2 基于学习曲线预测的智能评估
5.4 权重共享评估
5.4.1 权重共享的基本原理与优势
5.4.2 实现策略与关键技术
5.5 免训练评估
5.6 约束条件下的模型评估
5.6.1 常见的约束条件
5.6.2 单目标优化
5.6.3 多目标优化
5.7 NAS基准测试评估
5.7.1 基于图像的NAS-Bench-101 数据集
5.7.2 基于图像的NAS-Bench-201 数据集
5.7.3 基于文本的NAS-Bench-NLP数据集
5.7.4 基于语音的NAS-Bench-ASR数据集
参考文献
第三部分 应用篇:AutoML高级应用
第6章 模型组件自动优化
6.1 损失函数搜索
6.1.1 基于强化学习的损失函数搜索
6.1.2 基于进化算法的损失函数搜索
6.2 激活函数搜索
6.2.1 常见的激活函数
6.2.2 基于强化学习的激活函数搜索
参考文献
第7章 数据策略自动优化
7.1 数据增强搜索
7.1.1 基于强化学习的数据增强搜索算法
7.1.2 基于种群进化的数据增强搜索算法
7.2 代理数据集搜索
7.2.1 无监督采样方法
7.2.2 有监督采样方法
7.2.3 基于动态指标调整的自动代理数据集选择方法
参考文献
第8章 大语言模型(LLM)自动优化
8.1 大语言模型技术基础
8.1.1 从统计语言模型到大语言模型
8.1.2 Transformer架构解析
8.2 架构创新自动化
8.2.1 基于模块内部结构的搜索
8.2.2 基于模块连接方式的搜索
8.3 计算效率优化自动化
8.3.1 大语言模型压缩
8.3.2 大语言模型量化
8.4 模型融合自动化
8.4.1 模型融合的应用价值
8.4.2 主流模型融合策略
8.4.3 基于进化算法的自动模型融合策略
参考文献
第9章 LLM驱动的AutoML
9.1 基于自然语言和LLM引导的神经架构搜索
9.1.1 GENIUS:卷积神经网络搜索的开创性探索
9.1.2 GPT4GNAS:拓展到图神经网络领域
9.1.3 EvoPrompting:代码层面的架构搜索指导
9.2 LLM增强的自动特征工程
9.2.1 LLM上下文感知的自动特征工程
9.2.2 LLM知识驱动的特征调优生成
9.3 LLM Agent与AutoML系统的双向融合
9.3.1 LLM Agent关键能力
9.3.2 AutoM3L:多模态数据处理优化框架
9.3.3 MLCopilot:历史经验与知识复用的智能系统
9.3.4 AutoML-Agent:多智能体协作的全流程优化
9.3.5 MaAS:多智能体架构搜索
参考文献
第四部分 实战篇:AutoML项目实战
第10章 从零开始构建NAS系统:随机搜索入门项目
10.1 NAS基础算子实现原理
10.1.1 Hyperbox框架简介
10.1.2 可搜索模块(Mutable)
10.1.3 搜索器(Mutator)
10.1.4 可搜索模型基类(BaseNASNetwork)
10.2 基于随机搜索的NAS代码实战
10.2.1 MNIST数据集的获取与预处理
10.2.2 CNN超网结构设计与实现
10.2.3 随机搜索算法实现
10.2.4 模型训练与评估函数实现
10.2.5 超网训练与子网评估
10.2.6 提取最优子网
第11章 进阶AutoML技术实战:可微分搜索、进化压缩与LLM剪枝
11.1 基于可微分算法的架构搜索
11.1.1 CIFAR-10 数据集的获取与预处理
11.1.2 DARTS算法实现
11.1.3 基于MobileNetV2 的搜索空间设计
11.1.4 模型训练与架构搜索
11.1.5 最终模型评估与微调
11.2 基于进化算法的模型压缩
11.2.1 ResNet搜索空间设计
11.2.2 NSGA-II算法概述
11.2.3 非支配排序
11.2.4 拥挤度距离
11.2.5 进化算子实现
11.2.6 训练和搜索模型
11.3 基于遗传算法的LLM后训练剪枝算法实战
11.3.1 模型剪枝技术概述
11.3.2 基于遗传算法的LLM剪枝框架概览
11.3.3 符号树搜索空间
11.3.4 符号树代码实现
11.3.5 遗传算法实现
11.3.6 剪枝指标有效性验证
后折页
封底
机械工业出版社 京icp备14043556号-1 (署)网出证(京)字第214号 Copyright (C) 2001 CmpBook. All Rights Reserved