深度学习之模型优化：核心算法与案例实践

言有三

扉页
版权信息
+书签
内容简介
前言
第1章引言
1.1 人工智能时代背景
1.2 数据处理
1.2.1 大数据时代背景
1.2.2 数据获取
1.2.3 数据清洗与整理
1.3 算法基础
1.3.1 卷积的概念
1.3.2 CNN基础
1.4 计算芯片
1.4.1 GPU
1.4.2 ARM
1.5 深度学习框架
1.5.1 Caffe
1.5.2 TensorFlow
1.5.3 PyTorch
第2章模型性能评估
2.1 性能指标
2.1.1 基准模型
2.1.2 参数量
2.1.3 计算量与内存访问代价
2.1.4 计算速度
2.1.5 并行化程度
2.1.6 能耗
2.2 学术与产业竞赛
第3章模型可视化
3.1 模型可视化基础
3.1.1 为什么要研究模型可视化
3.1.2 模型可视化的研究方向
3.2 模型结构可视化
3.2.1 Netscope可视化工具
3.2.2 TensorBoard可视化工具
3.2.3 Graphiz可视化工具
3.2.4 Netron可视化工具
3.3 模型参数与特征可视化
3.3.1 参数可视化
3.3.2 激活值可视化
3.3.3 工具
3.4 输入区域重要性可视化
3.4.1 基本原理
3.4.2 基于反向传播的输入可视化
3.4.3 类激活映射可视化
3.5 输入激活模式可视化
3.5.1 概述
3.5.2 梯度计算法
3.5.3 反卷积法
3.5.4 网络反转法
3.5.5 小结
3.6 模型可视化分析实践
3.6.1 基于梯度计算法的可视化
3.6.2 反卷积可视化
3.6.3 CAM可视化
3.6.4 小结
第4章轻量级模型设计
4.1 卷积核的使用和设计
4.1.1 全连接层的压缩
4.1.2 小卷积核的应用
4.2 卷积拆分与分组
4.2.1 卷积拆分操作
4.2.2 分组卷积Xception与MobileNet
4.2.3 ShuffleNet
4.2.4 级连通道分组网络
4.2.5 多分辨率卷积核通道分组网络
4.2.6 多尺度通道分组网络
4.2.7 多精度分组网络
4.3 特征与参数重用设计
4.3.1 特征重用
4.3.2 参数重用
4.4 动态自适应模型设计
4.4.1 什么是动态模型
4.4.2 基于提前终止与模块丢弃原理的动态模型
4.4.3 基于注意力感知的动态模型
4.5 卷积乘法操作优化和设计
4.5.1 移位网络
4.5.2 加法网络
4.5.3 移位网络与加法网络结合
4.6 重参数化技巧
4.6.1 网络层合并
4.6.2 分支合并
4.7 新颖算子设计
4.8 低秩稀疏化设计
第5章模型剪枝
5.1 模型剪枝基础
5.1.1 什么是模型剪枝
5.1.2 模型剪枝的粒度
5.2 模型稀疏学习
5.2.1 权重正则化约束
5.2.2 基于网络结构的设计
5.3 非结构化剪枝技术
5.3.1 基于优化目标的方法
5.3.2 基于权重幅度的方法
5.3.3 向量剪枝技术
5.4 结构化剪枝技术
5.4.1 基于重要性因子的剪枝算法
5.4.2 基于输出重建误差的通道剪枝算法
5.4.3 基于优化目标敏感性的剪枝算法
5.4.4 卷积核剪枝和通道剪枝的差异
5.5 模型剪枝的一些其他问题
5.5.1 剪枝的必要性
5.5.2 训练策略
5.5.3 整个网络同时剪枝
5.5.4 运行时剪枝
5.6 图像分类模型结构化剪枝实践
5.6.1 模型定义与数据集
5.6.2 模型训练
5.6.3 模型剪枝
5.6.4 残差网络剪枝
5.6.5 小结
第6章模型量化
6.1 模型量化基础
6.1.1 什么是模型量化
6.1.2 量化的优势
6.2 二值量化算法
6.2.1 基于阈值映射函数的方法
6.2.2 基于重建误差的方法
6.2.3 从二值量化模型到三值量化模型
6.2.4 二值量化的主要问题
6.3 8bit量化算法
6.3.1 基于变换函数的非对称量化
6.3.2 基于信息损失的对称量化
6.4 混合精度量化算法
6.4.1 一般混合精度量化算法
6.4.2 自动位宽学习
6.5 半精度浮点数训练算法
6.6 模型量化的一些其他问题
6.6.1 非均匀量化
6.6.2 更稳定地训练量化模型
6.6.3 量化训练与离线量化的比较
6.7 基于TensorRT框架的模型量化推理实践
6.7.1 项目简介
6.7.2 量化算法实现
6.7.3 TensorRT模型量化与推理
第7章迁移学习与知识蒸馏
7.1 迁移学习与知识蒸馏基础
7.1.1 迁移学习的基本概念
7.1.2 知识蒸馏的基本概念
7.2 基于优化目标驱动的知识蒸馏
7.2.1 预训练大模型框架
7.2.2 大模型与小模型共同学习框架
7.2.3 小结
7.3 基于特征匹配的知识蒸馏
7.3.1 基本框架
7.3.2 注意力机制的使用
7.4 自蒸馏框架
7.4.1 深度协同学习
7.4.2 自监督学习
7.4.3 自进化学习
7.5 知识蒸馏的一些问题
7.5.1 教师模型是否越强越好
7.5.2 学生模型与教师模型的相互学习
7.6 基于经典知识蒸馏的图像分类实践
7.6.1 基准模型定义
7.6.2 基准模型训练
7.6.3 知识蒸馏学习
7.6.4 小结
第8章自动化模型设计
8.1 自动化机器学习基础
8.1.1 什么是AutoML
8.1.2 AutoML在数据工程中的应用
8.1.3 AutoML在超参数优化中的典型应用
8.1.4 现有的AutoML系统
8.2 神经网络结构搜索基础
8.2.1 什么是NAS
8.2.2 NAS的搜索空间
8.2.3 NAS的搜索策略
8.2.4 NAS的评估
8.3 基于栅格搜索的NAS
8.3.1 网络基础参数搜索
8.3.2 网络拓扑结构搜索
8.4 基于强化学习的NAS
8.4.1 强化学习基础
8.4.2 基本方法
8.4.3 NASNet
8.4.4 MNASNet
8.5 基于进化算法的NAS
8.5.1 进化算法简介
8.5.2 Genetic CNN算法
8.5.3 与NASNet的结合
8.6 可微分NAS
8.7 NAS与其他模型压缩方法结合
8.7.1 自动化模型剪枝
8.7.2 自动化模型量化
8.7.3 自动化模型蒸馏
8.8 当前NAS的一些问题
第9章模型优化与部署工具
9.1 模型优化工具
9.1.1 TensorFlow和PocketFlow框架
9.1.2 PaddlePaddle框架
9.1.3 PyTorch和Distiller框架
9.1.4 NNI框架
9.1.5 小结
9.2 模型部署工具
9.2.1 模型部署基础
9.2.2 ONNX标准
9.2.3 NVIDIA GPU推理框架TensorRT
9.2.4 专用模型推理框架
9.2.5 通用移动端模型推理框架
9.2.6 小结
9.3 基于NCNN的模型优化部署实战
9.3.1 软硬件平台介绍
9.3.2 模型格式转换
9.3.3 模型部署测试
9.3.4 小结

简介

版权

深度学习之模型优化：核心算法与案例实践