深度学习高手笔记卷1：基础算法

刘岩

扉页
版权信息
+书签
内容提要
献词
序1
序2
前言
第一篇卷积神经网络
第1章基础骨干网络
1.1 起源：LeNet-5和AlexNet
1.1.1 从LeNet-5开始
1.1.2 觉醒：AlexNet
1.2 更深：VGG
1.2.1 VGG介绍
1.2.2 VGG的训练和测试
1.3 更宽：GoogLeNet
1.3.1 背景知识
1.3.2 Inception v1
1.3.3 GoogLeNet
1.3.4 Inception v2
1.3.5 Inception v3
1.3.6 Inception v4
1.3.7 Inception-ResNet
1.4 跳跃连接：ResNet
1.4.1 残差网络
1.4.2 残差网络背后的原理
1.4.3 残差网络与模型集成
1.5 注意力：SENet
1.5.1 SE块
1.5.2 SE-Inception和SE-ResNet
1.5.3 SENet的复杂性分析
1.5.4 小结
1.6 更密：DenseNet
1.6.1 DenseNet算法解析及源码实现
1.6.2 压缩层
1.6.3 小结
1.7 模型集成：DPN
1.7.1 高阶RNN、DenseNet和残差网络
1.7.2 DPN详解
1.7.3 小结
1.8 像素向量：iGPT
1.8.1 iGPT详解
1.8.2 实验结果分析
1.8.3 小结
1.9 Visual Transformer之Swin Transformer
1.9.1 网络结构详解
1.9.2 Swin Transformer家族
1.9.3 小结
1.10 Vision Transformer之CSWin Transformer
1.10.1 CSWin Transformer概述
1.10.2 十字形窗口自注意力机制
1.10.3 局部加强位置编码
1.10.4 CSWin Transformer块
1.10.5 CSWin Transformer的复杂度
1.10.6 小结
1.11 MLP? :MLP-Mixer
1.11.1 网络结构
1.11.2 讨论
第2章轻量级CNN
2.1 SqueezeNet
2.1.1 SqueezeNet的压缩策略
2.1.2 点火模块
2.1.3 SqueezeNet的网络结构
2.1.4 SqueezeNet的性能
2.1.5 小结
2.2 MobileNet v1和MobileNet v2
2.2.1 MobileNet v1
2.2.2 MobileNet v2
2.2.3 小结
2.3 Xception
2.3.1 Inception回顾
2.3.2 Xception详解
2.3.3 小结
2.4 ResNeXt
2.4.1 从全连接讲起
2.4.2 简化Inception
2.4.3 ResNeXt详解
2.4.4 分组卷积
2.4.5 小结
2.5 ShuffleNet v1和ShuffleNet v2
2.5.1 ShuffleNet v1
2.5.2 ShuffleNet v2
2.5.3 小结
2.6 CondenseNet
2.6.1 分组卷积的问题
2.6.2 可学习分组卷积
2.6.3 架构设计
2.6.4 小结
第3章模型架构搜索
3.1 PolyNet
3.1.1 结构多样性
3.1.2 多项式模型
3.1.3 对照实验
3.1.4 Very Deep PolyNet
3.1.5 小结
3.2 NAS
3.2.1 NAS-CNN
3.2.2 NAS-RNN
3.2.3 小结
3.3 NASNet
3.3.1 NASNet控制器
3.3.2 NASNet的强化学习
3.3.3 计划DropPath
3.3.4 其他超参数
3.3.5 小结
3.4 PNASNet
3.4.1 更小的搜索空间
3.4.2 SMBO
3.4.3 代理函数
3.4.4 PNASNet的实验结果
3.4.5 小结
3.5 AmoebaNet
3.5.1 搜索空间
3.5.2 年龄进化
3.5.3 AmoebaNet的网络结构
3.5.4 小结
3.6 MnasNet
3.6.1 优化目标
3.6.2 搜索空间
3.6.3 优化策略
3.6.4 小结
3.7 MobileNet v3
3.7.1 参考结构
3.7.2 网络搜索
3.7.3 人工设计
3.7.4 修改SE块
3.7.5 Lite R-ASPP
3.7.6 小结
3.8 EfficientNet v1
3.8.1 背景知识
3.8.2 EfficientNet v1详解
3.8.3 小结
3.9 EfficientNet v2
3.9.1 算法动机
3.9.2 EfficientNet v2详解
3.9.3 小结
3.10 RegNet
3.10.1 设计空间
3.10.2 RegNet详解
3.10.3 小结
第二篇自然语言处理
第4章基础序列模型
4.1 LSTM和GRU
4.1.1 序列模型的背景
4.1.2 LSTM
4.1.3 GRU
4.1.4 其他LSTM
4.2 注意力机制
4.2.1 机器翻译的注意力机制
4.2.2 图解注意力机制
4.2.3 经典注意力模型
4.2.4 小结
4.3 Transformer
4.3.1 Transformer详解
4.3.2 位置嵌入
4.3.3 小结
4.4 Transformer-XL
4.4.1 Transformer的缺点
4.4.2 相对位置编码
4.4.3 Transformer-XL详解
4.4.4 小结
第5章模型预训练
5.1 RNN语言模型
5.1.1 语言模型中的RNN
5.1.2 训练数据
5.1.3 训练细节
5.2 ELMo
5.2.1 双向语言模型
5.2.2 ELMo详解
5.2.3 应用ELMo到下游任务
5.2.4 小结
5.3 GPT-1、GPT-2和GPT-3
5.3.1 GPT-1：无监督学习
5.3.2 GPT-2：多任务学习
5.3.3 GPT-3：海量参数
5.3.4 小结
5.4 BERT
5.4.1 BERT详解
5.4.2 小结
5.5 BERT“魔改”之RoBERTa、ALBERT、MT-DNN和XLM
5.5.1 成熟版BERT：RoBERTa
5.5.2 更快的BERT：ALBERT
5.5.3 多任务BERT：MT-DNN
5.5.4 多语言BERT：XLM
5.5.5 小结
5.6 XLNet
5.6.1 背景知识
5.6.2 XLNet详解
5.6.3 小结
5.7 ERNIE（清华大学）
5.7.1 加入知识图谱的动机
5.7.2 异构信息融合
5.7.3 DAE
5.7.4 ERNIE-T的微调
5.7.5 小结
5.8 ERNIE（百度）和ERNIE 2.0
5.8.1 ERNIE-B
5.8.2 ERNIE 2.0
5.8.3 小结
第三篇模型优化
第6章模型优化方法
6.1 Dropout
6.1.1 什么是Dropout
6.1.2 Dropout的数学原理
6.1.3 Dropout是一个正则网络
6.1.4 CNN的Dropout
6.1.5 RNN的Dropout
6.1.6 Dropout的变体
6.1.7 小结
6.2 BN
6.2.1 BN详解
6.2.2 BN的背后原理
6.2.3 小结
6.3 LN
6.3.1 BN的问题
6.3.2 LN详解
6.3.3 对照实验
6.3.4 小结
6.4 WN
6.4.1 WN的计算
6.4.2 WN的原理
6.4.3 BN和WN的关系
6.4.4 WN的参数初始化
6.4.5 均值BN
6.4.6 小结
6.5 IN
6.5.1 IST中的IN
6.5.2 IN与BN对比
6.5.3 TensorFlow中的IN
6.5.4 小结
6.6 GN
6.6.1 GN算法
6.6.2 GN的源码
6.6.3 GN的原理
6.6.4 小结
6.7 SN
6.7.1 SN详解
6.7.2 SN的优点
6.7.3 小结

简介

版权

深度学习高手笔记 卷1：基础算法

深度学习高手笔记卷1：基础算法