深度学习理论与实践

杨博雄

扉页
目录
+书签
概述1
1.1 引言1
1.2 新一代人工智能4
1.3 深度学习7
1.3.1 深度学习的起源7
1.3.2 深度学习的发展7
1.3.3 深度学习的爆发8
1.4 人工智能、机器学习与深度学习的关系9
本章小结13
课后习题13
深度学习基础知识15
2.1 人工神经网络15
2.1.1 神经元15
2.1.2 感知器16
2.1.3 多层感知器17
2.2 BP算法18
2.2.1 BP算法的基本原理18
2.2.2 激活函数20
2.2.3 梯度下降法22
2.3 深度学习与神经网络26
2.3.1 深度学习的基本思想26
2.3.2 深度学习与神经网络的关系27
2.3.3 深度学习的学习过程27
2.4 深度学习的主要方法29
2.4.1 监督学习29
2.4.2 无监督学习30
2.4.3 半监督学习31
2.4.4 增强学习31
2.4.5 迁移学习33
2.4.6 对偶学习33
2.5 深度学习开源框架与TensorFlow示例34
2.5.1 深度学习开源框架34
2.5.2 TensorFlow与编程示例36
本章小结42
课后习题43
卷积神经网络44
3.1 卷积神经网络简介44
3.2 卷积层46
3.2.1 卷积层介绍46
3.2.2 TensorFlow实现卷积操作53
3.2.3 激活函数57
3.3 池化层59
3.3.1 池化层介绍59
3.3.2 TensorFlow实现池化操作61
3.4 全连接层62
3.4.1 全连接层介绍62
3.4.2 TensorFlow全连接神经网络的实现65
3.5 经典CNN模型66
3.5.1 AlexNet66
3.5.2 VGGNet67
3.5.3 GoogLeNet68
3.5.4 ResNet70
3.6 CNN的应用领域71
3.6.1 计算机视觉72
3.6.2 自然语言处理76
3.6.3 语音识别78
3.7 CNN应用实例79
3.7.1 手写数字识别79
3.7.2 写诗机器人82
3.7.3 基于GANs生成人脸88
本章小结94
课后习题94
图卷积神经网络97
4.1 图卷积神经网络的基础97
4.1.1 图的定义97
4.1.2 图节点的表示98
4.1.3 图节点的聚合99
4.1.4 子图级嵌入105
4.1.5 图神经网络的输出106
4.2 基于谱域的图卷积神经网络106
4.2.1 基于Fourier的图上卷积算子的构建106
4.3 基于空间域的图卷积神经网络142
4.3.1 注意力机制142
4.3.2 图注意力层143
4.3.3 应用案例——GAT145
4.4 基于GCN的图时空网络147
4.4.1 道路图的交通预测147
4.4.2 图的卷积148
4.4.3 STGCN模型148
本章小结150
课后习题150
循环神经网络和递归神经网络151
5.1 循环神经网络的概念151
5.2 循环神经网络前向计算152
5.3 长短时记忆网络154
5.3.1 LSTM结构154
5.3.2 LSTM前向计算155
5.3.3 实验：利用LSTM模型生成古诗156
5.4 循环神经网络的其他变形及应用159
5.4.1 GRU159
5.4.2 序列到序列模型160
5.4.3 实验：基于Seq2Seq模型的聊天机器人161
5.5 递归神经网络163
5.5.1 递归神经网络的前向计算166
5.5.2 递归神经网络的训练167
5.5.3 权重梯度的计算及权重更新170
本章小结171
课后习题171
深度置信网络174
6.1 受限玻尔兹曼机174
6.1.1 引言174
6.1.2 玻尔兹曼机174
6.1.3 受限玻尔兹曼机的定义175
6.1.4 RBM参数学习176
6.1.5 RBM模型参数求解177
6.1.6 RBM模型训练算法177
6.1.7 RBM模型评估178
6.2 深度置信网络概述178
6.2.1 引言178
6.2.2 DBN-DNN结构179
6.2.3 模型训练180
6.3 深度置信网络实验183
本章小结191
课后习题191
生成对抗网络192
7.1 引言192
7.2 GAN原理与模型训练方法193
7.2.1 GAN的工作原理193
7.2.2 GAN的特点及其优缺点193
7.2.3 GAN的基本模型194
7.2.4 GAN模型的挑战194
7.2.5 GAN与Jensen-Shannon散度195
7.2.6 生成器与判别器的网络196
7.3 GAN的模型改进197
7.3.1 WGAN197
7.3.2 WGAN-GP198
7.3.3 LSGAN199
7.3.4 f-GAN199
7.3.5 LS-GAN与GLS-GAN200
7.3.6 EBGAN201
7.3.7 BEGAN202
7.4 GAN的应用模型改进203
7.4.1 CGAN203
7.4.2 InfoGAN204
7.4.3 Pix2Pix205
7.4.4 CycleGAN206
7.4.5 StarGAN207
7.4.6 SRGAN208
7.4.7 DeblurGAN210
7.4.8 AttentiveGAN212
7.5 GAN的应用213
7.5.1 图像领域213
7.5.2 视频领域213
7.5.3 人机交互领域214
7.6 GAN模拟实验214
7.6.1 实验目标214
7.6.2 实验内容214
7.6.3 实验步骤215
7.6.4 实验结果223
本章小结223
课后习题223
深度迁移学习225
8.1 引言225
8.2 迁移学习的概念与原理226
8.2.1 迁移学习的概念226
8.2.2 迁移学习的原理226
8.3 迁移学习的方法227
8.3.1 基于实例的迁移学习方法228
8.3.2 基于特征的迁移学习方法229
8.3.3 基于模型的迁移学习方法230
8.3.4 基于关系的迁移学习方法230
8.4 深度迁移学习概述231
8.4.1 基于实例的深度迁移学习231
8.4.2 基于映射的深度迁移学习232
8.4.3 基于网络的深度迁移学习232
8.4.4 基于对抗的深度迁移学习233
8.5 深度迁移学习实验233
本章小结238
课后习题238
参考文献239