PyTorch自然语言处理入门与实战

孙小文王薪宇杨谈

扉页
版权信息
+书签
内容提要
前言
自然语言处理领域有什么前途
本书的特色
本书的内容
本书面向的读者对象
第1篇自然语言处理基础篇
第1章自然语言处理概述
1.1 什么是自然语言处理
1.1.1 定义
1.1.2 常用术语
1.1.3 自然语言处理的任务
1.1.4 自然语言处理的发展历程
1.2 自然语言处理中的挑战
1.2.1 歧义问题
1.2.2 语言的多样性
1.2.3 未登录词
1.2.4 数据稀疏
1.3 自然语言处理中的常用技术
1.4 机器学习中的常见问题
1.4.1 Batch和Epoch
1.4.2 Batch Size的选择
1.4.3 数据集不平衡问题
1.4.4 预训练模型与数据安全
1.4.5 通过开源代码学习
1.5 小结
第2章 Python自然语言处理基础
2.1 搭建环境
2.1.1 选择Python版本
2.1.2 安装Python
2.1.3 使用pip包管理工具和Python虚拟环境
2.1.4 使用集成开发环境
2.1.5 安装Python自然语言处理常用的库
2.2 用Python处理字符串
2.2.1 使用str类型
2.2.2 使用StringIO类
2.3 用Python处理语料
2.3.1 从文件读取语料
2.3.2 去重
2.3.3 停用词
2.3.4 编辑距离
2.3.5 文本规范化
2.3.6 分词
2.3.7 词频-逆文本频率
2.3.8 One-Hot编码
2.4 Python的一些特性
2.4.1 动态的解释型语言
2.4.2 跨平台
2.4.3 性能问题
2.4.4 并行和并发
2.5 在Python中调用其他语言
2.5.1 通过ctypes调用C/C++代码
2.5.2 通过网络接口调用其他语言
2.6 小结
第2篇 PyTorch入门篇
第3章 PyTorch介绍
3.1 概述
3.2 与其他框架的比较
3.2.1 TensorFlow
3.2.2 PaddlePaddle
3.2.3 CNTK
3.3 PyTorch环境配置
3.3.1 通过pip安装
3.3.2 配置GPU环境
3.3.3 其他安装方法
3.3.4 在PyTorch中查看GPU是否可用
3.4 Transformers简介及安装
3.5 Apex简介及安装
3.6 小结
第4章 PyTorch基本使用方法
4.1 张量的使用
4.1.1 创建张量
4.1.2 张量的变换
4.1.3 张量的索引
4.1.4 张量的运算
4.2 使用torch.nn
4.3 激活函数
4.3.1 Sigmoid函数
4.3.2 Tanh函数
4.3.3 ReLU函数
4.3.4 Softmax函数
4.3.5 Softmin函数
4.3.6 LogSoftmax函数
4.4 损失函数
4.4.1 0-1损失函数
4.4.2 平方损失函数
4.4.3 绝对值损失函数
4.4.4 对数损失函数
4.5 优化器
4.5.1 SGD优化器
4.5.2 Adam优化器
4.5.3 AdamW优化器
4.6 数据加载
4.6.1 Dataset
4.6.2 DataLoader
4.7 使用PyTorch实现逻辑回归
4.7.1 生成随机数据
4.7.2 数据可视化
4.7.3 定义模型
4.7.4 训练模型
4.8 TorchText
4.8.1 安装TorchText
4.8.2 Data类
4.8.3 Datasets类
4.8.4 Vocab
4.8.5 utils
4.9 使用TensorBoard
4.9.1 安装和启动TensorBoard
4.9.2 在PyTorch中使用TensorBoard
4.10 小结
第5章热身：使用字符级RNN分类帖子
5.1 数据与目标
5.1.1 数据
5.1.2 目标
5.2 输入与输出
5.2.1 统计数据集中出现的字符数量
5.2.2 使用One-Hot编码表示标题数据
5.2.3 使用词嵌入表示标题数据
5.2.4 输出
5.3 字符级RNN
5.3.1 定义模型
5.3.2 运行模型
5.4 数据预处理
5.4.1 合并数据并添加标签
5.4.2 划分训练集和数据集
5.5 训练与评估
5.5.1 训练
5.5.2 评估
5.5.3 训练模型
5.6 保存和加载模型
5.6.1 仅保存模型参数
5.6.2 保存模型与参数
5.6.3 保存词表
5.7 开发应用
5.7.1 给出任意标题的建议分类
5.7.2 获取用户输入并返回结果
5.7.3 开发Web API和Web界面
5.8 小结
第3篇用PyTorch完成自然语言处理任务篇
第6章分词问题
6.1 中文分词
6.1.1 中文的语言结构
6.1.2 未收录词
6.1.3 歧义
6.2 分词原理
6.2.1 基于词典匹配的分词
6.2.2 基于概率进行分词
6.2.3 基于机器学习的分词
6.3 使用第三方工具分词
6.3.1 S-MSRSeg
6.3.2 ICTCLAS
6.3.3 结巴分词
6.3.4 pkuseg
6.4 实践
6.4.1 对标题分词
6.4.2 统计词语数量与模型训练
6.4.3 处理用户输入
6.5 小结
第7章 RNN
7.1 RNN的原理
7.1.1 原始RNN
7.1.2 LSTM
7.1.3 GRU
7.2 PyTorch中的RNN
7.2.1 使用RNN
7.2.2 使用LSTM和GRU
7.2.3 双向RNN和多层RNN
7.3 RNN可以完成的任务
7.3.1 输入不定长，输出与输入长度相同
7.3.2 输入不定长，输出定长
7.3.3 输入定长，输出不定长
7.4 实践：使用PyTorch自带的RNN完成帖子分类
7.4.1 载入数据
7.4.2 定义模型
7.4.3 训练模型
7.5 小结
第8章词嵌入
8.1 概述
8.1.1 词表示
8.1.2 PyTorch中的词嵌入
8.2 Word2vec
8.2.1 Word2vec简介
8.2.2 CBOW
8.2.3 SG
8.2.4 在PyTorch中使用Word2vec
8.3 GloVe
8.3.1 GloVe的原理
8.3.2 在PyTorch中使用GloVe预训练词向量
8.4 实践：使用预训练词向量完成帖子标题分类
8.4.1 获取预训练词向量
8.4.2 加载词向量
8.4.3 方法一：直接使用预训练词向量
8.4.4 方法二：在Embedding层中载入预训练词向量
8.5 小结
第9章 Seq2seq
9.1 概述
9.1.1 背景
9.1.2 模型结构
9.1.3 训练技巧
9.1.4 预测技巧
9.2 使用PyTorch实现Seq2seq
9.2.1 编码器
9.2.2 解码器
9.2.3 Seq2seq
9.2.4 Teacher Forcing
9.2.5 Beam Search
9.3 实践：使用Seq2seq完成机器翻译任务
9.3.1 数据集
9.3.2 数据预处理
9.3.3 构建训练集和测试集
9.3.4 定义模型
9.3.5 初始化模型
9.3.6 定义优化器和损失函数
9.3.7 训练函数和评估函数
9.3.8 训练模型
9.3.9 测试模型
9.4 小结
第10章注意力机制
10.1 注意力机制的起源
10.1.1 在计算机视觉中的应用
10.1.2 在自然语言处理中的应用
10.2 使用注意力机制的视觉循环模型
10.2.1 背景
10.2.2 实现方法
10.3 Seq2seq中的注意力机制
10.3.1 背景
10.3.2 实现方法
10.3.3 工作原理
10.4 自注意力机制
10.4.1 背景
10.4.2 自注意力机制相关的工作
10.4.3 实现方法与应用
10.5 其他注意力机制
10.6 小结
第11章 Transformer
11.1 Transformer的背景
11.1.1 概述
11.1.2 主要技术
11.1.3 优势和缺点
11.2 基于卷积网络的Seq2seq
11.3 Transformer的结构
11.3.1 概述
11.3.2 Transformer中的自注意力机制
11.3.3 Multi-head Attention
11.3.4 使用Positional Encoding
11.4 Transformer的改进
11.5 小结
第12章预训练语言模型
12.1 概述
12.1.1 为什么需要预训练
12.1.2 预训练模型的工作方式
12.1.3 自然语言处理预训练的发展
12.2 ELMo
12.2.1 特点
12.2.2 模型结构
12.2.3 预训练过程
12.3 GPT
12.3.1 特点
12.3.2 模型结构
12.3.3 下游任务
12.3.4 预训练过程
12.3.5 GPT-2和GPT-3
12.4 BERT
12.4.1 背景
12.4.2 模型结构
12.4.3 预训练
12.4.4 RoBERTa和ALBERT
12.5 Hugging Face Transformers
12.5.1 概述
12.5.2 使用Transformers
12.5.3 下载预训练模型
12.5.4 Tokenizer
12.5.5 BERT的参数
12.5.6 BERT的使用
12.5.7 GPT-2的参数
12.5.8 常见错误及其解决方法
12.6 其他开源中文预训练模型
12.6.1 TAL-EduBERT
12.6.2 Albert
12.7 实践：使用Hugging Face Transformers中的BERT做帖子标题分类
12.7.1 读取数据
12.7.2 导入包和设置参数
12.7.3 定义Dataset和DataLoader
12.7.4 定义评估函数
12.7.5 定义模型
12.7.6 训练模型
12.8 小结
第4篇实战篇
第13章项目：中文地址解析
13.1 数据集
13.1.1 实验目标与数据集介绍
13.1.2 载入数据集
13.2 词向量
13.2.1 查看词向量文件
13.2.2 载入词向量
13.3 BERT
13.3.1 导入包和配置
13.3.2 Dataset和DataLoader
13.3.3 定义模型
13.3.4 训练模型
13.3.5 获取预测结果
13.4 HTML5演示程序开发
13.4.1 项目结构
13.4.2 HTML5界面
13.4.3 创建前端事件
13.4.4 服务器逻辑
13.5 小结
第14章项目：诗句补充
14.1 了解chinese-poetry数据集
14.1.1 下载chinese-poetry数据集
14.1.2 探索chinese-poetry数据集
14.2 准备训练数据
14.2.1 选择数据源
14.2.2 载入内存
14.2.3 切分句子
14.2.4 统计字频
14.2.5 删除低频字所在诗句
14.2.6 词到ID的转换
14.3 实现基本的LSTM
14.3.1 把处理好的数据和词表存入文件
14.3.2 切分训练集和测试集
14.3.3 Dataset
14.3.4 DataLoader
14.3.5 创建Dataset和DataLoader对象
14.3.6 定义模型
14.3.7 测试模型
14.3.8 训练模型
14.4 根据句子长度分组
14.4.1 按照句子长度分割数据集
14.4.2 不用考虑填充的DataLoader
14.4.3 创建多个DataLoader对象
14.4.4 处理等长句子的LSTM
14.4.5 评估模型效果
14.4.6 训练模型
14.5 使用预训练词向量初始化Embedding层
14.5.1 根据词向量调整字表
14.5.2 载入预训练权重
14.5.3 训练模型
14.6 使用Transformer完成诗句生成
14.6.1 位置编码
14.6.2 使用Transformer
14.6.3 训练和评估
14.7 使用GPT-2完成对诗模型
14.7.1 预训练模型
14.7.2 评估模型
14.7.3 Fine-tuning
14.8 开发HTML5演示程序
14.8.1 目录结构
14.8.2 HTML5界面
14.8.3 创建前端事件
14.8.4 服务器逻辑
14.8.5 检验结果
14.9 小结
参考文献

简介

版权

PyTorch自然语言处理入门与实战