揭秘大模型：从原理到实战

文亮江维

扉页
版权信息
+书签
内容提要
前言
第1章大模型简介
1.1 大模型初探
1.1.1 OpenAI大模型ChatGPT
1.1.2 国内大模型——360智脑
1.2 大模型的概念
1.3 百花齐放——大模型发展现状
1.4 压缩即智能——为什么ChatGPT拥有智能
1.4.1 直观理解通用人工智能
1.4.2 如何实现无损压缩
1.4.3 GPT是对数据的无损压缩
1.5 小结
第2章大模型理论基础
2.1 什么是语言模型
2.2 传统语言模型
2.2.1 循环神经网络(RNN)
2.2.2 长短期记忆(LSTM)网络
2.2.3 门控循环单元(GRU)
2.3 大模型基础结构——Transformer
2.3.1 Transformer的模型结构
2.3.2 Transformer输入表示
2.3.3 多头注意力
2.3.4 编码器结构
2.3.5 解码器结构
2.3.6 Softmax输出
2.4 Transformer应用实践——机器翻译
2.4.1 葡萄牙文翻译为英文
2.4.2 英文翻译为中文
2.5 小结
第3章 OpenAI GPT系列大模型
3.1 GPT发展历史——从GPT-1到GPT-4
3.2 GPT-1技术原理
3.2.1 GPT-1的模型结构
3.2.2 GPT-1应用实践——中文文本分类
3.3 GPT-2技术原理
3.3.1 GPT-2的模型结构
3.3.2 GPT-2应用实践——文本分类和文本生成
3.4 GPT-3技术原理
3.4.1 GPT-3的模型结构
3.4.2 GPT-3多项任务评估
3.5 横空出世——ChatGPT
3.5.1 真正的通用人工智能——ChatGPT
3.5.2 有监督微调
3.5.3 训练奖励模型
3.5.4 使用强化学习微调预训练模型
3.5.5 ChatGPT应用
3.6 GPT-4
3.6.1 GPT-4的涌现能力
3.6.2 大模型预测扩展
3.6.3 GPT-4性能分析
3.6.4 GPT-4应用
3.7 小结
第4章清华大学通用预训练模型——GLM
4.1 GLM简介
4.2 GLM技术原理
4.2.1 预训练目标
4.2.2 GLM的模型结构
4.2.3 微调GLM
4.2.4 效果评估
4.3 ChatGLM-6B全参数微调实践
4.3.1 环境搭建
4.3.2 全参数微调
4.3.3 效果评估
4.4 GLM-10B全参数微调实践
4.4.1 代码结构
4.4.2 全参数微调
4.4.3 效果评估
4.5 小结
第5章 Meta开源大模型——Llama
5.1 Llama简介
5.2 Llama技术原理
5.2.1 Llama预训练数据
5.2.2 Llama的模型结构
5.2.3 Llama优化器
5.3 Llama改进版——Llama 2
5.3.1 Llama 2简介
5.3.2 Llama 2预训练
5.3.3 Llama 2有监督微调
5.3.4 基于人类反馈的强化学习
5.4 Llama 2应用实践
5.4.1 Hugging Face玩转Llama 2
5.4.2 微调Llama 2
5.5 小结
第6章大模型参数高效微调
6.1 LoRA——低秩矩阵分解
6.1.1 LoRA基本原理
6.1.2 LoRA低秩矩阵初始化
6.1.3 LoRA开源实现
6.2 谷歌参数高效微调——Adapter Tuning
6.3 斯坦福轻量级微调——Prefix-Tuning
6.4 谷歌微调方法——Prompt Tuning
6.5 清华大学参数微调——P-Tuning
6.6 P-Tuning改进版——P-Tuning v2
6.7 大模型参数高效微调实践
6.7.1 安装ChatGLM2-6B环境依赖
6.7.2 安装P-Tuning v2环境依赖
6.8 小结
第7章大模型指令微调
7.1 指令微调
7.2 指令微调和提示的异同
7.3 大模型思维链——优化模型推理能力
7.3.1 思维链的开山之作——思维链提示
7.3.2 零样本提示思维链
7.3.3 多数投票——自洽性
7.3.4 最少到最多提示过程
7.3.5 大模型微调
7.3.6 微调思维链
7.3.7 思维链的局限
7.4 谷歌指令微调数据集——Flan 2022
7.5 小结
第8章大模型训练优化
8.1 稀疏Transformer
8.1.1 稀疏Transformer提出背景
8.1.2 稀疏Transformer实现原理
8.2 旋转位置编码
8.2.1 传统位置编码——绝对位置编码
8.2.2 二维旋转位置编码
8.2.3 多维旋转位置编码
8.2.4 旋转位置编码的高效计算
8.2.5 旋转位置编码的远程衰减
8.2.6 Llama和ChatGLM中的旋转位置编码实现
8.2.7 旋转位置编码的外推性
8.3 大模型混合精度训练
8.3.1 浮点数据类型
8.3.2 使用FP16训练神经网络的问题
8.3.3 混合精度训练相关技术
8.4 样本拼接
8.5 大模型并行训练
8.6 小结
第9章大模型推理优化
9.1 大模型量化
9.1.1 量化的优势
9.1.2 对称量化和非对称量化
9.2 大模型文本生成的解码策略
9.2.1 束搜索
9.2.2 top-k采样
9.2.3 top-p采样
9.2.4 温度采样
9.2.5 联合采样
9.3 小结
第10章 AIGC和大模型结合
10.1 AIGC引来新一轮投资热
10.2 生成对抗网络
10.2.1 生成对抗网络的模型结构
10.2.2 生成对抗网络的训练过程
10.2.3 生成对抗网络实战——生成手写体数字图像
10.3 AIGC主流模型——去噪扩散概率模型
10.3.1 去噪扩散概率模型的原理
10.3.2 去噪扩散概率模型的训练过程
10.3.3 去噪扩散概率模型实战——生成手写体数字图像
10.4 引入文字的去噪扩散概率模型
10.4.1 去噪扩散概率模型的文字生成图像过程
10.4.2 利用CLIP模型生成文本向量
10.4.3 在U-Net模型中使用文本向量
10.4.4 引入文字的去噪扩散概率模型的训练过程
10.5 去噪扩散概率模型改进版——Stable Diffusion
10.5.1 Stable Diffusion的文字生成图像过程
10.5.2 Stable Diffusion前向扩散过程优化
10.5.3 Stable Diffusion反向去噪过程优化
10.5.4 Stable Diffusion的完整流程
10.5.5 Stable Diffusion应用场景
10.6 小结
第11章大模型和推荐系统结合
11.1 大模型和推荐系统的异同
11.2 大模型和推荐系统的3种不同结合方法
11.2.1 基于大模型构建特征
11.2.2 基于大模型建模行为序列
11.2.3 基于行为序列微调大模型
11.3 大模型和推荐系统的结合效果
11.3.1 两阶段模式
11.3.2 端到端模式
11.3.3 预训练+两阶段/端到端模式
11.3.4 预训练+两阶段/端到端+ID特征模式
11.4 小结
第12章构建私有大模型
12.1 大模型百花齐放
12.2 选择基座模型
12.3 环境安装
12.4 模型加载
12.4.1 代码调用
12.4.2 网页版启动
12.4.3 命令行交互
12.5 低成本部署
12.5.1 模型量化
12.5.2 CPU部署
12.5.3 Mac部署
12.5.4 多卡部署
12.6 构建自己的私有大模型
12.6.1 数据准备
12.6.2 有监督微调
12.6.3 部署私有大模型
12.6.4 灾难性遗忘问题
12.6.5 程序思维提示——解决复杂数值推理
12.7 小结

简介

版权

揭秘大模型：从原理到实战