因果AI：深度学习与因果推断融合实战

[加]罗伯特·奥萨祖瓦·内斯

扉页
版权信息
+书签
PRAISE 本书赞誉
FOREWORD 推荐序
THE TRANSLATOR’S WORDS 译者序
PROLOGUE 序
PREFACE 前言
PART1 第一部分概念基础
CHAPTER 1 第1章为什么需要因果AI
1.1 什么是因果AI
1.2 因果推断的研究方法
1.2.1 人工智能视角
1.2.2 聚焦科技、零售与商业领域
1.2.3 平行世界反事实及其他因果效应之外的推断问题
1.2.4 推断商品化假设
1.2.5 用代码解析理论
1.3 因果关系在现代人工智能工作流中的作用
1.3.1 数据科学的优化
1.3.2 归因、信用分配与根源分析的改进
1.3.3 提升模型的稳健性、可分解性和可解释性
1.3.4 公平人工智能
1.4 因果科学引领人工智能的新纪元
1.4.1 因果表示学习
1.4.2 因果强化学习
1.4.3 大语言模型与基础模型
1.5 因果关系的机器学习视角导论
1.5.1 查询、概率与统计分析
1.5.2 因果关系和MNIST数据集
1.5.3 因果查询、概率和统计
CHAPTER 2 第2章概率生成建模基础
2.1 概率基础
2.1.1 随机变量和概率
2.1.2 概率分布与分布函数
2.1.3 联合概率和条件概率
2.1.4 链式法则、全概率定律和贝叶斯法则
2.1.5 马尔可夫假设与马尔可夫核
2.1.6 参数
2.1.7 概率分布的标准类型
2.1.8 分布的可视化表示
2.1.9 独立性与条件独立性
2.1.10 期望值
2.2 计算概率
2.2.1 概率的物理含义
2.2.2 随机生成
2.2.3 编码随机过程
2.2.4 蒙特卡罗模拟与期望值
2.2.5 概率推断的程序实现
2.3 数据、总体、统计和模型
2.3.1 用概率分布建模总体特征
2.3.2 从观测数据到数据生成过程
2.3.3 统计独立性检验
2.3.4 模型参数的统计估计方法
2.4 决定论与主观概率
2.4.1 决定论
2.4.2 主观概率
PART2 第二部分因果图的构建与验证
CHAPTER 3 第3章构建因果图模型
3.1 因果有向无环图简介
3.1.1 案例研究：交通方式选择的因果模型
3.1.2 为什么使用因果有向无环图
3.1.3 有向无环图能够有效地展示和传达因果假设
3.1.4 有向无环图的计算工具与方法
3.1.5 因果有向无环图的时序表达
3.1.6 有向无环图连接因果关系与条件独立性
3.1.7 有向无环图作为概率机器学习模型的构建基础
3.1.8 基于因果有向无环图的模型训练
3.1.9 参数学习的多种方法
3.1.10 含潜在变量的参数学习
3.1.11 基于因果概率机器学习模型的推断
3.2 因果不变性与参数模块化
3.2.1 机制独立性与参数模块化
3.2.2 因果迁移学习、数据融合和不变预测
3.2.3 基于常识的参数拟合
3.3 因果问题决定有向无环图的范围
3.3.1 有向无环图中变量的选择
3.3.2 基于变量的推断作用构建因果有向无环图
3.4 未来方向：模型验证与因果图深度学习融合
CHAPTER 4 第4章基于因果约束的有向无环图检验
4.1 因果关系引发条件独立性的机制
4.1.1 碰撞变量
4.1.2 用因果图表示独立性关系
4.2 d分离与条件独立性
4.2.1 d分离：因果分析简化的基础
4.2.2 多条路径d分离示例
4.2.3 d分离的代码实现
4.3 因果有向无环图的反驳验证
4.3.1 重探因果马尔可夫性质
4.3.2 基于条件独立性检验的反驳验证
4.3.3 检验的重要程度差异
4.4 条件独立性检验的局限性
4.4.1 统计检验不可避免地存在错误概率
4.4.2 传统条件独立性检验在因果有向无环图检验中的局限性
4.4.3 p值与数据规模的关系
4.4.4 多重比较问题
4.4.5 机器学习场景下的条件独立性检验难题
4.4.6 小结
4.5 基于潜在变量反驳因果有向无环图
4.5.1 潜在变量条件下的可检验蕴含示例
4.5.2 函数约束检验的工具库与方法论
4.5.3 函数约束检验
4.5.4 关于可检验含义的总结思考
4.6 因果发现（及其风险）基础
4.6.1 因果发现方法
4.6.2 因果发现、因果忠实性与潜在变量假设
4.6.3 等价类和部分有向无环图
4.6.4 因果发现的思维方式
CHAPTER 5 第5章因果推断与深度学习的融合
5.1 计算机视觉问题的因果模型
5.1.1 运用通用函数逼近器
5.1.2 因果抽象与板块模型
5.2 神经因果模型的训练方法
5.2.1 训练数据准备
5.2.2 变分自编码器的构建
5.2.3 训练流程
5.2.4 训练效果评估
5.2.5 Z的因果解释方法
5.2.6 因果解释法的优势
5.3 因果推断助力深度学习
5.3.1 机制独立性：一种归纳偏置
5.3.2 案例研究：半监督学习
5.3.3 从因果视角解析深度学习
PART3 第三部分因果层级
CHAPTER 6 第6章结构因果模型
6.1 从通用因果图模型到结构因果模型
6.1.1 法医案例研究
6.1.2 利用重参数化构建结构因果模型
6.1.3 新模型的形式化表示
6.1.4 结构因果模型的离散命令式示例
6.1.5 结构因果模型的应用价值
6.1.6 与相关方法的对比
6.1.7 因果决定论及其建模应用
6.2 结构因果模型的等价关系
6.2.1 重参数化的局限性
6.2.2 结构因果模型的唯一性与等价性
6.3 规则型系统的结构因果模型实现
6.3.1 案例研究：蒙提霍尔问题
6.3.2 蒙提霍尔问题的因果有向无环图分析
6.3.3 基于pgmpy构建蒙提霍尔问题的结构因果模型
6.3.4 基于规则系统中的外生变量
6.3.5 结构因果模型在规则系统建模中的应用
6.4 基于数据训练结构因果模型
6.4.1 如何选择合适的赋值函数
6.4.2 如何对外生变量分布进行建模
6.4.3 加性模型：结构因果模型的主流建模方法
6.4.4 线性高斯加性模型
6.4.5 线性非高斯加性模型
6.4.6 非线性加性噪声模型
6.4.7 基于回归工具训练加性结构因果模型
6.4.8 加性模型的扩展
6.5 结构因果模型与深度学习的融合
6.5.1 基于PyTorch实现和训练结构因果模型
6.5.2 基于概率性PyTorch的结构因果模型训练
6.5.3 神经结构因果模型与归一化流
CHAPTER 7 第7章干预与因果效应
7.1 干预案例研究
7.1.1 案例研究：天气预测与商业绩效预测的比较
7.1.2 案例研究：信用卡欺诈检测
7.1.3 案例研究：在线角色扮演游戏的统计分析
7.1.4 从随机实验到干预
7.1.5 从观测研究到实验研究
7.1.6 从实验到干预
7.1.7 小结
7.2 理想干预与干预算子
7.2.1 干预算子
7.2.2 结构因果模型中的理想干预
7.2.3 图结构修剪：因果有向无环图和因果图模型中的理想干预操作
7.2.4 图形干预与d分离
7.2.5 理想干预与因果马尔可夫核
7.2.6 因果程序中的理想干预
7.3 干预变量与分布
7.3.1 do干预与反事实表示法
7.3.2 因果符号向传统符号的简化
7.3.3 因果模型对所有干预分布的表征
7.4 干预和因果效应
7.4.1 二元因果的平均干预效应
7.4.2 分类型因果变量的平均处理效应
7.4.3 连续性因果变量的平均处理效应
7.4.4 条件平均处理效应
7.4.5 统计关联与因果关系的测度
7.4.6 因果关系与回归模型
7.5 随机干预
7.5.1 实验中的随机分配属于随机干预
7.5.2 干预策略
7.6 干预建模的实践要点
7.6.1 推理现实中不可实施的干预
7.6.2 反驳与实际干预
7.6.3 “无干预不成因果”
7.6.4 “非理想”干预的建模
CHAPTER 8 第8章反事实和平行世界
8.1 反事实推理的动机
8.1.1 在线游戏
8.1.2 流媒体竞争
8.1.3 机器学习模型的反事实分析
8.1.4 遗憾与“假设情境”的探讨意义
8.1.5 强化学习与自动化决策
8.1.6 反事实查询的解答步骤
8.2 反事实的符号表示
8.2.1 假设性表述与问题
8.2.2 事实对假设的子群体过滤
8.2.3 条件假设、干预与模拟
8.2.4 反事实陈述
8.2.5 一致性规则
8.2.6 更多示例
8.3 二元反事实
8.3.1 因果概率
8.3.2 因果概率与归因分析
8.3.3 二元反事实与提升建模
8.4 可能世界与平行世界图
8.4.1 可能世界中的潜在结果
8.4.2 平行世界图
8.4.3 基于图手术实现假设条件
8.4.4 多重可能世界的推理分析
8.4.5 经验法则：构建假设世界时要从简
CHAPTER 9 第9章反事实推断的通用算法
9.1 算法演练
9.1.1 溯因：基于已观测内生变量推断外生变量
9.1.2 干预：构建假设因果关系
9.1.3 预测：推断假设结果
9.1.4 反事实蒙特卡罗
9.1.5 案例研究导论
9.2 案例研究1：蒙提霍尔问题
9.2.1 外生变量的定义
9.2.2 内生变量的赋值函数设定
9.2.3 构建平行世界图模型
9.2.4 运行反事实推断算法
9.3 案例研究2：反事实变分推断
9.3.1 模型构建
9.3.2 通过pyro.do实现干预操作
9.3.3 基于变分推断的溯因步骤实现
9.3.4 干预与预测步骤的实现
9.4 案例研究3：基于深度生成模型的反事实图像生成
9.4.1 dSprites数据集
9.4.2 反事实图像生成的基本假设
CHAPTER 10 第10章识别与因果层级
10.1 因果层级
10.1.1 问题和查询的层级分类
10.1.2 模型和假设在因果层级中的定位
10.1.3 数据在因果层级中的定位
10.1.4 因果层级定理
10.2 识别与因果推断工作流
10.2.1 识别的定义
10.2.2 因果推断工作流
10.2.3 识别与估计的分离
10.3 基于后门调整的因果识别
10.3.1 后门调整公式
10.3.2 解密后门调整
10.4 基于do演算的图形识别
10.4.1 深入理解do演算
10.4.2 基于do演算的后门识别
10.5 图形识别算法
10.5.1 案例研究：前门估计量
10.5.2 前门法原理解析
10.6 反事实识别的一般方法
10.6.1 反事实推断通用算法的局限性
10.6.2 示例：单调性与因果概率分析
10.7 基于图的反事实识别
10.7.1 受处理者的处理效应
10.7.2 基于反事实图的识别
10.7.3 基于单世界干预图的反事实识别
10.7.4 基于单世界干预图的识别方法
10.7.5 单世界假设
10.8 识别与概率推断
10.9 部分识别
PART4 第四部分因果推断的应用
CHAPTER 11 第11章构建因果推断工作流
11.1 步骤1：确定目标查询
11.2 步骤2：构建模型
11.3 步骤3：识别估计量
11.3.1 后门调整估计量
11.3.2 工具变量估计量
11.3.3 前门调整估计量
11.3.4 估计量的选择与缓解“有向无环图焦虑”
11.3.5 无法进行识别的情况
11.4 步骤4：估计目标估计量
11.4.1 后门估计量的线性回归估计
11.4.2 基于倾向得分的后门估计量
11.4.3 基于机器学习的后门估计
11.4.4 前门估计
11.4.5 工具变量方法
11.4.6 估计器的比较与选择
11.5 步骤5：证伪
11.5.1 数据规模缩减
11.5.2 添加虚拟混杂变量
11.5.3 用虚拟变量替代处理变量
11.5.4 使用虚拟结果变量替代原始结果变量
11.5.5 未建模混杂因素的稳健性检验
11.6 因果生成模型的因果推断
11.6.1 因果推断中的模型转换方法
11.6.2 基于因果生成模型的因果查询推断步骤
11.6.3 从推断到估计
11.6.4 基于VAE的因果推断模型
11.6.5 基于SVI的后验推断配置
11.6.6 ATE的后验预测推断
11.6.7 贝叶斯因果生成推断的识别性分析
11.6.8 关于因果潜在变量模型的思考总结
CHAPTER 12 第12章因果决策与强化学习
12.1 决策理论的因果基础
12.1.1 效用、奖励、损失和成本
12.1.2 其他来源的不确定性
12.2 因果决策理论
12.2.1 决策作为第2层级查询
12.2.2 决策规则与策略的因果表征
12.2.3 因果概率决策建模与可容许性
12.2.4 因果期望值与非因果期望值的最大值之间的表面一致性
12.2.5 纽科姆悖论
12.2.6 基于因果模型的纽科姆悖论分析
12.2.7 因果决策理论的内省机制
12.3 因果有向无环图与序贯决策
12.3.1 多臂老虎机反馈
12.3.2 情境式多臂老虎机反馈
12.3.3 延迟反馈
12.3.4 序贯模型的因果查询
12.4 随机干预形式下的策略
12.4.1 序贯决策中的示例
12.4.2 策略引入混杂因素的机制
12.5 因果强化学习
12.5.1 因果性与马尔可夫决策过程的关联
12.5.2 马尔可夫决策过程的因果有向无环图表示
12.5.3 部分可观测马尔可夫决策过程
12.5.4 马尔可夫决策过程中的策略
12.5.5 因果贝尔曼方程
12.6 决策理论中的反事实推理
12.6.1 反事实策略评估
12.6.2 反事实遗憾最小化
12.6.3 决策问题中的第3层级假设构建
CHAPTER 13 第13章因果关系与大语言模型
13.1 大语言模型：因果知识库的新范式
13.1.1 构建因果有向无环图
13.1.2 有向无环图、模型和因果分析的代码生成
13.1.3 解释机制
13.1.4 因果框架问题与人工智能对齐
13.1.5 因果概念的理解与语境化
13.1.6 因果查询的形式化表达
13.1.7 注意：大语言模型可能产生虚构内容
13.2 大语言模型的因果入门指南
13.2.1 大语言模型的概率机器学习观点
13.2.2 注意力机制
13.2.3 从词元到因果表征
13.2.4 幻觉、注意力机制与因果识别
13.3 构建专属因果大语言模型
13.3.1 剧本写作大语言模型
13.3.2 因果马尔可夫核的预训练模型应用
13.3.3 干预分布与观测分布的抽样方法
13.3.4 总结思考

简介

版权

因果AI：深度学习与因果推断融合实战