AB实验：科学归因与增长的利器 - 3.2 区间估计和置信区间 - 刘玉凤 - 微信读书

微信读书书城AB实验：科学归因与增长的利器

首页我的书架登录

书籍封面

AB实验：科学归因与增长的利器

刘玉凤

扉页
版权信息
作者介绍
前言
第一部分了解AB实验
第1章 AB实验的基本原理和应用
1.1 什么是AB实验
1.1.1 AB实验的定义
1.1.2 AB实验的类型
1.2 AB实验的3个基本要素
1.2.1 实验参与单元
1.2.2 实验控制参数
1.2.3 实验指标
1.3 AB实验的2个核心价值
1.3.1 定性因果：验证因果关系，确保方向正确
1.3.2 定量增长：实践数据驱动，精细成本收益
1.4 AB实验的2个关键特性
1.5 AB实验行业应用
1.5.1 AB实验应用场景
1.5.2 AB实验应用案例
第二部分深入AB实验
第2章 AB实验的关键问题
2.1 实验参与对象的3个问题
2.2 实验随机分流的3个问题
2.3 实验指标的2个问题
2.4 实验分析和评估的3个问题
第3章 AB实验的统计学知识
3.1 随机抽样和抽样分布
3.2 区间估计和置信区间
3.3 样本容量和边际误差
3.3.1 均值类指标
3.3.2 比率类指标
3.4 假设检验
3.4.1 为什么需要假设检验
3.4.2 如何进行假设检验
3.4.3 第一类错误、第二类错误和功效
3.4.4 如何计算功效
3.5 非参数检验
3.6 方差估计问题
3.6.1 变化绝对差和相对差的方差估计
3.6.2 比率类指标的方差估计
3.6.3 其他指标的方差估计
3.6.4 异常点对方差估计的影响
3.7 多重测试问题
3.7.1 什么是多重测试问题
3.7.2 如何避免多重测试
3.7.3 如何控制多重测试问题
第4章 AB实验参与单元
4.1 实验参与单元的选择
4.1.1 常见的实验参与单元
4.1.2 实验参与单元粒度与实验评估
4.1.3 用户级别的实验参与单元
4.2 实验参与单元的SUTVA问题
4.2.1 什么是SUTVA
4.2.2 为什么需要让SUTVA成立
4.2.3 导致SUTVA不成立的原因
4.2.4 如何解决SUTVA不成立的问题
4.3 最小实验参与单元数量
第5章 AB实验的随机分流
5.1 单层分流模式
5.2 正交分层模式
5.2.1 正交性问题
5.2.2 分层问题
5.3 散列算法
第6章 AB实验的SRM问题
6.1 什么是SRM问题
6.2 导致SRM问题的原因
6.2.1 部署阶段
6.2.2 执行阶段
6.2.3 数据处理和分析阶段
6.3 SRM指标计算和定位
6.3.1 SRM指标计算
6.3.2 定位SRM问题
第7章 AA实验
7.1 AA实验的意义
7.1.1 控制第一类错误
7.1.2 确保用户同质
7.1.3 数据指标对齐
7.1.4 估计统计方差
7.2 如何运行AA实验
7.2.1 什么时候运行AA实验
7.2.2 AA实验失败的常见原因
第8章 AB实验的灵敏度
8.1 什么是实验灵敏度
8.2 如何提升实验灵敏度
8.3 选择指标
8.3.1 选择方差较小的评估指标
8.3.2 标准化评估指标
8.4 选择实验参与对象
8.4.1 采用更细粒度的单元随机化对象
8.4.2 使用触发分析
8.5 选择实验分组
8.5.1 使用分层、控制变量或CUPED方法
8.5.2 设计配对实验
8.6 定向触发技术和评估
8.6.1 触发的方式
8.6.2 触发范围变化
8.6.3 触发实验的分析
8.6.4 触发检验
8.6.5 触发技术的局限性
8.7 如何验证实验灵敏度的提升
第9章 AB实验的长期影响
9.1 长短期影响不一致的原因
9.2 评估长期影响的意义
9.3 如何评估长期影响
9.3.1 长周期实验
9.3.2 保留实验和反转实验
9.3.3 后期分析法
9.3.4 时间交错实验法
9.3.5 固定群组分析法
9.3.6 长期影响的代理指标法
第三部分 AB实验评估指标体系
第10章产品指标体系
10.1 什么是指标体系
10.2 设计指标
10.2.1 基于OKR的分级法
10.2.2 OSM模型法
10.2.3 指标设计和开发技巧
10.3 评估指标
10.3.1 信息增益
10.3.2 因果关系
10.3.3 长期有效性
10.4 进化指标
10.5 指标分类
10.6 指标体系设计案例
第11章实验评估指标体系
11.1 实验评估指标的3个基本条件
11.2 选择更好的实验评估指标
11.2.1 综合指向性与灵敏性
11.2.2 从业务视角出发
11.2.3 考虑应用和工程
11.3 将关键指标合并为OEC
11.3.1 如何建立OEC
11.3.2 OEC的关键属性
11.3.3 构建OEC的注意事项
11.3.4 构建OEC的案例
第四部分 AB实验的基础建设
第12章开展AB实验的基础条件
12.1 决策层认知
12.2 基础工具建设
12.2.1 购买外部服务
12.2.2 自建平台
12.3 文化制度建设
第13章 AB实验平台的建设
13.1 AB实验平台架构
13.2 实验管理功能
13.2.1 实验创建管理
13.2.2 实验配置管理
13.2.3 实验操作管理
13.2.4 实验权限管理
13.3 实验部署功能
13.3.1 流量分配大小
13.3.2 流量分配时机
13.3.3 实验放量节奏
13.3.4 不同类型实验的部署
13.3.5 实验部署中的其他问题
13.4 实验数据处理和分析
13.4.1 数据源
13.4.2 数据处理
13.4.3 指标定义和数据计算
13.4.4 数据可视化
13.4.5 数据分析
13.5 AB实验服务通用框架
第14章实验组织和文化建设
14.1 决策层的支持与参与
14.2 实验专家团队的带领与教育
14.3 业务团队实验骨干的深入与传递
14.4 全体参与和扩大影响
14.5 国内AB实验的开展情况
14.6 实验成熟度模型
第五部分基于AB实验的增长实践
第15章构建想法：形成产品假设
15.1 产品策划找方向
15.2 数据洞察找瓶颈
第16章验证想法：AB实验实践
16.1 实验假设
16.1.1 目标性
16.1.2 可归因
16.1.3 可复用
16.2 实验设计
16.2.1 实验样本选择
16.2.2 实验指标设计
16.2.3 实验流量计算
16.2.4 实验周期预估
16.3 实验运行
16.3.1 实验上线
16.3.2 实验停止
16.3.3 实验放量
16.4 实验分析和理解
16.4.1 明确实验影响范围
16.4.2 确保实验对比人群具有可对比性
16.4.3 实验影响评估：先总后分、从主到次
16.4.4 通过维度细分发现问题
16.4.5 理解实验统计学含义
16.4.6 解读数据背后的产品逻辑
16.5 实验决策
16.5.1 从分析到决策
16.5.2 3种实验结果
16.5.3 实验报告
第17章沉淀想法：实验记忆
17.1 什么是实验沉淀
17.2 实验沉淀的价值
17.2.1 发现策略通用性
17.2.2 从失败中寻找机会
17.2.3 发扬实验文化
17.2.4 帮助理解指标
17.3 如何进行实验沉淀
第18章基于AB实验的增长实践解决方案
18.1 角色分工方案
18.2 数据建设方案
18.3 效果评估方案
第六部分 AB实验的局限与补充
第19章 AB实验的局限性
19.1 战略创新层面
19.2 战术执行层面
第20章 AB实验之外的因果分析方法
20.1 匹配法
20.1.1 匹配法的基本步骤
20.1.2 倾向性得分方法
20.2 工具变量法
20.2.1 什么是工具变量
20.2.2 案例1：教育、参军对收入的影响
20.2.3 案例2：内容发布者与用户活跃度的关系
20.3 面板数据法
20.4 中断时间序列法
20.5 断点回归法
20.6 增益模型
第21章常用的用户调查分析方法
21.1 用户日志分析
21.2 调查问卷
21.3 焦点小组
21.4 用户体验研究
21.5 人工评测
21.6 外部数据