-
门店大小差很多,实验到底在平均谁?簇大小不等与加权估计目标从同一组门店的用户平均与门店平均出发,拆解簇大小不等时的估计目标、聚合权重、推断与审计。
18 分钟 中文 -
门店只有 12 家,怎样先配成 6 对再随机?配对簇实验的效应估计把基线相近的门店配成对,在每对内随机处理与对照;推导配对差、自由度和设计一致的精确检验。
12 分钟 中文 -
只有 8 家门店,怎样判断实验结果可信?簇随机试验的小样本推断用户数很大也不等于独立样本很多。用簇级均值、自由度与精确随机化检验,说明小簇数实验怎样报告不确定性。
13 分钟 中文 -
同一门店的用户互相影响,怎样做簇随机化?ICC 与设计效应从家庭、门店和学校里的用户互相影响出发,推导簇随机化的组内相关与设计效应,用手算和纯 Python 重算实验人数。
15 分钟 中文 -
实验中途能不能停?用预先分配的显著性预算设计序贯检验把固定样本量和多次查看放进同一设计,用两次手算查看与纯 Python z 检验说明何时可以提前停止。
14 分钟 中文 -
实验开跑前要招多少用户?用 MDE、统计功效与 CUPED 规划样本量从可检测效应、假阳性率和漏检率推导在线实验样本量,用手算与纯 Python 正态近似估算两臂人数,并说明 CUPED、Holm 与序贯实验如何改变规划。
14 分钟 中文 -
几十个指标总有一个显著,怎样控制实验误报?Holm 多重检验从预注册检验家族、手算逐步门槛到可复核的 Holm 实现,说明如何控制在线实验中多指标与多切片带来的假阳性。
12 分钟 中文 -
总体提升,为何新用户却受损?预注册分层与实验异质性效应从加权总体均值推导分组处理效应与交互项,用极小数据和可运行 Python 代码区分真实异质性、随机噪声与事后挑切片。
13 分钟 中文
返回