实验草稿、指标与样本计划
实验草稿、指标与样本计划
实验编辑器分五步完成业务假设、变体、目标人群、指标和最终检查。
操作路径:实验 → 实验管理 → 新建实验。
1. 实验目标
填写名称、稳定 key、可证伪假设、固定实验主体、负责人和预计周期。key 和主体创建后不可修改。
示例假设:如果缩短结算按钮文案,那么支付转化率会提升,因为用户能更快理解下一步。
2. 变体与策略
创建互斥变体,权重总和必须为 100%。绑定一个或多个功能开关,为每个变体提供类型正确的值。Control 表示基准体验,不代表一定是默认值。
3. 人群与放量
可配置 Targeting、用户分群、允许/拒绝名单、强制变体和渐进放量。目标人群在部署时生成冻结快照,避免运行中定义漂移。
4. 成功指标
- 主指标决定样本计划和主要结论;
- 辅指标帮助解释结果;
- 护栏指标阻止有害的局部胜利。
优先选择与实验主体一致的已激活注册指标。记录期望方向、统计类型、MDE、显著性水平和功效。默认 alpha 为 0.05、power 为 0.8。
5. 检查并创建
运行服务端校验,确认指标版本、每个环境的历史基线、所需总样本和警告,再创建草稿。未保存编辑会保留在当前标签页,但不能替代服务器草稿。