实验健康、结果成熟与人工决策

健康中心

操作路径：实验 → 健康中心。先处理严重项，再决定是否扩流或暂停。

健康检查覆盖：

• 样本和曝光节奏；
• 随机分流、重叠和 SRM；
• 数据延迟、事件覆盖和指标完整性；
• SDK、HPKE、公钥和运行时配置；
• 护栏指标和性能。

warning 需要关注，critical 可能阻断最终结论。展开“查看证据”核对实际值，不只看颜色。

统计结果

• 运行中的结果始终是 provisional collecting，不能宣布胜者；
• 二元指标使用两比例检验，连续指标使用 Welch 检验；
• 多 treatment 在每个指标内执行 Holm-Bonferroni；
• SRM 的 p < 0.001 会使结果 invalid；
• 样本不足、主指标不显著或护栏恶化返回 inconclusive；
• 只有部署完成并等待 24 小时成熟后的 final 才可能返回 winner。

决策与报告

操作路径：实验 → 决策与报告。

Owner/Admin 可以记录：上线某个变体、继续收集、停止实验或结论不明确。选择上线变体时需要确认并说明依据；如果业务决定与统计建议不同，应填写覆盖原因。

决策是审计记录，不会自动修改业务代码。上线仍需通过功能开关发布或应用发布流程完成。摘要、趋势和下钻导出应与决策记录一起保存。