实验分析

实验分析面向增长、产品和实验负责人，回答“哪个方案更好、是否可以扩流、最终应不应该上线”。组织必须同时开通 analytics 与 ab_testing。

推荐起点：实验 → 实验管理。先建立安全功能开关，再创建实验草稿。

推荐工作流

1. 功能开关：定义稳定 key、类型和安全默认值，发布不可变版本。
2. 实验草稿：写清可证伪假设，配置互斥变体、目标人群、主指标和护栏。
3. 发布与部署：锁定版本，在 staging 验证后部署 production。
4. 流量治理：按计划扩流、暂停、恢复或结束，避免同一 Flag 环境占用冲突。
5. 健康检查：持续检查样本节奏、SRM、数据延迟、SDK 和护栏。
6. 成熟与决策：部署结束后等待 24 小时 final 成熟，再记录业务决定。

使用说明

1. 功能开关与独立发布
2. 实验草稿、指标与样本计划
3. 实验发布、部署与流量治理
4. 实验健康、结果成熟与人工决策

关键边界

• 决策不等于曝光；只有策略真正应用后才记录曝光，失败时继续使用 SDK fallback。
• 实验版本锁定变体、权重、Flag 值、指标版本、Targeting 和样本计划。
• 同一功能开关在同一环境只能被一个活动实验或独立发布占用。
• 运行中结果始终是 provisional collecting，不能提前宣布胜者。
• SRM p < 0.001 会使结果无效；样本不足、主指标不显著或护栏恶化返回 inconclusive。
• Viewer 只读；编辑、发布、部署、扩流、结束和人工决策需要 Owner/Admin，并写入审计。