Google SRE介绍渐进发布与比较评估思路。本文把它用于企业AI应用的部署讨论,具体阈值需要客户和实施方共同确定。
对照条件要尽量一致
模拟资料摘要服务,新旧版本使用相近任务,并记录输入复杂度。若新版本只处理简单资料,得出的低错误率没有足够比较意义。测试样本与流量范围应提前确定。
停止条件包含业务错误
除了响应失败,还要观察引用丢失、关键信息遗漏和人工修正量。触发停止条件时暂停扩大,保留问题样本,不为了按时结束发布而临时放宽标准。
回退前确认数据如何处理
新版本已经产生的记录可能不适配旧程序,应预先设计兼容或隔离办法。记录推广时间、配置与负责人,客户能够理解为什么继续或停止。本文并未执行真实发布,不能作为任何系统已通过上线验收的证明。
延伸阅读:FDE案例。