一次正确回答,未必完成了一段任务
Microsoft Learn在Copilot Studio多轮评估文档中说明,这类评估用于观察上下文保持、澄清与多步骤任务。文档标明适用于其standard harness体验,不能据此推断所有租户、产品入口和模式均相同。本站只借用评估思路,以下样例不依赖购买某个特定工具。
对提供AI服务的小团队,交付测试可以从用户中途改主意开始。任务变了以后,系统若仍保留旧的时间或对象,即使每句回复都通顺,也可能把已经取消的工作继续做下去。应同时观察对话、待办状态和实际动作,不能只给回复文字打分。
用一段内容排期对话建立样例
下面全部为模拟场景,没有真实客户、账号或待发布内容。第一轮,用户请系统为三条已审稿整理周五排期;第二轮,将其中一条替换成新稿;第三轮,改到周六;第四轮,说先不要发布,保留草稿。测试预期是形成最新草稿排期,旧稿与旧日期不再生效,也没有对外发布。
再加入一句“按刚才那个来”,观察系统是否能识别指代。若存在两个合理版本,应明确指出待确认处;若上下文已经足够清楚,可以继续整理,不需要每一句都重新确认。这里要检查的是是否有依据地理解任务,而不是机械统计追问次数。
每一轮都留下当前有效的要求
可以在测试记录中分别保存本轮输入、仍然有效的对象和时间、已取消的安排、当前交付物及允许执行的动作。系统表达“已经取消”时,要核对任务状态与后续队列是否真的停止;只改聊天文案,没有停止待执行动作,不能记为通过。
- 替换:新材料是否进入当前版本,旧材料是否仍被误用。
- 改期:后续输出是否全部采用新时间,旧排期怎样处理。
- 取消:是否停止尚未发生的动作,是否保留约定草稿。
- 恢复:重新开始时是否说明采用哪个版本、范围和执行条件。
用户取消前已经发生的外部动作,应保留事实并说明后续处理入口,不能把删除对话等同于撤销已发布内容。首次请求若只是准备排期,也不能被系统自行扩大成实际发布。准备、确认和执行分别对应已有授权及业务规则。
验收看最终状态,也看中间发生过什么
除了检查最后一条回复,还可以比较执行记录和最终交付物。若旧版本曾被错误发出,之后又生成了正确草稿,这条用例仍应记录中途问题。针对重复消息、超时重试和用户切换话题,分别查看系统有没有重复执行、丢失取消状态或误接另一项任务。
测试优先采用隔离环境与模拟材料,明确哪些接口只返回演示结果。保存模型或配置版本、样例及失败原因,修改后重跑相关对话,再比较是否解决原问题、是否影响其他任务。没有实际执行能力的系统,可以先验证草稿状态,不宣称已完成外部动作测试。
交付时把已测范围、未测动作、已知限制和人工接手入口一起提供给客户。评估记录能帮助双方判断下一步,但不能保证真实对话永不出错;新增业务动作或权限变化后,仍需围绕新的任务核对。
延伸阅读:单轮问答测试的样例边界;AI内容发布前的复核;FDE交付验收。