问答测试从客户任务出发
Dify官方资料介绍知识检索与来源组织能力。技术能够返回文档片段,不代表片段完整回答了用户问题。测试集应来自客户实际任务,并经适当人员确认参考答案与出处。
三类问题不要混在一起计分
正常问题检查是否找到明确事实,例外问题检查是否读到限定条件,无答案问题检查系统是否承认资料不足并转人工。每题记录资料版本、需要的出处、允许的回答范围与不应执行的动作,不能只用“像不像客服”来评价。
遇到错误时,先判断是原文缺失、切分遗漏、检索选错,还是生成阶段补写。不同原因需要不同处理;把所有问题都归结为提示词,可能掩盖资料本身的不足。更新知识后重跑受影响样例,并保留旧结果便于比较。
上线的判断
试点可以限定少量问题和服务时段,保留人工入口及错误反馈。达到某个回答比例也不等于所有业务场景都已覆盖。延伸阅读:设备手册索引项目。