OWASP将来自网页或文件的间接提示注入列为风险。以下为防护设计分析,不提供对第三方系统进行攻击的操作方案。
读取资料默认不获得操作权限
模拟智能体整理供应商介绍,即使文件要求联系某个地址或上传凭据,也只把这段话作为待分析内容。应用把检索与发送、写入工具分开,只有真实用户任务明确需要时才开放相应能力。
工具参数由应用再次核对
模型提出的目标地址、文件路径和记录编号,需要与允许范围比较。越出任务范围的动作应暂停并说明原因,不能让模型自己宣布已经得到授权。
在自有测试材料中验证边界
使用不含真实秘密的模拟文件,检查系统是否把文件里的无关指令带到执行步骤。记录失败与修正,持续回归。提示、过滤和权限各有局限,本文不把任何单一措施描述为可以完全消除提示注入。
延伸阅读:AI创业。