AI 实验 · 07
给读网页的助手划清数据边界
识别正文里的指令,并约束工具调用。
从哪里开始
网页、邮件和文档都可能出现类似指令的句子。任务是总结时,应把这些文字当作待处理资料,保留用户原先定义的操作范围。
怎么做
测试用的网页可以插入一段要求改写目标或上传文件的文字。正确结果是摘要继续完成,工具权限和发送目标保持用户给定的范围。
怎样验证
涉及写文件、发消息和调用网络的能力应单独授权。让程序检查目的地和操作类型,避免仅凭模型说“已获得批准”执行。
识别正文里的指令,并约束工具调用。
网页、邮件和文档都可能出现类似指令的句子。任务是总结时,应把这些文字当作待处理资料,保留用户原先定义的操作范围。
测试用的网页可以插入一段要求改写目标或上传文件的文字。正确结果是摘要继续完成,工具权限和发送目标保持用户给定的范围。
涉及写文件、发消息和调用网络的能力应单独授权。让程序检查目的地和操作类型,避免仅凭模型说“已获得批准”执行。