PHIL / NOTES
← 返回笔记目录
AI 实验 · 04

用五个样例做提示词回归

给提示词改动建立一份小而有效的验收集。

从哪里开始

收集五个实际遇到的输入,覆盖普通输入、缺字段、矛盾约束、长文本和空文本。为每个输入写下必须出现的内容以及必须避免的行为。

怎么做

改提示词时固定模型、输入和输出预算。保存每轮的通过数和具体失败原因,例如“凭空补了日期”,避免只比较语气和篇幅。

怎样验证

把新发现的失败样例加入验收集。若修改只让某个样例通过,却让普通输入退化,就缩小改动再跑一遍。