AI 实验 · 04
用五个样例做提示词回归
给提示词改动建立一份小而有效的验收集。
从哪里开始
收集五个实际遇到的输入,覆盖普通输入、缺字段、矛盾约束、长文本和空文本。为每个输入写下必须出现的内容以及必须避免的行为。
怎么做
改提示词时固定模型、输入和输出预算。保存每轮的通过数和具体失败原因,例如“凭空补了日期”,避免只比较语气和篇幅。
怎样验证
把新发现的失败样例加入验收集。若修改只让某个样例通过,却让普通输入退化,就缩小改动再跑一遍。
给提示词改动建立一份小而有效的验收集。
收集五个实际遇到的输入,覆盖普通输入、缺字段、矛盾约束、长文本和空文本。为每个输入写下必须出现的内容以及必须避免的行为。
改提示词时固定模型、输入和输出预算。保存每轮的通过数和具体失败原因,例如“凭空补了日期”,避免只比较语气和篇幅。
把新发现的失败样例加入验收集。若修改只让某个样例通过,却让普通输入退化,就缩小改动再跑一遍。