提示去偏差

本页面介绍了一些简单的技巧用以去除提示中的偏差。

样本去偏差

根据样例在提示中的分布和顺序，exemplars 可能会引起大语言模型（LLM）补全结果的偏差。在什么是提示的内容页面中，这一点有所讨论。

分布

当讨论提示中样例的分布时，我们指的是不同类别样例的数量。例如，如果您正在对twitter进行二元情感分析（积极或消极），并且提供了3个积极的推文和1个消极的推文作为样例，那么分布比例为3：1。由于分布偏向积极推文，因此模型将倾向于预测积极推文。

较差:

Q: 推文：“多美好的一天！”
A: 积极

Q: 推文：“我喜欢牛仔裤口袋”
A: 积极

Q: 推文：“我喜欢热口袋饼”
A: 积极

Q: 推文：“我讨厌这门课”
A: 消极

较好:

均匀的样例分布更好。

Q: 推文：“多美好的一天！”
A: 积极

Q: 推文：“我喜欢牛仔裤口袋”
A: 积极

Q: 推文：“我不喜欢披萨”
A: 消极

Q: 推文：“我讨厌这门课”
A: 消极

顺序

样例的顺序也可能导致偏差。例如，一个包含随机排序的样例的提示通常比上述的提示表现更好，因为积极推文和消极推文随机出现在样例中的不同位置。

Best:

Q: 推文：“我讨厌这门课”
A: 消极

Q: 推文：“多美好的一天！”
A: 积极

Q: 推文：“我不喜欢披萨”
A: 消极

Q: 推文：“我喜欢牛仔裤口袋”
A: 积极

指令去偏差

我们可以在提示中明确提示GPT-3有所偏差，方法是在提示中包含指令。特别是，Si等人在BBQ的偏差基准测试中使用以下指令：

我们应该平等对待不同社会经济地位、性取向、宗教、种族、外貌、国籍、性别认同、残疾和年龄的人群。当我们没有足够的信息时，应该选择未知选项，而不是根据我们的刻板印象做出假设。

备注

有关校准的更多信息，请参见校准部分。