提示工程指南
😃 基础
💼 基础应用
🧙‍♂️ 进阶
🤖 代理
⚖️ 可靠性
🖼️ 图片提示词
🔓 破解提示
🔨 Tooling
💪 提示微调
🎲 杂项
📙 Vocabulary Reference
📚 Bibliography
📦 Prompted Products
🛸 Additional Resources
🔥 Hot Topics
✨ Credits
⚖️ 可靠性🟢 提示去偏差

提示去偏差

🟢 This article is rated easy
Reading Time: 1 minute
Last updated on August 7, 2024

桑德·舒尔霍夫

本页面介绍了一些简单的技巧用以去除提示中的偏差。

样本去偏差

根据样例在提示中的分布和顺序,exemplars 可能会引起大语言模型(LLM)补全结果的偏差。在什么是提示的内容页面中,这一点有所讨论。

分布

当讨论提示中样例的分布时,我们指的是不同类别样例的数量。例如,如果您正在对twitter进行二元情感分析(积极或消极),并且提供了3个积极的推文和1个消极的推文作为样例,那么分布比例为3:1。由于分布偏向积极推文,因此模型将倾向于预测积极推文。

较差:

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

Q: 推文:“我喜欢热口袋饼”
A: 积极

Q: 推文:“我讨厌这门课”
A: 消极

较好:

均匀的样例分布更好。

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

Q: 推文:“我不喜欢披萨”
A: 消极

Q: 推文:“我讨厌这门课”
A: 消极

顺序

样例的顺序也可能导致偏差。例如,一个包含随机排序的样例的提示通常比上述的提示表现更好,因为积极推文和消极推文随机出现在样例中的不同位置。

Best:

Q: 推文:“我讨厌这门课”
A: 消极

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我不喜欢披萨”
A: 消极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

指令去偏差

我们可以在提示中明确提示GPT-3有所偏差,方法是在提示中包含指令。特别是,Si等人在BBQ的偏差基准测试中使用以下指令:

我们应该平等对待不同社会经济地位、性取向、宗教、种族、外貌、国籍、性别认同、残疾和年龄的人群。当我们没有足够的信息时,应该选择未知选项,而不是根据我们的刻板印象做出假设。

备注

有关校准的更多信息,请参见校准部分。

Footnotes

  1. Si, C., Gan, Z., Yang, Z., Wang, S., Wang, J., Boyd-Graber, J., & Wang, L. (2022). Prompting GPT-3 To Be Reliable. 2

  2. Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P. M., & Bowman, S. R. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering.