提示的關鍵要素

在為語言學習模型設計提示時，需要考慮幾個因素。格式(format)和標籤空間(labelspace)對於提示的有效性都起著至關重要的作用。

格式很重要

樣本 exemplars 的格式或許是最重要的部分，因為它指示大語言格式如何正確地格式化其對提示的答案。

例如，請考慮以下樣本。它們使用全大寫的單詞作為答案。儘管這些答案完全錯誤（2+2不是50），但 GPT-3 正確地回答了最後一個問題，並按照其他樣本的格式進行回答。

What is 2+2?
FIFTY
What is 20+5?
FORTY-THREE
What is 12+9?
TWENTY-ONE

範例的事實: 沒有您想像的重要

有趣的是，範例中的實際答案或「基本事實」並不像人們想像的那麼重要。研究表明，在範例中提供隨機標籤（如上例所示）對性能影響不大1。這意味著即使範例包含不正確的訊息，LLM 仍然可以產生正確的回應。

標籤空間扮演的角色

儘管範例的事實並不重要，但 labelspace 很重要。即使從標籤空間中提供隨機標籤，也有助於大語言模型更好地理解標籤空間並提高結果。此外，正確地在範例中表示標籤空間的分佈很重要。與在範例中從標籤空間中均勻取樣不同，最好按照標籤的真實分佈進行取樣。

雖然範例的事實可能並不重要，但 labelspace 卻很重要。標籤空間是指給定任務的可能標籤清單。例如，在分類任務中，標籤空間可能包括 "positive" 和 "negative"。

從範例中的標籤空間提供隨機標籤可以幫助 LLM 更好地理解標籤空間，從而改善結果。此外，在樣本中準確表示標籤空間的分佈也很重要。與其從標籤空間均勻取樣，不如根據標籤的真實分佈進行取樣。例如，如果您有一個餐廳評論資料集，其中 60% 是正面評論，則您的提示應包含 3:2 比例的正面/負面提示。

額外提示

建立提示時，使用 4~8 個範例往往會產生良好的結果。然而，包含盡可能多的範例通常是有益的。

總之，了解格式、範例的事實和標籤空間的重要性可以大大提高提示的有效性。

Footnotes

1. Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? ↩ ↩²