提示工程指南
😃 基礎
💼 基礎應用
🧙‍♂️ 進階
🤖 代理商
⚖️ 可靠性
🖼️ 圖像提示詞
🔓 提示駭客攻擊
🔨 工具
💪 提示微調
🎲 雜項
📙 Vocabulary Reference
📚 Bibliography
📦 Prompted Products
🛸 Additional Resources
🔥 Hot Topics
✨ Credits
🧙‍♂️ 進階🟢 思維鏈提示過程

思維鏈提示過程

🟢 This article is rated easy
Reading Time: 1 minute
Last updated on August 7, 2024

桑德舒爾霍夫

思維鏈(CoT)提示過程是一種最近開發的提示方法,它鼓勵大語言模型解釋其推理過程。下圖 顯示了 few shot standard prompt(左)與鏈式思維提示過程(右)的比較。

常規提示過程 vs 思維鏈提示過程(Wei et al.)

思維鏈的主要思想是透過向大語言模型展示一些少量的 exemplars,在樣例中解釋推理過程,大語言模型在回答提示時也會顯示推理過程。這種推理的解釋往往會導引出更準確的結果。

範例

以下是幾個演示。第一個演示了GPT-3(davinci-003)無法解決簡單的單詞問題。第二個演示了GPT-3(davinci-003)透過使用思維鏈提示過程成功解決相同的問題。

不正確的答案

正確的答案

結論

思維鏈已被證明對於算術、常識和符號推理等任務的結果有所改進。特別是,在GSM8K基準測試上,PaLM 540B的提示達到了57%的解決率準確性。

Comparison of models on the GSM8K benchmark (Wei et al.)

限制

重要的是,根據Wei等人的說法,“思維鏈僅在使用∼100B引數的模型時才會產生效能提升”。較小的模型編寫了不合邏輯的思維鏈會導致精度比標準提示更差。通常,模型從思維鏈提示過程中獲得性能提升的方式與模型的大小成比例。

備註

本章的寫作過程中,沒有對任何語言模型進行微調 😊.

Footnotes

  1. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. 2 3

  2. Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems.

  3. Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways.