Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →
Learn Prompting🟢 思維鏈提示過程
最後更新於August 7, 2024，作者：桑德舒爾霍夫思維鏈(CoT)提示過程1是一種最近開發的提示方法，它鼓勵大語言模型解釋其推理過程。下圖1 顯示了 few shot standard prompt（左)與鏈式思維提示過程（右）的比較。
常規提示過程 vs 思維鏈提示過程(Wei et al.)
思維鏈的主要思想是透過向大語言模型展示一些少量的 exemplars，在樣例中解釋推理過程，大語言模型在回答提示時也會顯示推理過程。這種推理的解釋往往會導引出更準確的結果。
範例
以下是幾個演示。第一個演示了GPT-3（davinci-003）無法解決簡單的單詞問題。第二個演示了GPT-3（davinci-003）透過使用思維鏈提示過程成功解決相同的問題。
不正確的答案
正確的答案
結論
思維鏈已被證明對於算術、常識和符號推理等任務的結果有所改進1。特別是，在GSM8K2基準測試上，PaLM 540B3的提示達到了57%的解決率準確性。
Comparison of models on the GSM8K benchmark (Wei et al.)
限制
重要的是，根據Wei等人的說法，“思維鏈僅在使用∼100B引數的模型時才會產生效能提升”。較小的模型編寫了不合邏輯的思維鏈會導致精度比標準提示更差。通常，模型從思維鏈提示過程中獲得性能提升的方式與模型的大小成比例。
備註
本章的寫作過程中，沒有對任何語言模型進行微調 😊.
Footnotes
-
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2 ↩3
-
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩
-
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
Get AI Certified by Learn Prompting
Don't get left behind on AI
Sign up and get the latest AI news, prompts, and tools.
Join 30,000+ readers from companies like OpenAI, Microsoft, Google, Meta and more!