Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →
Learn Prompting🟢 Pendahuluan
Kemas kini terakhir pada August 7, 2024 oleh Sander SchulhoffBab ini membahas bagaimana membuat penyelesaian lebih dapat diandalkan, serta bagaimana mengimplementasikan pemeriksaan untuk memastikan outputnya dapat diandalkan.
Secara tertentu, kebanyakan teknik sebelumnya yang dibahas berhubungan dengan peningkatan akurasi penyelesaian, dan karenanya keandalan, terutama konsistensi diri1. Namun, ada sejumlah teknik lain yang dapat digunakan untuk meningkatkan keandalan, di luar strategi dasar untuk pemberian instruksi.
LLMs telah dikenali lebih dapat diandalkan daripada yang kita harapkan dalam menginterpretasikan apa yang dimaksud oleh instruksi yang salah eja, kurang bersifat formal, atau bahkan menyesatkan2. Meskipun memiliki kemampuan ini, Llm masih menunjukkan berbagai masalah termasuk halusinasi3, penjelasan yang cacat dengan metode CoT3, dan beberapa bias termasuk mayoritas label bias, recency bias, dan common token bias4. Selain itu, CoT tanpa tembakan nol bisa sangat bias ketika berurusan dengan topik sensitif5.
Solusi umum untuk beberapa masalah ini termasuk kalibrator untuk menghilangkan bias a priori, dan pemeriksa untuk menghitung kelengkapan, serta mempromosikan keberagaman dalam kelengkapan.
Footnotes
-
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
-
Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL]. ↩
-
Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩ ↩2
-
Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩
-
Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ↩
Get AI Certified by Learn Prompting
Don't get left behind on AI
Sign up and get the latest AI news, prompts, and tools.
Join 30,000+ readers from companies like OpenAI, Microsoft, Google, Meta and more!