Pendahuluan

🟢 This article is rated easy

Reading Time: 1 minute

Last updated on August 7, 2024

Bab ini membahas bagaimana membuat penyelesaian lebih dapat diandalkan, serta bagaimana mengimplementasikan pemeriksaan untuk memastikan outputnya dapat diandalkan.

Secara tertentu, kebanyakan teknik sebelumnya yang dibahas berhubungan dengan peningkatan akurasi penyelesaian, dan karenanya keandalan, terutama konsistensi diri. Namun, ada sejumlah teknik lain yang dapat digunakan untuk meningkatkan keandalan, di luar strategi dasar untuk pemberian instruksi.

LLMs telah dikenali lebih dapat diandalkan daripada yang kita harapkan dalam menginterpretasikan apa yang dimaksud oleh instruksi yang salah eja, kurang bersifat formal, atau bahkan menyesatkan. Meskipun memiliki kemampuan ini, Llm masih menunjukkan berbagai masalah termasuk halusinasi, penjelasan yang cacat dengan metode CoT, dan beberapa bias termasuk mayoritas label bias, recency bias, dan common token bias. Selain itu, CoT tanpa tembakan nol bisa sangat bias ketika berurusan dengan topik sensitif.

Solusi umum untuk beberapa masalah ini termasuk kalibrator untuk menghilangkan bias a priori, dan pemeriksa untuk menghitung kelengkapan, serta mempromosikan keberagaman dalam kelengkapan.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL]. ↩
Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩ ↩²
Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩
Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ↩

Pendahuluan

Sander Schulhoff

Mengkalibrasi LLM

🟢 Mengurangi Bias pada Prompt

🟦 Prompt Ensembling

🟦 Evaluasi Mandiri LLM

🟦 Matematika

Footnotes