Pendahuluan

Bab ini membahas bagaimana membuat penyelesaian lebih dapat diandalkan, serta bagaimana mengimplementasikan pemeriksaan untuk memastikan outputnya dapat diandalkan.

Secara tertentu, kebanyakan teknik sebelumnya yang dibahas berhubungan dengan peningkatan akurasi penyelesaian, dan karenanya keandalan, terutama konsistensi diri^{1Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models.} . Namun, ada sejumlah teknik lain yang dapat digunakan untuk meningkatkan keandalan, di luar strategi dasar untuk pemberian instruksi.

LLMs telah dikenali lebih dapat diandalkan daripada yang kita harapkan dalam menginterpretasikan apa yang dimaksud oleh instruksi yang salah eja, kurang bersifat formal, atau bahkan menyesatkan^{2Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL].} . Meskipun memiliki kemampuan ini, Llm masih menunjukkan berbagai masalah termasuk halusinasi^{3Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning.} , penjelasan yang cacat dengan metode CoT^{3Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning.} , dan beberapa bias termasuk mayoritas label bias, recency bias, dan common token bias^{4Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models.} . Selain itu, CoT tanpa tembakan nol bisa sangat bias ketika berurusan dengan topik sensitif^{5Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning.} .

Solusi umum untuk beberapa masalah ini termasuk kalibrator untuk menghilangkan bias a priori, dan pemeriksa untuk menghitung kelengkapan, serta mempromosikan keberagaman dalam kelengkapan.