🧙‍♂️ Pelajaran Tingkat Menengah🟢 Chain of Thought Prompting

Chain of Thought Prompting

🟢 This article is rated easy

Reading Time: 1 minute

Last updated on August 7, 2024

Chain of Thought (CoT) prompting adalah metode prompting yang baru dikembangkan, yang mendorong LLM untuk menjelaskan pemikirannya. Gambar di bawah ini menunjukkan prompt standar dari few shot prompt (kiri) dibandingkan dengan prompt chain of thought (kanan).

Prompt Biasa vs CoT (Wei dkk.)

Ide utama CoT adalah dengan menunjukkan beberapa contoh few shot dimana proses pemikiran (reasoning) dijelaskan dalam contoh, LLM juga akan menunjukkan proses pemikiran tersebut saat menjawab prompt. Penjelasan pemikiran ini sering kali mengarah pada hasil yang lebih akurat.

Contoh

Berikut beberapa contoh. Pertama menunjukkan GPT-3 (davinci-003) gagal menyelesaikan masalah kata sederhana. Yang kedua menunjukkan GPT-3 (davinci-003) berhasil menyelesaikan masalah yang sama dengan menggunakan CoT prompting.

Salah

Benar

Hasil

CoT telah terbukti efektif dalam meningkatkan hasil dalam tugas-tugas seperti aritmatika, nalar umum, dan tugas penalaran simbolik. Secara khusus, PaLM 540B yang dipicu oleh mencapai akurasi tingkat 57% dalam menyelesaikan pada GSM8K (SOTA pada saat itu).

Perbandingan model pada benchmark GSM8K (Wei et al.)

Batasan

Yang penting, menurut Wei et al., "CoT hanya menghasilkan peningkatan kinerja ketika digunakan dengan model sekitar 100 miliar parameter". Model-model yang lebih kecil menulis rantai pikiran yang tidak logis, yang mengakibatkan akurasi yang lebih buruk dibandingkan dengan permintaan standar. Model-model biasanya mendapatkan peningkatan performa dari CoT yang mempromosikan dengan cara yang sebanding dengan ukuran model.

Catatan

Tidak ada model bahasa yang terluka dalam proses penulisan bab ini 😊.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩²
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩