Skip to main content

🟢 Chain of Thought Prompting

Chain of Thought (CoT) prompting1 adalah metode prompting yang baru dikembangkan, yang mendorong LLM untuk menjelaskan pemikirannya. Gambar di bawah ini menunjukkan prompt standar dari few shot prompt (kiri) dibandingkan dengan prompt chain of thought (kanan).

Prompt Biasa vs CoT (Wei dkk.)

Ide utama CoT adalah dengan menunjukkan beberapa contoh few shot dimana proses pemikiran (reasoning) dijelaskan dalam contoh, LLM juga akan menunjukkan proses pemikiran tersebut saat menjawab prompt. Penjelasan pemikiran ini sering kali mengarah pada hasil yang lebih akurat.

Contoh​

Berikut beberapa contoh. Pertama menunjukkan GPT-3 (davinci-003) gagal menyelesaikan masalah kata sederhana. Yang kedua menunjukkan GPT-3 (davinci-003) berhasil menyelesaikan masalah yang sama dengan menggunakan CoT prompting.

Salah​

Benar​

Hasil​

CoT telah terbukti efektif dalam meningkatkan hasil dalam tugas-tugas seperti aritmatika, nalar umum, dan tugas penalaran simbolik1. Secara khusus, PaLM 540B yang dipicu oleh2 mencapai akurasi tingkat 57% dalam menyelesaikan pada GSM8K3 (SOTA pada saat itu).

Perbandingan model pada benchmark GSM8K (Wei et al.)

Batasan​

Yang penting, menurut Wei et al., "CoT hanya menghasilkan peningkatan kinerja ketika digunakan dengan model sekitar 100 miliar parameter". Model-model yang lebih kecil menulis rantai pikiran yang tidak logis, yang mengakibatkan akurasi yang lebih buruk dibandingkan dengan permintaan standar. Model-model biasanya mendapatkan peningkatan performa dari CoT yang mempromosikan dengan cara yang sebanding dengan ukuran model.

Catatan​

Tidak ada model bahasa yang terluka dalam proses penulisan bab ini 😊.


  1. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩
  2. Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
  3. Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩