🟢 Chain of Thought Prompting

Chain of Thought (CoT) prompting adalah metode prompting yang baru dikembangkan, yang mendorong LLM untuk menjelaskan pemikirannya. Gambar di bawah ini menunjukkan prompt standar dari few shot prompt (kiri) dibandingkan dengan prompt chain of thought (kanan).

Ide utama CoT adalah dengan menunjukkan beberapa contoh few shot dimana proses pemikiran (reasoning) dijelaskan dalam contoh, LLM juga akan menunjukkan proses pemikiran tersebut saat menjawab prompt. Penjelasan pemikiran ini sering kali mengarah pada hasil yang lebih akurat.

Contoh

Berikut beberapa contoh. Pertama menunjukkan GPT-3 (davinci-003) gagal menyelesaikan masalah kata sederhana. Yang kedua menunjukkan GPT-3 (davinci-003) berhasil menyelesaikan masalah yang sama dengan menggunakan CoT prompting.

Salah

Benar

Hasil

CoT telah terbukti efektif dalam meningkatkan hasil dalam tugas-tugas seperti aritmatika, nalar umum, dan tugas penalaran simbolik. Secara khusus, PaLM 540B yang dipicu oleh mencapai akurasi tingkat 57% dalam menyelesaikan pada GSM8K (SOTA pada saat itu).

Batasan

Yang penting, menurut Wei et al., "CoT hanya menghasilkan peningkatan kinerja ketika digunakan dengan model sekitar 100 miliar parameter". Model-model yang lebih kecil menulis rantai pikiran yang tidak logis, yang mengakibatkan akurasi yang lebih buruk dibandingkan dengan permintaan standar. Model-model biasanya mendapatkan peningkatan performa dari CoT yang mempromosikan dengan cara yang sebanding dengan ukuran model.

Catatan

Tidak ada model bahasa yang terluka dalam proses penulisan bab ini 😊.