Zero Shot Chain of Thought

Zero Shot Chain of Thought (Zero-shot-CoT) memicu adalah sebuah langkah lanjutan dari CoT prompting, yang memperkenalkan sebuah zero shot prompt yang sangat sederhana. Mereka menemukan bahwa dengan menambahkan kata-kata "Mari kita berpikir langkah demi langkah." di akhir pertanyaan, LLM dapat menghasilkan rangkaian pemikiran yang menjawab pertanyaan. Dari chain of thought ini, mereka mampu mengambil jawaban yang lebih akurat.

Secara teknis, proses Zero-shot-CoT lengkap melibatkan dua masukan/pesanan yang terpisah. Pada gambar di bawah ini, kotak atas di sebelah kiri menghasilkan chain of thought, sementara kotak atas di sebelah kanan mendapatkan output dari prompt pertama (termasuk prompt pertama itu sendiri), dan mengekstrak jawaban dari chin of thought. Prompt kedua ini adalah prompt yang bersifat self augmented. Prompt kedua ini adalah self augmented prompt.

Contoh

Berikut adalah beberapa demo (yang hanya melakukan ekstraksi penalaran). Demo pertama ini menunjukkan GPT-3 (davinci-003) gagal dalam sebuah pertanyaan matematika sederhana, sementara demo kedua menggunakan prompt Zero-shot-CoT dan berhasil memecahkan masalah. Anda bisa masukkan kunci API OpenAI Anda (Klik Generate) dan bermain-main dengan contohnya. Perhatikan betapa lebih sederhana prompt Zero-shot-CoT dibandingkan dengan prompt CoT.

Salah

Benar

Hasil

Zero-shot-CoT juga efektif dalam meningkatkan hasil pada tugas aritmatika, berpikir common sense, dan simbolik. Namun, tidak mengherankan, biasanya tidak seefektif CoT prompting. Kasus penggunaan yang penting untuk Zero-shot-CoT adalah ketika mendapatkan beberapa contoh shot untuk CoT permintaan sulit.

Ablasi Minat

Kojima et al. bereksperimen dengan beberapa prompt Zero-shot-CoT yang berbeda (misalnya "Mari kita selesaikan masalah ini dengan membaginya menjadi langkah-langkah." atau "Mari kita pikirkan ini secara logis."), tetapi mereka menemukan bahwa "Mari kita pikirkan langkah demi langkah" adalah yang paling efektif untuk tugas yang mereka pilih.

Catatan

Langkah ekstraksi sering kali harus khusus sesuai tugas, membuat Zero-Shot-CoT kurang dapat digeneralisasikan dibandingkan yang seolah-olah pada awalnya.

Menurut pengalaman saya, saya telah menemukan bahwa Zero-shot-CoT gaya rangsangan kadang-kadang efektif dalam meningkatkan panjang penyelesaian tugas generatif. Misalnya, pertimbangkan prompt standar Tulis sebuah cerita tentang katak dan seekor jamur yang menjadi teman. Menambahkan kata-kata Mari kita berpikir langkah demi langkah. di akhir prompt ini mengarah pada hasil yang lebih panjang.