Skip to main content

🟡 Self-Consistency

Self-consistency1 adalah pendekatan yang hanya menanyakan model prompt yang sama beberapa kali dan mengambil hasil mayoritas sebagai jawaban akhir. Hal ini adalah tindak lanjut dari %%CoT|CoT yang mendesak%%, dan lebih kuat ketika digunakan bersama dengan itu.

Contoh​

Mari kita pertimbangkan contoh sederhana dalam menganalisis email. Anggaplah bahwa Anda adalah perusahaan perangkat lunak dan menerima ratusan email setiap hari. Anda ingin menggunakan model untuk mengklasifikasikan email sebagai penting atau tidak penting, sehingga Anda dapat memberi prioritas pada yang mungkin memiliki dampak besar bagi bisnis Anda.

Berikut contoh email yang mungkin Anda terima:

Halo,

Saya telah menemukan kerentanan keamanan utama dalam sistem Anda. Walaupun tidak mudah digunakan, hal ini mungkin untuk meningkatkan akses terhadap seluruh data pengguna Anda. Saya telah melampirkan
bukti konsep. Silakan perbaiki masalah ini secepat mungkin.

Halo,

Donny

Mari kita masukkan itu ke dalam prompt:

Halo,

Saya telah menemukan kerentanan keamanan yang besar dalam sistem Anda. Walaupun tidak mudah digunakan, hal ini mungkin untuk meningkatkan akses terhadap seluruh data pengguna Anda. Saya telah melampirkan
sebuah bukti konsep. Silakan perbaiki masalah ini secepat mungkin.

Cheers,

Donny

Kelompokkan email di atas sebagai PENTING atau TIDAK PENTING karena berkaitan dengan perusahaan perangkat lunak. Mari kita berpikir langkah demi langkah.

Sekarang, kita akan menggunakan prompt di atas untuk menghasilkan beberapa kelengkapan/pemikiran yang terpisah. Berikut adalah beberapa contoh:

Pengirim telah menemukan kerentanan keamanan utama dalam sistem. 
Ini penting karena ini dapat menyebabkan pelanggaran data. 
Saya akan mengklasifikasikan email ini sebagai PENTING
<!- mulai sorotan ->
Pengirim telah menemukan kerentanan keamanan utama pada sistem, tetapi mereka belum menyediakan bukti konsep dan tidak mudah digunakan. 
Saya akan mengklasifikasikan email ini sebagai TIDAK PENTING
Pengirim kemungkinan adalah seorang peretas dan mungkin memiliki akses ke sistem. 
Ini penting karena dapat menyebabkan pelanggaran data. 
Aku akan mengklasifikasikan email ini sebagai PENTING

Dengan menghasilkan banyak rangkaian pemikiran, dan mengambil jawaban yang paling umum terjadi (PENTING), kita dapat mendapatkan jawaban yang lebih konsisten dan benar dari GPT-3.

Hasil​

Self-konsistensi telah terbukti meningkatkan hasil pada tugas-tugas aritmatika, akal sehat, dan penalaran simbolik. Bahkan ketika CoT biasa ditemukan tidak efektif2, konsistensi diri masih mampu meningkatkan hasil.

Catatan​

  • Wang et al. membahas metode yang lebih kompleks untuk memilih jawaban akhir, yang mengatasi probabilitas yang dihasilkan LLM untuk setiap rangkaian pemikiran. Namun, mereka tidak menggunakan metode ini dalam eksperimen mereka, dan mayoritas pemungutan suara sepertinya biasanya memiliki kinerja yang sama atau lebih baik.
  1. Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
  2. Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩