Learn PromptingSelf-Consistency
Self-consistency adalah pendekatan yang hanya menanyakan model prompt yang sama beberapa kali dan mengambil hasil mayoritas sebagai jawaban akhir. Hal ini adalah tindak lanjut dari CoT, dan lebih kuat ketika digunakan bersama dengan itu.
Contoh
Mari kita pertimbangkan contoh sederhana dalam menganalisis email. Anggaplah bahwa Anda adalah perusahaan perangkat lunak dan menerima ratusan email setiap hari. Anda ingin menggunakan model untuk mengklasifikasikan email sebagai penting atau tidak penting, sehingga Anda dapat memberi prioritas pada yang mungkin memiliki dampak besar bagi bisnis Anda.
Berikut contoh email yang mungkin Anda terima:
Halo,
Saya telah menemukan kerentanan keamanan utama dalam sistem Anda. Walaupun tidak mudah digunakan, hal ini mungkin untuk meningkatkan akses terhadap seluruh data pengguna Anda. Saya telah melampirkan
bukti konsep. Silakan perbaiki masalah ini secepat mungkin.
Halo,
Donny
Mari kita masukkan itu ke dalam prompt:
Halo,
Saya telah menemukan kerentanan keamanan yang besar dalam sistem Anda. Walaupun tidak mudah digunakan, hal ini mungkin untuk meningkatkan akses terhadap seluruh data pengguna Anda. Saya telah melampirkan
sebuah bukti konsep. Silakan perbaiki masalah ini secepat mungkin.
Cheers,
Donny
Kelompokkan email di atas sebagai PENTING atau TIDAK PENTING karena berkaitan dengan perusahaan perangkat lunak. Mari kita berpikir langkah demi langkah.
Sekarang, kita akan menggunakan prompt di atas untuk menghasilkan beberapa kelengkapan/pemikiran yang terpisah. Berikut adalah beberapa contoh:
Pengirim telah menemukan kerentanan keamanan utama dalam sistem.
Ini penting karena ini dapat menyebabkan pelanggaran data.
Saya akan mengklasifikasikan email ini sebagai PENTING
<!- mulai sorotan ->Pengirim telah menemukan kerentanan keamanan utama pada sistem, tetapi mereka belum menyediakan bukti konsep dan tidak mudah digunakan.
Saya akan mengklasifikasikan email ini sebagai TIDAK PENTING
{"highlight-end"}
{"highlight-start"}
Pengirim kemungkinan adalah seorang peretas dan mungkin memiliki akses ke sistem.
Ini penting karena dapat menyebabkan pelanggaran data.
Aku akan mengklasifikasikan email ini sebagai PENTING
{"highlight-end"}
Dengan menghasilkan banyak rangkaian pemikiran, dan mengambil jawaban yang paling umum terjadi (PENTING), kita dapat mendapatkan jawaban yang lebih konsisten dan benar dari GPT-3.
Hasil
Self-konsistensi telah terbukti meningkatkan hasil pada tugas-tugas aritmatika, akal sehat, dan penalaran simbolik. Bahkan ketika CoT biasa ditemukan tidak efektif, konsistensi diri masih mampu meningkatkan hasil.
Catatan
- Wang et al. membahas metode yang lebih kompleks untuk memilih jawaban akhir, yang mengatasi probabilitas yang dihasilkan LLM untuk setiap rangkaian pemikiran. Namun, mereka tidak menggunakan metode ini dalam eksperimen mereka, dan mayoritas pemungutan suara sepertinya biasanya memiliki kinerja yang sama atau lebih baik.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.