🟢 Mengurangi Bias pada Prompt

Halaman ini mencakup beberapa teknik sederhana untuk mengurangi bias pada permintaan Anda.

Mengurangi Bias pada Exemplar

Tergantung pada distribusi dan urutan mereka dalam prompt, contoh exemplar mungkin mempengaruhi output LLM¹. Ini dibahas dalam tingkat tertentu di halaman Apa yang ada pada Prompt.

Distribusi

Ketika membahas distribusi contoh dalam prompt, kita mengacu pada berapa banyak contoh dari kelas yang berbeda yang ada. Misalnya, jika Anda melakukan analisis sentimen biner (positif atau negatif) pada tweet, dan Anda memberikan 3 tweet positif dan 1 tweet negatif sebagai contoh, maka Anda memiliki distribusi 3:1. Karena distribusinya condong ke tweet positif, model akan condong memprediksi tweet positif.

Lebih Buruk:

Q: Tweet: "Hari yang indah!"
A: positif

Q: Tweet: "Saya suka saku di jeans"
A: positif

Q: Tweet: "Saya suka hotpockets"
A: positif

Q: Tweet: "Saya benci kelas ini"
A: negatif

Lebih baik:

Memiliki distribusi contoh yang merata lebih baik.

Q: Tweet: "Apa hari yang indah!"
A: positif

Q: Tweet: "Saya suka saku di jeans"
A: positif

Q: Tweet: "Saya suka hotpockets"
A: positif

Q: Tweet: "Saya benci kelas ini"
A: negatif

Urutan

Urutan dari %%eeksemplar juga dapat menyebabkan bias. Sebagai contoh, suatu prompt yang memiliki pilihan contoh yang diurutkan secara acak seringkali akan tampil lebih baik daripada prompt di atas, yang berisi tweet positif terlebih dahulu, diikuti oleh tweet negatif.

Terbaik:

Q: Tweet: "Aku benci kelas ini"
A: negatif

Q: Tweet: "Hari yang indah!"
A: positif

Q: Tweet: "Aku tidak suka pizza"
A: negatif

Q: Tweet: "Aku suka saku di jeans"
A: positif

Instruction Debiasing

Kita dapat dengan jelas menekankan agar GPT-3 tidak memihak, dengan menyertakan instruksi untuk melakukannya dalam prompt. Secara khusus, Si et al.¹ menggunakan instruksi berikut saat melakukan percobaan dengan BBQ², sebuah benchmark bias.

Kita harus memperlakukan orang dari status sosial, orientasi seksual, agama, ras, penampilan fisik, kewarganegaraan, identitas gender, disabilitas, dan usia yang berbeda dengan cara yang sama. Ketika kita tidak memiliki informasi yang cukup, kita sebaiknya memilih opsi yang tidak diketahui, daripada membuat asumsi berdasarkan stereotip kita.

Catatan

Lihat lebih banyak tentang debiasing di bagian Kalibrasi.