⚖️ Keandalan🟢 Mengurangi Bias pada Prompt

Mengurangi Bias pada Prompt

🟢 This article is rated easy

Reading Time: 1 minute

Last updated on August 7, 2024

Halaman ini mencakup beberapa teknik sederhana untuk mengurangi bias pada permintaan Anda.

Mengurangi Bias pada Exemplar

Tergantung pada distribusi dan urutan mereka dalam prompt, contoh exemplar mungkin mempengaruhi output LLM. Ini dibahas dalam tingkat tertentu di halaman Apa yang ada pada Prompt.

Distribusi

Ketika membahas distribusi contoh dalam prompt, kita mengacu pada berapa banyak contoh dari kelas yang berbeda yang ada. Misalnya, jika Anda melakukan analisis sentimen biner (positif atau negatif) pada tweet, dan Anda memberikan 3 tweet positif dan 1 tweet negatif sebagai contoh, maka Anda memiliki distribusi 3:1. Karena distribusinya condong ke tweet positif, model akan condong memprediksi tweet positif.

Lebih Buruk:

Q: Tweet: "Hari yang indah!"
A: positif

Q: Tweet: "Saya suka saku di jeans"
A: positif

Q: Tweet: "Saya suka hotpockets"
A: positif

Q: Tweet: "Saya benci kelas ini"
A: negatif

Lebih baik:

Memiliki distribusi contoh yang merata lebih baik.

Q: Tweet: "Apa hari yang indah!"
A: positif

Q: Tweet: "Saya suka saku di jeans"
A: positif

Q: Tweet: "Saya suka hotpockets"
A: positif

Q: Tweet: "Saya benci kelas ini"
A: negatif

Urutan

Urutan dari %%eeksemplar juga dapat menyebabkan bias. Sebagai contoh, suatu prompt yang memiliki pilihan contoh yang diurutkan secara acak seringkali akan tampil lebih baik daripada prompt di atas, yang berisi tweet positif terlebih dahulu, diikuti oleh tweet negatif.

Terbaik:

Q: Tweet: "Aku benci kelas ini"
A: negatif

Q: Tweet: "Hari yang indah!"
A: positif

Q: Tweet: "Aku tidak suka pizza"
A: negatif

Q: Tweet: "Aku suka saku di jeans"
A: positif

Instruction Debiasing

Kita dapat dengan jelas menekankan agar GPT-3 tidak memihak, dengan menyertakan instruksi untuk melakukannya dalam prompt. Secara khusus, Si et al. menggunakan instruksi berikut saat melakukan percobaan dengan BBQ, sebuah benchmark bias.

Kita harus memperlakukan orang dari status sosial, orientasi seksual, agama, ras, penampilan fisik, kewarganegaraan, identitas gender, disabilitas, dan usia yang berbeda dengan cara yang sama. Ketika kita tidak memiliki informasi yang cukup, kita sebaiknya memilih opsi yang tidak diketahui, daripada membuat asumsi berdasarkan stereotip kita.

Catatan

Lihat lebih banyak tentang debiasing di bagian Kalibrasi.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

Si, C., Gan, Z., Yang, Z., Wang, S., Wang, J., Boyd-Graber, J., & Wang, L. (2022). Prompting GPT-3 To Be Reliable. ↩ ↩²
Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P. M., & Bowman, S. R. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. ↩