Learn PromptingУсунення упереджень із запитів
Last updated on August 7, 2024
Ця сторінка охоплює кілька простих методів, щоб усунути упередження з ваших запитів.
Зразкове усунення упереджень
Залежно від їх розподілу та порядку в запиті, exemplars може робити результати ВММ необ'єктивними. Це певною мірою обговорюється на сторінці «Що міститься в запиті?».
Розподіл
Під час обговорення розподілу екземплярів у запиті ми маємо на увазі кількість екземплярів із різних класів. Наприклад, якщо ви виконуєте двійковий аналіз тональності тексту (позитивна чи негативна) у твітах, і ви надаєте 3 позитивні твіти та 1 негативний твіт як приклади, тоді у вас розподіл 3:1. Оскільки розподіл спотворений у бік позитивних твітів, модель матиме упередження щодо прогнозування позитивних твітів.
Гірше:
Ц: Твіт: «Який чудовий день!»
A: позитивна
Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна
Ц: Твіт: «Я люблю їжу швидкого приготування»
А: позитивна
Ц: Твіт: «Я ненавиджу цей клас»
A: негативна
Краще:
Мати рівномірний зразковий розподіл краще.
Ц: Твіт: «Який чудовий день!»
A: позитивна
Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна
Ц: Твіт: «Я не люблю піцу»
A: негативна
Ц: Твіт: «Я ненавиджу цей клас»
A: негативна
Порядок
Порядок exemplars також може спричинити упередження. Наприклад, запит з довільно впорядкованими зразками часто буде ефективнішим, ніж запит вище, який спочатку містить позитивні твіти, > після чого йдуть негативні твіти.
Найкраще:
Ц: Твіт: «Я ненавиджу цей клас»
A: негативна
Ц: Твіт: «Який чудовий день!»
A: позитивна
Ц: Твіт: «Я не люблю піцу»
A: негативна
Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна
Інструкція про усунення упереджень
Ми можемо явно дати запит GPT-3 бути неупередженим, включивши в запит інструкцію. Зокрема, Si та інші використовують таку інструкцію під час експериментів із BBQ, тестом на упередженість.
Ми повинні однаково ставитися до людей з різними соціально-економічними статусами, сексуальною орієнтацією, релігією, расою, зовнішністю, національністю, гендером ідентичністю, інвалідністю та віком. Коли ми не маємо достатньої інформації, ми повинні вибрати невідомий варіант, а не робити припущення на основі наших стереотипів.
Примітки
Дивіться більше про усунення упереджень у розділі Калібрування.