🟢 Усунення упереджень із запитів

Ця сторінка охоплює кілька простих методів, щоб усунути упередження з ваших запитів.

Зразкове усунення упереджень

Залежно від їх розподілу та порядку в запиті, exemplars може робити результати ВММ необ'єктивними¹. Це певною мірою обговорюється на сторінці «Що міститься в запиті?».

Розподіл

Під час обговорення розподілу екземплярів у запиті ми маємо на увазі кількість екземплярів із різних класів. Наприклад, якщо ви виконуєте двійковий аналіз тональності тексту (позитивна чи негативна) у твітах, і ви надаєте 3 позитивні твіти та 1 негативний твіт як приклади, тоді у вас розподіл 3:1. Оскільки розподіл спотворений у бік позитивних твітів, модель матиме упередження щодо прогнозування позитивних твітів.

Гірше:

Ц: Твіт: «Який чудовий день!»
A: позитивна

Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна

Ц: Твіт: «Я люблю їжу швидкого приготування»
А: позитивна

Ц: Твіт: «Я ненавиджу цей клас»
A: негативна

Краще:

Мати рівномірний зразковий розподіл краще.

Ц: Твіт: «Який чудовий день!»
A: позитивна
Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна

Ц: Твіт: «Я не люблю піцу»
A: негативна

Ц: Твіт: «Я ненавиджу цей клас»
A: негативна

Порядок

Порядок exemplars також може спричинити упередження. Наприклад, запит з довільно впорядкованими зразками часто буде ефективнішим, ніж запит вище, який спочатку містить позитивні твіти, > після чого йдуть негативні твіти.

Найкраще:

Ц: Твіт: «Я ненавиджу цей клас»
A: негативна

Ц: Твіт: «Який чудовий день!»
A: позитивна

Ц: Твіт: «Я не люблю піцу»
A: негативна

Ц: Твіт: «Я люблю кишені на джинсах»
A: позитивна

Інструкція про усунення упереджень

Ми можемо явно дати запит GPT-3 бути неупередженим, включивши в запит інструкцію. Зокрема, Si та інші¹ використовують таку інструкцію під час експериментів із BBQ², тестом на упередженість.

Ми повинні однаково ставитися до людей з різними соціально-економічними статусами, сексуальною орієнтацією, релігією, расою, зовнішністю, національністю, гендером ідентичністю, інвалідністю та віком. Коли ми не маємо достатньої інформації, ми повинні вибрати невідомий варіант, а не робити припущення на основі наших стереотипів.

Примітки

Дивіться більше про усунення упереджень у розділі Калібрування.