Перейти до основного вмісту

🟢 Що міститься в запиті?

Раніше ми розглянули кілька різних стратегій запитів. На цій сторінці надано деякі загальні поради щодо того, що насправді є важливим у запиті.

«Проста істина мало що значить»​

На диво, якщо вказати зразки на основі кількох ілюстрацій у запитах, фактичні відповіді — жовтенькі — у зразках є неважливими. Як показано на малюнку нижче, надання випадкових маркерів у зразках майже не впливає на продуктивність1. "Demo" є синонімом зразка на цьому зображенні.

Простір маркерів має значення​

Хоча gold labels в зразках не важливі, простір маркерів має значення. Навіть надання випадкових маркерів із простору маркерів допомагає ВММ краще його зрозуміти й покращує результати. Крім того, важливим є правильне представлення розподілу простору маркерів у зразках. Замість рівномірної вибірки з простору маркерів у зразках, краще здійснювати вибірку відповідно до справжнього розподілу маркерів.

Формат має значення​

Мабуть, найважливішою частиною зразків є те, як вони відформатовані. Цей формат інструктує ВММ щодо того, як правильно форматувати свою відповідь на запит.

Для прикладу розглянемо наведені нижче зразки. У відповідях всі слова написані великими літерами. Незважаючи на те, що відповіді повністю неправильні (2+2 — це не 50), GPT-3 правильно відповідає на останнє запитання та дотримується формату інших.

Скільки буде 2+2? 
П'ЯТДЕСЯТ
Скільки буде 20+5?
СОРОК ТРИ
Скільки буде 12+9?
ДВАДЦЯТЬ ОДИН

Примітки​

4-8 зразків – це хороша кількість для використання запитів на основі кількох ілюстрацій1, але часто може бути корисним розмістити якомога більше.

  1. Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? ↩