Що міститься в запиті?

Раніше ми розглянули кілька різних стратегій запитів. На цій сторінці надано деякі загальні поради щодо того, що насправді є важливим у запиті.

«Проста істина мало що значить»

На диво, якщо вказати зразки на основі кількох ілюстрацій у запитах, фактичні відповіді — жовтенькі — у зразках є неважливими. Як показано на малюнку нижче, надання випадкових маркерів у зразках майже не впливає на продуктивність. "Demo" є синонімом зразка на цьому зображенні.

Простір маркерів має значення

Хоча gold labels в зразках не важливі, простір маркерів має значення. Навіть надання випадкових маркерів із простору маркерів допомагає ВММ краще його зрозуміти й покращує результати. Крім того, важливим є правильне представлення розподілу простору маркерів у зразках. Замість рівномірної вибірки з простору маркерів у зразках, краще здійснювати вибірку відповідно до справжнього розподілу маркерів.

Формат має значення

Мабуть, найважливішою частиною зразків є те, як вони відформатовані. Цей формат інструктує ВММ щодо того, як правильно форматувати свою відповідь на запит.

Для прикладу розглянемо наведені нижче зразки. У відповідях всі слова написані великими літерами. Незважаючи на те, що відповіді повністю неправильні (2+2 — це не 50), GPT-3 правильно відповідає на останнє запитання та дотримується формату інших.

Скільки буде 2+2?
П'ЯТДЕСЯТ
Скільки буде 20+5?
СОРОК ТРИ
Скільки буде 12+9?
// highlight-start
ДВАДЦЯТЬ ОДИН
// highlight-end

Примітки

4-8 зразків – це хороша кількість для використання запитів на основі кількох ілюстрацій, але часто може бути корисним розмістити якомога більше.