Згенеровані знання

Ідея підходу генерованих знань полягає в тому, щоб попросити ВММ згенерувати потенційно корисну інформацію про дане питання/запит перед тим, як дати остаточну відповідь.

Наприклад, скажімо, ви хочете написати невеликий допис у блозі про якусь тварину, як-от «Ведмідь-дух». Перш ніж задати ВММ його написати, ви можете попросити його згенерувати деякі факти про «Ведмедя-духа». Це допоможе великій мовній моделі створити більш інформативний допис для блогу. Для цього є два простих способи.

Одноступеневий підхід

Перший підхід передбачає, що за допомогою одного запиту ВММ має згенерувати інформацію, а потім вже написати пост.

Згенеруй 4 факти про кермодського ведмедя, а потім, використовуючи цю інформацію, створіть короткий допис для блогу:
// highlight-start
Кермодський ведмідь, також відомий як ведмідь-дух, є рідкісним підвидом ведмедя північноамериканського, що поширений в прибережних районах канадської провінції Британська Колумбія.

1. Кермодський ведмідь є унікальним підвидом ведмедя північноамериканського, приблизно 10% популяції має біле хутро.

2. Кермодський ведмідь є символом корінних народів Британської Колумбії й вважається тотемним звіром.

3. Кермодський ведмідь є важливою частиною екосистеми, сприяючи поширенню насіння та підтримці балансу лісу.

4. Кермодський ведмідь є охоронюваним видом і за його популяцією пильно стежить влада провінції.

Кермодський ведмідь — рідкісна та унікальна тварина, яка мешкає в прибережних районах канадської провінції Британська Колумбія. Близько 10% популяції цього підвиду американського чорного ведмедя має біле хутро, що робить їх доволі незвичним явищем. Кермодський ведмідь є символом корінних народів Британської Колумбії й вважається тотемним звіром. Вони є важливою частиною екосистеми, сприяючи поширенню насіння та збереженню балансу в лісі. Кермодський ведмідь є охоронюваним видом і за його популяцією пильно стежить влада провінції. Це красива і велична тварина, тому важливо, щоб ми доклали зусиль для захисту і збереження цього виду.
// highlight-end

Двоступеневий підхід

У цьому способі ми спочатку просимо ВММ згенерувати факти про ведмедя:

Згенеруй 10 фактів про кермодських ведмедів:
// highlight-start
1. Кермодський ведмідь, також під назвою «Ведмідь-дух», — це рідкісний підвид ведмедя північноамериканського, що водиться в канадській провінції Британська Колумбія.

2. Кермодський ведмідь має унікальне забарвлення шерсті білого чи кремового кольору, що зумовлено рецесивним геном.

3. Кермодський ведмідь є символом надії та оновлення для корінних народів Британської Колумбії.

4. Кермодський ведмідь знаходиться під охороною і занесений до списку видів, що знаходяться під особливою охороною Комітету зі моніторингу диких видів, що перебувають під загрозою зникнення в Канаді.
// highlight-end

Потім ми використовуємо цю інформацію для написання нового запиту для допису:

1. Кермодський ведмідь, також під назвою «Ведмідь-дух», — це рідкісний підвид ведмедя північноамериканського, що водиться в канадській провінції Британська Колумбія.

2. Кермодський ведмідь має унікальне забарвлення шерсті білого чи кремового кольору, що зумовлено рецесивним геном.

3. Кермодський ведмідь є символом надії та оновлення для корінних народів Британської Колумбії.

4. Кермодський ведмідь знаходиться під охороною і занесений до списку видів, що знаходяться під особливою охороною Комітету зі моніторингу диких видів, що перебувають під загрозою зникнення в Канаді.

Використовуючи наведені вище факти, створи статтю для блогу на один абзац про кермодських ведмедів:

// highlight-start

Кермодський ведмідь, також відомий під назвою «Ведмідь-дух», — це рідкісний підвид ведмедя північноамериканського, що водиться в канадській провінції Британська Колумбія. Цей унікальний ведмідь, що має шерсть білого чи кремового кольору, зумовлену рецесивним геном, є символом надії та оновлення для корінних народів Британської Колумбії. Кермодський ведмідь це вид, що охороняється та занесений до списку видів, які викликають особливе занепокоєння Комітету з моніторингу видів, що перебувають під загрозою зникнення в Канаді, що робить його важливою частиною біорізноманіття регіону.

// highlight-end

Рекомендуємо використовувати другий підхід, оскільки він дозволяє створювати довші обсяги адекватного тексту.

Інший приклад використання

Підхід до генерованих знань був фактично введений для зовсім іншої задачі — відповіді на складні запитання. Нижче розглянемо питання, на яке GPT-3 відповідає неправильно:

Якщо ми спочатку попросимо ВММ створити факти про Конґо та Південну Африку, то опісля зможемо використати цю інформацію, щоб правильно відповісти на запитання. Теоретично це схоже на CoT, оскільки ми фактично змушуємо її генерувати проміжні міркування у формі пов’язаних фактів.

Розпочнімо з першого кроку — генерації знань. Ми можемо попросити ВММ згенерувати факти про Конґо та Південну Африку:

Далі використаймо ці знання, щоб правильно відповісти на запитання. Це крок інтеграції знань!

Обговорення більш технічних аспектів

Хоча наведений вище приклад використання був схожий на те, як спочатку впроваджувалися згенеровані знання, це не зовсім те саме. Наведений нижче вміст охоплює більш технічний аспект, у якому було представлено підхід. Він дотримується двох проміжних кроків (генерування знань та інтеграція знань), які ми бачили вище.

Генерування знань

На етапі генерування знань ВММ просять згенерувати набір фактів про питання. ВМM запитується за кілька підходів, як показано нижче. M різних завершень генеруються за допомогою одного і того ж запиту (подібно до підходу самоузгодженості).

Інтеграція знань

Далі ми створюємо запитання з розширеним знанням і створюємо запит для ВММ разом з ними, щоб отримати остаточні відповіді. Найпростіший спосіб розібратися в цьому — розглянути на прикладі.

Припустімо, що ми намагаємося відповісти на запитання "Більшість кенгуру мають

<mask>

кінцівки". Вважаймо, що на кроці генерації знань ми згенерували 2 знання (M=2):

• Знання 1: Кенгуру — це сумчасті тварини, які мешкають в Австралії.

• Знання 2: Кенгуру — це сумчасті тварини, які мають 5 кінцівок.

Тепер ми об’єднуємо кожне знання із запитанням, щоб створити запитання з розширеними знаннями:

• Запитання 1 із розширенням знань: `Більшість кенгуру мають

<mask>

кінцівки. Кенгуру — це сумчасті тварини, які мешкають в Австралії.`

• Запитання 2 із розширенням знань: `Більшість кенгуру мають

<mask>

кінцівки. Кенгуру — це сумчасті тварини, які мають 5 кінцівок.`

Потім ми ставимо ВММ ці запитання з розширеними знаннями й отримуємо остаточні пропозиції щодо відповідей:

• Відповідь 1: 4

• Відповідь 2: 5

Ми обираємо відповідь з найбільшою ймовірністю як остаточну. Найвищою ймовірністю може бути максимальна ймовірність токену відповіді або логарифмічна ймовірність токену(ів) відповіді.

Моделі мови, доповнені декламацією

Підхід із доповненим декламуванням схожий на згенероване знання (майже те саме). Однак є набагато легшим, ніж формальне впровадження згенерованих знань.

Ідея полягає в тому, щоб кількома кроками спонукати ВМM згенерувати інформацію і та відповідь у цьому ж кроці. Те, що він відтворює/генерує знання і відповідає на питання на одному кроці, є головною відмінністю від підходу, заснованого на згенерованому знанні.

Повторюємо, що цей підхід підказує модель з кількома прикладами (запитання, цитування, відповідь), а потім ставить запитання. Автори зазначають, що цей підхід можна поєднати з самоузгодженістю або кількома шляхами доповнення.

Примітки

• Підхід генерованих знань демонструє покращення в різних розумних наборах даних.

• Знання, що відповідають обраній відповіді, називаються обраним знанням.

• Фактично, ви можете взяти відповідь, яка найчастіше зустрічається, як остаточну.

Сандер Шульхофф

Footnotes

1. Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R. L., Choi, Y., & Hajishirzi, H. (2021). Generated Knowledge Prompting for Commonsense Reasoning. ↩

2. Sun, Z., Wang, X., Tay, Y., Yang, Y., & Zhou, D. (2022). Recitation-Augmented Language Models. ↩