🟢 Ланцюг думок без ілюстрацій

Запит ланцюг думок без ілюстрацій (Zero-shot-CoT)¹ є доповненням до CoT², який представляє неймовірно простий запит на основі 1 ілюстрації. Таким чином, додаючи слова "Let's think step by step." до кінця запитання, ВММ можуть створити ланцюг думок, який відповідає на запитання. З цього ланцюга думок вони можуть отримати точніші відповіді.

Технічно, повний процес Zero-shot-CoT включає два окремі запити/завершення. На зображенні нижче верхня бульбашка зліва створює ланцюг думок, а верхня бульбашка справа бере вихідні дані з першого запиту (включно з найпершим запитом) та вилучає відповідь із ланцюга думок. Цей другий запит є самодоповненим.

Наприклад

Ось кілька демонстрацій (у яких лише виконується вилучення міркувань). Перша демонстрація показує, що GPT-3 (davinci-003) не може впоратися з простим математичним питанням, в той час, як друга демонстрація використовує запит Zero-shot-CoT та успішно розв'язує задачу. Ви можете ввести свій ключ OpenAI API (натиснути «Створити») і погратися з прикладами. Зверніть увагу, наскільки простішим є запит Zero-shot-CoT у порівнянні з запитом CoT.

Неправильно

Правильно

Результати

Zero-shot-CoT також був ефективним у покращенні результатів арифметичних задач, задач на логіку й символьне міркування. Однак, як не дивно, він зазвичай не був настільки ж ефективним, як запит CoT. Використання Zero-shot-CoT може бути доцільним тоді, коли важко отримати кілька зразків на основі кількох ілюстрацій для запиту CoT.

Абляції вигоди

Коджіма та ін. експериментують з кількома різними запитами Zero-shot-CoT (наприклад, «Розв'яжімо цю задачу, розділивши її на кроки» або «Подумаймо про це логічно»), але вони вважають, що «Думаймо крок за кроком» є найефективнішим для вибраних ними завдань.

Примітки

Етап вилучення часто має залежати від завдання, що робить Zero-Shot-CoT менш узагальненим, ніж здається на перший погляд.

До речі, я виявив, що запити в стилі Zero-shot-CoT іноді ефективні для покращення тривалості виконання генеративних завдань. Наприклад, розглянемо стандартний запит Write a story about a frog and a mushroom who become friends. Додавання слів Let's think step by step. до кінця цього запиту призводить до набагато довшого завершення.