Learn PromptingЛанцюг думок
Ланцюг думок (CoT) — нещодавно розроблений метод запитів, що спонукає ВММ арґументувати свої твердження. На зображенні нижче продемонстровано стандартний запит (ліворуч) у порівнянні зі запитом на основі методу ланцюга думок (праворуч).
Звичайні запити проти CoT (Вей та ін.)
Основна ідея CoT полягає в тому, що, показуючи ВММ кілька прикладів зразки‚ де за допомогою зразків пояснюється міркування, ВММ також покаже процес міркування під час відповіді на запит. Таке пояснення міркувань часто сприяє отриманню більш влучних результатів.
Наприклад
Ось кілька демозаписів. Перший показує, що GPT-3 (davinci-003) не може розв’язати просту текстову задачу. На другому ж показано, як GPT-3 (davinci-003) успішно розв'язує цю ж проблему за допомогою підказок CoT.
Неправильно
Правильно
Результати
Було доведено, що CoT ефективно покращує результати в завданнях на обчислення, логіку та символьні міркування. Зокрема, запропонований PaLM 540B досягає 57% точності розв’язання на GSM8K (на той час SOTA).
Порівняння моделей у бенчмарку GSM8K (Вей та ін.)
Обмеження
Важливо зазначити, що, за словами Вей та ін., «CoT дає приріст продуктивності лише тоді, коли використовується з моделями параметрів ∼100B». Менші моделі будували нелогічні ланцюги думок, що спричиняло більше невідповідностей у порівнянні зі стандартними запитами. Моделі зазвичай отримують приріст продуктивності від запитів CoT пропорційно до розміру моделі.
Примітки
Жодна мовна модель не постраждала під час написання цього розділу 😊.
Footnotes
-
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2 ↩3
-
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
-
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩