Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →Ланцюг думок (CoT)1 — нещодавно розроблений метод запитів, що спонукає ВММ арґументувати свої твердження. На зображенні нижче1 продемонстровано стандартний запит (ліворуч) у порівнянні зі запитом на основі методу ланцюга думок (праворуч).
Звичайні запити проти CoT (Вей та ін.)
Основна ідея CoT полягає в тому, що, показуючи ВММ кілька прикладів зразки‚ де за допомогою зразків пояснюється міркування, ВММ також покаже процес міркування під час відповіді на запит. Таке пояснення міркувань часто сприяє отриманню більш влучних результатів.
Ось кілька демозаписів. Перший показує, що GPT-3 (davinci-003) не може розв’язати просту текстову задачу. На другому ж показано, як GPT-3 (davinci-003) успішно розв'язує цю ж проблему за допомогою підказок CoT.
Було доведено, що CoT ефективно покращує результати в завданнях на обчислення, логіку та символьні міркування1. Зокрема, запропонований PaLM 540B2 досягає 57% точності розв’язання на GSM8K3 (на той час SOTA).
Порівняння моделей у бенчмарку GSM8K (Вей та ін.)
Важливо зазначити, що, за словами Вей та ін., «CoT дає приріст продуктивності лише тоді, коли використовується з моделями параметрів ∼100B». Менші моделі будували нелогічні ланцюги думок, що спричиняло більше невідповідностей у порівнянні зі стандартними запитами. Моделі зазвичай отримують приріст продуктивності від запитів CoT пропорційно до розміру моделі.
Жодна мовна модель не постраждала під час написання цього розділу 😊.
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2 ↩3
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩
Sign up and get the latest AI news, prompts, and tools.
Join 30,000+ readers from companies like OpenAI, Microsoft, Google, Meta and more!