Learn PromptingВступ
У цьому розділі йдеться про те, як отримати більш точний результат, а також про те, як здійснювати перевірку, щоб переконатися у достовірності вихідних даних.
Певною мірою більшість описаних вище методів пов’язана з підвищенням точності результату а, отже, достовірності, зокрема – самоузгодженості запитів. Однак існує низка інших методів, окрім основних стратегій постановки запитів, які можна використати для підвищення достовірності.
Усупереч нашим прогнозам, ВММ виявилися надійнішими в інтерпретації того, що до них намагаються донести в запиті. Вони відповідали на запити, написані з орфографічними помилками, розпливчасті та навіть беззмістовні запити. Утім, в їх роботі все ще виникають різні проблеми, зокрема «галюцинації», помилкові пояснення з використанням методів CoT (Chain of Thought, хід думок) і численні упередження, серед яких упередження щодо більшості міток, упередження щодо новизни та щодо найпоширеніших знаків. Крім того, zero-shot CoT (zero-shot – метод навчання, коли ставиться задача без прикладів розв'язання схожих проблем) може бути особливо упередженим, торкаючись делікатних тем.
Вирішити ці проблеми можна такими способами: використовувати калібратори для видалення апріорних упереджень, застосовувати засоби верифікації для оцінки результатів, а також сприяти різноманітності результатів.
Калібрування ВММ
🟢 Усунення упереджень із запитів
🟦 Групування запитів
🟦 Самоаналіз ВММ
🟦 Математика
Footnotes
-
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
-
Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL]. ↩
-
Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩ ↩2
-
Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩
-
Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ↩