Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →
Learn Prompting🟢 Introdução
Última atualização em August 7, 2024 por Sander SchulhoffEste capítulo aborda como tornar os resultados de prompt podem ser mais confiáveis e como implementar verificações para garantir que essas saídas sejam confiáveis.
Até certo ponto, a maioria dos técnicas abordadas anteriormente têm a ver com a melhoria da precisão da saída e, portanto, da confiabilidade, especialmente da autoconsistência1. No entanto, existem outras técnicas que podem ser usadas para melhorar a confiabilidade, além de estratégias de engenharia de prompt básicas.
Os modelos de linguagem comuns (LLMs) foram considerados mais confiáveis do que esperávamos na interpretação do que uma prompt está tentando dizer, mesmo quando ela contém erros de ortografia, frases mal formuladas ou até mesmo informações enganosas2. Apesar dessa capacidade, ainda apresentam vários problemas, incluindo alucinações3, explicações falhas com métodos de prompt Cadeia de Pensamento (CdP)3 e vieses múltiplos, incluindo viés de rótulo majoritário, viés de recenticidade e viés de token comum4. Além disso, a técnica de CdP sem o uso de amostras pode ser particularmente tendenciosa ao lidar com tópicos sensíveis5.
Soluções comuns para alguns desses problemas incluem calibradores para remover os viés a priori, verificadores para avaliar as conclusões, bem como promover a diversidade nas conclusões.
Footnotes
-
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
-
Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL]. ↩
-
Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩ ↩2
-
Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩
-
Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ↩
Get AI Certified by Learn Prompting
Don't get left behind on AI
Sign up and get the latest AI news, prompts, and tools.
Join 30,000+ readers from companies like OpenAI, Microsoft, Google, Meta and more!