Introdução

🟢 This article is rated easy

Reading Time: 1 minute

Last updated on August 7, 2024

Este capítulo aborda como tornar os resultados de prompt podem ser mais confiáveis e como implementar verificações para garantir que essas saídas sejam confiáveis.

Até certo ponto, a maioria dos técnicas abordadas anteriormente têm a ver com a melhoria da precisão da saída e, portanto, da confiabilidade, especialmente da autoconsistência. No entanto, existem outras técnicas que podem ser usadas para melhorar a confiabilidade, além de estratégias de engenharia de prompt básicas.

Os modelos de linguagem comuns (LLMs) foram considerados mais confiáveis do que esperávamos na interpretação do que uma prompt está tentando dizer, mesmo quando ela contém erros de ortografia, frases mal formuladas ou até mesmo informações enganosas. Apesar dessa capacidade, ainda apresentam vários problemas, incluindo alucinações, explicações falhas com métodos de prompt Cadeia de Pensamento (CdP) e vieses múltiplos, incluindo viés de rótulo majoritário, viés de recenticidade e viés de token comum. Além disso, a técnica de CdP sem o uso de amostras pode ser particularmente tendenciosa ao lidar com tópicos sensíveis.

Soluções comuns para alguns desses problemas incluem calibradores para remover os viés a priori, verificadores para avaliar as conclusões, bem como promover a diversidade nas conclusões.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL]. ↩
Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning. ↩ ↩²
Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩
Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning. ↩

Introdução

Sander Schulhoff

Calibrandos LLMs

🟢 Removendo bias

🟦 Montagem de prompts / Métodos de ensamblagem

🟦 Autoavaliação LLM

🟦 Matemática

Footnotes