Introdução

Este capítulo aborda como tornar os resultados de prompt podem ser mais confiáveis e como implementar verificações para garantir que essas saídas sejam confiáveis.

Até certo ponto, a maioria dos técnicas abordadas anteriormente têm a ver com a melhoria da precisão da saída e, portanto, da confiabilidade, especialmente da autoconsistência^{1Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models.} . No entanto, existem outras técnicas que podem ser usadas para melhorar a confiabilidade, além de estratégias de engenharia de prompt básicas.

Os modelos de linguagem comuns (LLMs) foram considerados mais confiáveis do que esperávamos na interpretação do que uma prompt está tentando dizer, mesmo quando ela contém erros de ortografia, frases mal formuladas ou até mesmo informações enganosas^{2Webson, A., Loo, A. M., Yu, Q., & Pavlick, E. (2023). Are Language Models Worse than Humans at Following Prompts? It’s Complicated. arXiv:2301.07085v1 [Cs.CL].} . Apesar dessa capacidade, ainda apresentam vários problemas, incluindo alucinações^{3Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning.} , explicações falhas com métodos de prompt Cadeia de Pensamento (CdP)^{3Ye, X., & Durrett, G. (2022). The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning.} e vieses múltiplos, incluindo viés de rótulo majoritário, viés de recenticidade e viés de token comum^{4Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models.} . Além disso, a técnica de CdP sem o uso de amostras pode ser particularmente tendenciosa ao lidar com tópicos sensíveis^{5Shaikh, O., Zhang, H., Held, W., Bernstein, M., & Yang, D. (2022). On Second Thought, Let’s Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning.} .

Soluções comuns para alguns desses problemas incluem calibradores para remover os viés a priori, verificadores para avaliar as conclusões, bem como promover a diversidade nas conclusões.