Learn PromptingPrompting com Cadeia de Pensamento
Prompting com Cadeia de Pensamento (CdP) é um método de prompting recente, que encoraja o LLM (Grande Modelo de Linguagem) a explicar o seu raciocínio. A imagem abaixo mostra um prompt few shot padrão (esquerda) comparado ao prompt com Cadeia de Pensamento (direita).
Prompt comum x Cadeia de Pensamento (Wei et al.) [em ingês]
A principal ideia da Cadeia de Pensamento (CdP) é mostrar ao LLM alguns exemplares few shot em que o processo de raciocínio é explicado, fazendo com que o LLM faça o mesmo quando der uma resposta ao prompt. A explicação do raciocínio frequentemente produz resultados mais apurados.
Exemplo
Aqui estão algumas demonstrações. A primeira mostra o GPT-3 (davinci-003) falhando ao resolver um problema simples. A segunda, por sua vez, mostra o GPT-3 (davinci-003) obtendo êxito na resolução do mesmo problema, com o uso da técnica de Cadeia de Pensamento (CdP).
Incorreto
Correto
Resultados
A Cadeia de Pensamento (CdP) mostrou ser efetiva em melhorar os resultados em tarefas de aritmética, senso comum e racicínio simbólico. Em particular, prompted PaLM 540B atinge 57% de precisão na resolução dos problemas de matemática da coleção de dados GSM8K (Estado da Arte, na época).
Comparação de modelos no benchmark GSM8K (Wei et al.) [em inglês]
Limitações
É importante ressaltar que, de acordo com Wei et al., "A técnica de Cadeia de Pensamento (CdP) só produz ganhos no desempenho quando usada em modelos de ~100B de parâmetros". Modelos menores escrevem cadeias de pensamentos ilógicas, o que leva a uma piora na precisão quando comparado ao prompt padrão. Comumente, as melhoras obtidas nos prompts usando a técnica de CdP são proporcionais ao tamanho do modelo.
Observações
Nenhum modelo de linguagem foi ferido (leia-se: tunelado) no processo de escrita deste capítulo 😊.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.
Footnotes
-
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2 ↩3
-
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
-
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩