Learn PromptingCadeia de Pensamento Zero Shot
Prompts do tipo Cadeia de Pensamento Zero Shot (ou Zero Shot Chain of Thought - Zero-shot-CoT, em inglês) são uma "evolução" do prompt do tipo Cadeia de Pensamento, com o introdução de um passo adicional muito simples. Pesquisadores descobriram que ao adicionar as palavras "Vamos pensar passo a passo" ao final de uma pergunta, as LLMs são capazes de gerar uma cadeia de pensamento que responde à pergunta. A partir desta cadeia de pensamento, eles são capazes de extrair respostas mais precisas.
Cadeia de Pensamento Zero Shot. Exemplo adaptado. (Kojima et al.)
Tecnicamente, o processo completo de Cadeia de Pensamento Zero Shot envolve duas solicitações separadas. Na imagem abaixo, a bolha superior à esquerda gera uma cadeia de pensamento, enquanto a bolha superior à direita recebe a saída da primeira solicitação (incluindo a própria primeira solicitação) e extrai a resposta da cadeia de pensamento. Essa segunda solicitação é uma solicitação auto-aumentada ou auto-enriquecida.
Processo completo da Cadeia de Pensamento Zero Shot. Exemplo adaptado. (Kojima et al.)
Exemplo
Abaixo estão alguns demos (que apenas realizam extração de raciocínio). Este primeiro demo mostra o GPT-3 (davinci-003) falhando em uma questão simples de matemática, enquanto o segundo demo usa um prompt Zero-shot-CoT e resolve o problema com sucesso. Sinta-se à vontade para inserir sua chave de API da OpenAI (clique em Gerar) e brincar com os exemplos. Observe como o prompt Zero-shot-CoT é muito mais simples em comparação com o prompt CoT.
Incorreto
Correto
Resultados
Zero-shot-CoT também foi efetivo em melhorar os resultados em tarefas de aritmética, raciocínio comum e simbólico. No entanto, não é surpreendente que geralmente essa abordagem não seja tão efetiva quanto o CoT prompting. Um caso de uso importante para o Zero-shot-CoT é ser uma alternativa eficaz quando é difícil obter exemplos de poucas amostras utilizando o CoT.
Interessante
Kojima et al. experimentaram com vários prompts de Zero-shot-CoT (por exemplo, "Vamos resolver esse problema dividindo-o em etapas." ou "Vamos pensar sobre isso logicamente."), mas eles demonstraram que "Vamos pensar passo a passo" é o mais eficaz para os testes realizadas.
Notas
A etapa de extração muitas vezes precisa ser específica para a tarefa, tornando o Zero-Shot-CoT menos generalizável do que parece à primeira vista.
Anecdotamente, descobri que prompts no estilo Zero-shot-CoT são às vezes eficazes em tarefas generativas a fim de diminuir o número de saídas necessárias. Por exemplo, considere o prompt padrão Escreva uma história sobre um sapo e um cogumelo que se tornam amigos. Adicionar as palavras Vamos pensar passo a passo. no final deste prompt leva a uma saída muito mais longa.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.