Prompting com Cadeia de Pensamento

Prompting com Cadeia de Pensamento (CdP) é um método de prompting recente, que encoraja o LLM (Grande Modelo de Linguagem) a explicar o seu raciocínio. A imagem abaixo mostra um prompt few shot padrão (esquerda) comparado ao prompt com Cadeia de Pensamento (direita).

A principal ideia da Cadeia de Pensamento (CdP) é mostrar ao LLM alguns exemplares few shot em que o processo de raciocínio é explicado, fazendo com que o LLM faça o mesmo quando der uma resposta ao prompt. A explicação do raciocínio frequentemente produz resultados mais apurados.

Exemplo

Aqui estão algumas demonstrações. A primeira mostra o GPT-3 (davinci-003) falhando ao resolver um problema simples. A segunda, por sua vez, mostra o GPT-3 (davinci-003) obtendo êxito na resolução do mesmo problema, com o uso da técnica de Cadeia de Pensamento (CdP).

Incorreto

Correto

Resultados

A Cadeia de Pensamento (CdP) mostrou ser efetiva em melhorar os resultados em tarefas de aritmética, senso comum e racicínio simbólico. Em particular, prompted PaLM 540B atinge 57% de precisão na resolução dos problemas de matemática da coleção de dados GSM8K (Estado da Arte, na época).

Limitações

É importante ressaltar que, de acordo com Wei et al., "A técnica de Cadeia de Pensamento (CdP) só produz ganhos no desempenho quando usada em modelos de ~100B de parâmetros". Modelos menores escrevem cadeias de pensamentos ilógicas, o que leva a uma piora na precisão quando comparado ao prompt padrão. Comumente, as melhoras obtidas nos prompts usando a técnica de CdP são proporcionais ao tamanho do modelo.

Observações

Nenhum modelo de linguagem foi ferido (leia-se: tunelado) no processo de escrita deste capítulo 😊.