O que há em um Prompt?

Nas páginas anteriores, passamos por algumas estratégias de prompt diferentes. Esta página oferecerá alguns conselhos gerais sobre o que é realmente importante em um prompt.

"A Verdade Fundamental Tem Pouca Importância"

Surpreendentemente, ao fornecer exemplos em um prompt, as respostas reais (gold) nos exemplos não são importantes. Como mostrado na figura abaixo, fornecer rótulos aleatórios (random labels) nos exemplos praticamente não afeta o seu desempenho. "Demo" é sinônimo de exemplar/exemplo na imagem abaixo.

O Espaço de Rótulos (ou Categorias) (labelspace) importam!

Embora os rótulos ou respostas corretas nos exemplos não sejam importantes, o espaço de rótulos ou categorias é (labelspace). Mesmo quando você fornece rótulos aleatórios da categoria no seu exemplo, ainda assim isso ajuda o LLM a entender melhor as categorias e a melhorar os resultados. Além disso, é importante representar adequadamente a distribuição das categorias nos exemplos. A melhor prática nesse caso seria detalhar a amostra de acordo com a verdadeira distribuição dos rótulos.

O Formato Importa

Talvez a parte mais importante dos exemplos seja a forma como são formatados. Essa formatação instrui o LLM sobre como formatar corretamente a resposta em relação a sua solicitação.

Considere os exemplos abaixo. Eles usam palavras em letras maiúsculas como respostas. Embora as respostas estejam completamente erradas (2 + 2 não é 50), o GPT-3 responde corretamente à última pergunta e segue o formato dos exemplos.

Quanto é 2+2?
CINQUENTA
Quanto is 20+5?
TRINTA E CINCO

Quanto is 12+9?

VINTE E TRÊS

Notas

Entre 4 e 8 exemplares é um bom número para usar em prompts de few-shot, mas muitas vezes pode ser útil colocar o maior número de exemplares possível.