Learn PromptingO que há em um Prompt?
Nas páginas anteriores, passamos por algumas estratégias de prompt diferentes. Esta página oferecerá alguns conselhos gerais sobre o que é realmente importante em um prompt.
"A Verdade Fundamental Tem Pouca Importância"
Surpreendentemente, ao fornecer exemplos em um prompt, as respostas reais (gold) nos exemplos não são importantes. Como mostrado na figura abaixo, fornecer rótulos aleatórios (random labels) nos exemplos praticamente não afeta o seu desempenho. "Demo" é sinônimo de exemplar/exemplo na imagem abaixo.
O Espaço de Rótulos (ou Categorias) (labelspace) importam!
Embora os rótulos ou respostas corretas nos exemplos não sejam importantes, o espaço de rótulos ou categorias é (labelspace). Mesmo quando você fornece rótulos aleatórios da categoria no seu exemplo, ainda assim isso ajuda o LLM a entender melhor as categorias e a melhorar os resultados. Além disso, é importante representar adequadamente a distribuição das categorias nos exemplos. A melhor prática nesse caso seria detalhar a amostra de acordo com a verdadeira distribuição dos rótulos.
O Formato Importa
Talvez a parte mais importante dos exemplos seja a forma como são formatados. Essa formatação instrui o LLM sobre como formatar corretamente a resposta em relação a sua solicitação.
Considere os exemplos abaixo. Eles usam palavras em letras maiúsculas como respostas. Embora as respostas estejam completamente erradas (2 + 2 não é 50), o GPT-3 responde corretamente à última pergunta e segue o formato dos exemplos.
Quanto é 2+2?
CINQUENTA
Quanto is 20+5?
TRINTA E CINCO
Quanto is 12+9?
VINTE E TRÊS
Notas
Entre 4 e 8 exemplares é um bom número para usar em prompts de few-shot, mas muitas vezes pode ser útil colocar o maior número de exemplares possível.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.