Compete in HackAPrompt 2.0, the world's largest AI Red-Teaming competition!

Check it out →
Bem-Vindo(a)!
😃 Fundamentos
💼 Aplicações Básicas
🧙‍♂️ Intermediário
🤖 Agentes
⚖️ Confiabilidade
🖼️ Prompts para Imagens
🔓 Hackeando Prompts
🔨 Ferramentas
💪 Ajustando prompts
🎲 Aleatórios
📚 Bibliography
Resources
📦 Prompted Products
🛸 Additional Resources
🔥 Hot Topics
✨ Credits
🧙‍♂️ Intermediário🟢 O que há em um Prompt?

O que há em um Prompt?

🟢 This article is rated easy
Reading Time: 2 minutes
Last updated on August 7, 2024

Sander Schulhoff

Nas páginas anteriores, passamos por algumas estratégias de prompt diferentes. Esta página oferecerá alguns conselhos gerais sobre o que é realmente importante em um prompt.

"A Verdade Fundamental Tem Pouca Importância"

Surpreendentemente, ao fornecer exemplos em um prompt, as respostas reais (gold) nos exemplos não são importantes. Como mostrado na figura abaixo, fornecer rótulos aleatórios (random labels) nos exemplos praticamente não afeta o seu desempenho. "Demo" é sinônimo de exemplar/exemplo na imagem abaixo.

O Espaço de Rótulos (ou Categorias) (labelspace) importam!

Embora os rótulos ou respostas corretas nos exemplos não sejam importantes, o espaço de rótulos ou categorias é (labelspace). Mesmo quando você fornece rótulos aleatórios da categoria no seu exemplo, ainda assim isso ajuda o LLM a entender melhor as categorias e a melhorar os resultados. Além disso, é importante representar adequadamente a distribuição das categorias nos exemplos. A melhor prática nesse caso seria detalhar a amostra de acordo com a verdadeira distribuição dos rótulos.

O Formato Importa

Talvez a parte mais importante dos exemplos seja a forma como são formatados. Essa formatação instrui o LLM sobre como formatar corretamente a resposta em relação a sua solicitação.

Considere os exemplos abaixo. Eles usam palavras em letras maiúsculas como respostas. Embora as respostas estejam completamente erradas (2 + 2 não é 50), o GPT-3 responde corretamente à última pergunta e segue o formato dos exemplos.

Quanto é 2+2?
CINQUENTA
Quanto is 20+5?
TRINTA E CINCO

Quanto is 12+9?

VINTE E TRÊS

Notas

Entre 4 e 8 exemplares é um bom número para usar em prompts de few-shot, mas muitas vezes pode ser útil colocar o maior número de exemplares possível.

Sander Schulhoff

Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

  1. Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? 2