Learn PromptingApa yang ada dalam Sebuah Prompt?
Kami telah mencoba beberapa strategi pengingat yang berbeda di halaman-halaman sebelumnya. Halaman ini akan menawarkan beberapa saran umum tentang apa yang sebenarnya penting dalam sebuah permintaan.
"Ground Truth Matters Little"
Secara mengejutkan, ketika memberikan beberapa contoh exemplars dalam permintaan, jawaban yang sesungguhnya (gold) dalam contoh tidak penting. Seperti yang ditunjukkan pada gambar di bawah ini, memberikan bels|labels%% acak %%lapada contoh hanya sedikit merusak kinerja. "Demo" adalah sinonim dengan contoh dalam gambar ini.
Labelspace Matters
Meskipun label emas dalam contoh-contoh bukanlah hal yang penting,%labelspace|labelspace%%. Bahkan menyediakan label acak dari labelspace membantu LLM memahami labelspace dengan lebih baik, dan meningkatkan hasil. Selain itu, mewakili distribusi labelspace dengan baik pada contoh sangat penting. Daripada secara seragam mengambil sampel dari label pada contoh, lebih baik mengambil sampel sesuai dengan distribusi sebenarnya dari label-label.
Format Matters
Mungkin bagian paling penting dari contoh adalah bagaimana mereka diformat. Format ini memberitahu LLM cara mengatur format jawabannya dengan benar sesuai dengan petunjuk.
Misalnya, pertimbangkan contoh-contoh berikut. Mereka menggunakan kata-kata kapital sebagai jawaban. Meskipun jawabannya benar-benar salah (2+2 bukan 50), GPT-3 dengan benar menjawab pertanyaan terakhir, dan mengikuti format yang lain.
Apa hasil dari 2+2?
LIMA PULUH
Berapakah 20+5?
EMPAT PULUH TIGA
Apakah 12+9?
DUA PULUH SATU
Catatan
Antara 4-8 contoh adalah jumlah yang baik untuk digunakan sebagai permintaan tembakan sedikit, tapi seringkali berguna untuk menambahkan sebanyak mungkin.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.