Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!

Check it out →
🔓 پرامپٹ ہیکنگ🟢 دفاعی اقدامات🟢 دیگر نقطہ نظر

🟢 دیگر نقطہ نظر

نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار

اگرچہ پچھلے نقطہ نظر بہت مضبوط ہو سکتے ہیں، لیکن چند دیگر نقطہ نظر، جیسے کہ ایک مختلف ماڈل کا استعمال، بشمول فائن ٹیوننگ، نرم اشارہ، اور لمبائی کی پابندیاں، بھی کارگر ثابت ہو سکتی ہیں۔

ایک مختلف ماڈل استعمال کرنا

مزید جدید ماڈل جیسے GPT-4 فوری انجیکشن کے خلاف زیادہ مضبوط ہیں۔ مزید برآں، غیر انسٹرکشن ٹیونڈ ماڈلز کو فوری طور پر انجیکشن لگانا مشکل ہو سکتا ہے۔

فائن ٹیوننگ

ماڈل کو ٹھیک کرنا ایک انتہائی موثر دفاع ہے1، کیونکہ قیاس کے وقت صارف کے ان پٹ کے علاوہ کوئی پرامپٹ شامل نہیں ہوتا ہے۔ یہ ممکنہ طور پر کسی بھی اعلی قیمت کی صورت حال میں بہتر دفاع ہے، کیونکہ یہ بہت مضبوط ہے۔ تاہم، اس کے لیے بڑی مقدار میں ڈیٹا کی ضرورت ہوتی ہے اور یہ مہنگا بھی ہو سکتا ہے، یہی وجہ ہے کہ اس دفاع کو کثرت سے لاگو نہیں کیا جاتا ہے۔

نرم اشارہ

نرم پرامپٹنگ بھی مؤثر ہو سکتی ہے، کیونکہ اس میں واضح طور پر متعین مجرد پرامپٹ نہیں ہے (صارف کے ان پٹ کے علاوہ)۔ نرم پرامپٹنگ کو مؤثر طریقے سے ٹھیک ٹیوننگ کی ضرورت ہوتی ہے، لہذا اس کے بہت سے ایک جیسے فوائد ہیں، لیکن یہ ممکنہ طور پر سستا ہوگا۔ تاہم، نرم پرامپٹنگ کا اتنا اچھی طرح سے مطالعہ نہیں کیا جاتا ہے جتنا کہ ٹھیک ٹیوننگ، اس لیے یہ واضح نہیں ہے کہ یہ کتنا موثر ہے۔

لمبائی کی پابندیاں

آخر میں، بشمول صارف کے ان پٹ2 پر لمبائی کی پابندیاں یا چیٹ بوٹ کوریشنز کی لمبائی کو محدود کرنا جیسا کہ Bing کرتا ہے کچھ حملوں کو روک سکتا ہے جیسے کہ بالترتیب بڑے DAN طرز کے اشارے یا ورچوئلائزیشن حملے۔

Footnotes

  1. Goodside, R. (2022). GPT-3 Prompt Injection Defenses. https://twitter.com/goodside/status/1578278974526222336?s=20&t=3UMZB7ntYhwAk3QLpKMAbw

  2. Selvi, J. (2022). Exploring Prompt Injection Attacks. https://research.nccgroup.com/2022/12/05/exploring-prompt-injection-attacks/

Word count: 0

Get AI Certified by Learn Prompting


Copyright © 2024 Learn Prompting.