🟢 تعارف

نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار

پرامپٹ ہیکنگ ایک ایسی اصطلاح ہے جو حملے کی ایک قسم کو بیان کرنے کے لیے استعمال ہوتی ہے جو LLMs کی کمزوریوں کا فائدہ اٹھاتے ہوئے، ان کے ان پٹس یا اشارے سے ہیرا پھیری کرتی ہے۔ روایتی ہیکنگ کے برعکس، جو عام طور پر سافٹ ویئر کی کمزوریوں کا استحصال کرتی ہے، فوری ہیکنگ LLM کو غیر ارادی کارروائیاں کرنے کے لیے دھوکہ دینے کے لیے احتیاط سے تیار کرنے والے اشارے پر انحصار کرتی ہے۔

ہم تین قسم کے پرامپٹ ہیکنگ کا احاطہ کریں گے: فوری انجیکشن، پرامپٹ لیک، اور جیل بریکنگ۔ فوری انجیکشن میں زبان کے ماڈل کے آؤٹ پٹ کو ہائی جیک کرنے کے لیے پرامپٹ میں بدنیتی پر مبنی یا غیر ارادی مواد شامل کرنا شامل ہے۔ فوری لیک اور جیل بریکنگ مؤثر طریقے سے اس کے ذیلی سیٹ ہیں: فوری لیک کرنے میں LLM کے جوابات سے حساس یا خفیہ معلومات کو نکالنا شامل ہے، جبکہ جیل بریکنگ میں حفاظت اور اعتدال کی خصوصیات کو نظرانداز کرنا شامل ہے۔ ہم مخصوص جارحانہ تکنیکوں کے ساتھ ساتھ دفاعی تکنیکوں پر بھی بات کریں گے۔

فوری طور پر ہیکنگ سے بچانے کے لیے، دفاعی اقدامات کرنے چاہئیں۔ ان میں فوری بنیاد پر دفاع کو نافذ کرنا، LLM کے رویے اور غیر معمولی سرگرمی کے نتائج کی باقاعدگی سے نگرانی کرنا، اور فائن ٹیوننگ یا دیگر تکنیکوں کا استعمال شامل ہے۔ مجموعی طور پر، فوری ہیکنگ LLMs کی سلامتی کے لیے ایک بڑھتی ہوئی تشویش ہے، اور اس قسم کے حملوں سے بچاؤ کے لیے چوکنا رہنا اور فعال اقدامات کرنا ضروری ہے۔