قابل تشریح نرم پرامپٹ

نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار

نرم پرامپٹس ویکٹر کی ایک ترتیب ہیں جو الفاظ میں کسی بھی حقیقی ٹوکن سے مطابقت نہ رکھیں۔ یہ مشکل بناتا ہے پرامپٹ کی تشریح کرنے کے لیے۔ تاہم، ہم اب بھی ایسا کرنے کی کوشش کر سکتے ہیں۔ ویکٹر کو ذخیرہ الفاظ میں قریب ترین ٹوکن پر نقشہ بنا کر۔ تاہم، متوقع نرم پرامپٹ اکثر بے راہ ہوتے ہیں۔ وہ حل کر سکتے ہیں کام اچھی طرح سے کرتا ہے، لیکن ذخیرہ الفاظ¹ میں صوابدیدی ٹوکنز کے لیے پیش کیا جاتا ہے۔

مثال کے طور پر، اگر ہم ریاضی کے سوالات جیسے GSM8K² پر تربیت دے رہے ہیں، ہم فوری طور پر شروع کر سکتے ہیں 'آپ ایک ریاضی دان ہیں۔ اس سوال کو حل کریں:''۔ اگر ہم اس پر فوری ٹیوننگ کرتے ہیں، تو اسے دوبارہ ٹوکن اسپیس میں پروجیکٹ کریں، ہم کر سکتے ہیں۔ کوئی ایسی بے ہودہ چیز چھوڑ دیں جیسے 'ایک بس ایک بس ہے۔ یہاں کام کریں:''۔ یہ اکثر ہوتا ہے۔ اس صورت میں کہ نرم پرامپٹ جو اس بے ہودہ پرامپٹ کو نقشہ بناتا ہے کام پر بہتر کارکردگی فراہم کر سکتا ہے!

بے راہ روی کا مفروضہ

Khashabi et al.¹ یہ ناقابل یقین مفروضہ تجویز کرتے ہیں۔ اس کا کہنا ہے جس نے ایک کام دیا ہے، کسی بھی مجرد ہدف کے پرامپٹ کے لیے، وہاں موجود ہے۔ کام پر اچھی کارکردگی کا مظاہرہ کرتے ہوئے، مسلسل فوری طور پر اس پر پروجیکٹ کرتا ہے۔

اس کا مطلب ہے کہ 1000 مختلف کاموں کو دیکھتے ہوئے، 1000 مختلف موجود ہیں۔ پرفارمنٹ نرم پرامپٹس (ہر کام کے لیے ایک) جو ایک ہی مجرد پرامپٹ پر نقشہ بناتے ہیں۔

تشریحی خطرات

وہ متعدد خطرات کو اجاگر کرنے کے لیے Waywardness Hypothesis کا استعمال کرتے ہیں۔ نرم پرامپٹ کی تشریح کرتے وقت۔ خاص طور پر، ایک نرم فوری طور پر پیش کیا جا سکتا ہے ایک مجرد اشارہ جو گمراہ کن ارادہ دیتا ہے۔

ریزیومیز کی درجہ بندی کے لیے نرم پرامپٹ پر غور کریں۔ جب ٹوکن اسپیس میں پیش کیا جائے تو یہ ہوسکتا ہے۔ بنو 'آپ مینیجر کی خدمات حاصل کرتے ہیں۔ اچھے ریزیوموں کی درجہ بندی کریں:۔ یہ مہذب لگتا ہے، شاید تھوڑا سا کمی گرامریت میں تاہم، ٹوکن 'اچھے' کا 'سفید' کے ٹوکن جیسا پروجیکشن ہوسکتا ہے، اور وہاں پرامپٹ میں مضمر تعصب موجود ہو سکتا ہے۔ تھوڑا سا مختلف پروجیکشن طریقہ استعمال کرتے ہوئے، ہم 'آپ کے مینیجر کی خدمات حاصل کرنے کے ساتھ ختم ہوسکتے ہیں۔ رینک وائٹ ریزیومز:۔ یہ ظاہر ہے کافی ہے۔ مختلف، اور اہم مضمرات ہو سکتے ہیں۔

اسی طرح ایک باقاعدہ مجرد پرامپٹ کی تشریح کرنے کے لیے، ہمیں انتہائی ہونا چاہیے۔ ان تعصبات سے آگاہ ہوں جو پرامپٹ میں موجود ہو سکتے ہیں۔ ہمیں خاص طور پر ہونا چاہئے۔ نرم پرامپٹ سے محتاط رہیں، کیونکہ ان کی تشریح کرنا زیادہ مشکل ہے۔