پرامپٹ ٹیوننگ، ماڈل فائن ٹیوننگ کا متبادل، ماڈل کے وزن کو منجمد کرتی ہے، اور پرامپٹ کے پیرامیٹرز کو اپ ڈیٹ کرتی ہے۔ نتیجہ خیز پرامپٹ ایک 'سافٹ پرامپٹ' ہے۔
ماڈل ٹیوننگ بمقابلہ پرامپٹ ٹیوننگ (لیسٹر وغیرہ)
مذکورہ تصویر ماڈل ٹیوننگ کو فوری ٹیوننگ سے متصادم کرتی ہے۔ ماڈل ٹیوننگ میں، آپ ایک ہی ماڈل کو مختلف کاموں پر فائن ٹیون کرتے ہیں۔ یہ آپ کو دیتا ہے۔ چند مختلف ماڈلز، جن کے ساتھ آپ ضروری طور پر آسانی سے ان پٹ کو بیچ نہیں سکتے۔
دوسری طرف، فوری ٹیوننگ آپ کو تمام کاموں کے لیے ایک ہی ماڈل استعمال کرنے دیتی ہے۔ تم صرف تخمینہ کے وقت مناسب پرامپٹس کو شامل کرنے کی ضرورت ہے، جس سے بیچنگ آر پار ہوجاتی ہے۔ مختلف کام آسان. یہ بہت زیادہ وہی فائدہ ہے جو باقاعدہ اشارہ کرتا ہے۔ ہے مزید برآں، نرم پرامپٹس ایک ہی ماڈل کے لیے تربیت یافتہ ہیں۔ متعدد کام اکثر ایک ہی ٹوکن لمبائی کے ہوں گے۔
نرم پرامپٹنگ کے پیچھے بنیادی منطق کو سمجھنے کے لیے، آئیے اس بارے میں سوچتے ہیں کہ ماڈل کا اندازہ کیسے کام کرتا ہے۔
دیئے گئے پرامپٹ پر: 2+2 کیا ہے؟
۔
اسے 'What,'s, 2, +, 2, ?` کے طور پر نشان زد کیا جا سکتا ہے۔
پھر، ہر ٹوکن کو اقدار کے ویکٹر میں تبدیل کر دیا جائے گا۔
اقدار کے اس ویکٹر کو ماڈل پیرامیٹرز کے طور پر سمجھا جا سکتا ہے۔ ماڈل مزید ہو سکتا ہے تربیت یافتہ، صرف ان پرامپٹ کے وزن کو ایڈجسٹ کرنا۔
نوٹ کریں کہ جیسے ہی ہم ان وزنوں کو اپ ڈیٹ کرنا شروع کرتے ہیں، ٹوکن نمبر کے ویکٹر لمبا الفاظ سے اصل سرایت سے مطابقت رکھتا ہے۔
#نتائج
فوری ٹیوننگ بڑے ماڈلز کے ساتھ بہتر کارکردگی دکھاتی ہے۔ بڑے ماڈلز کو بھی کم ضرورت ہوتی ہے۔ نرم فوری ٹوکن. قطع نظر، 20 سے زیادہ ٹوکنز نمایاں کارکردگی حاصل نہیں کرتے۔
Lester, B., Al-Rfou, R., & Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. ↩
Khashabi, D., Lyu, S., Min, S., Qin, L., Richardson, K., Welleck, S., Hajishirzi, H., Khot, T., Sabharwal, A., Singh, S., & Choi, Y. (2021). Prompt Waywardness: The Curious Case of Discretized Interpretation of Continuous Prompts. ↩