🟦 سے کم سے زیادہ ترغیب دینے والا

نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار

Least to Most prompting (LtM)¹ CoT prompting ایک قدم آگے لے کر پہلے کسی مسئلے کو ذیلی مسائل میں توڑ کر پھر ہر ایک کو حل کرتا ہے۔ یہ بچوں کے لیے حقیقی دنیا کی تعلیمی حکمت عملیوں سے متاثر ایک تکنیک ہے۔

جیسا کہ CoT پرامپٹنگ میں، حل ہونے والا مسئلہ ذیلی مسائل کے ایک سیٹ میں گل جاتا ہے جو ایک دوسرے پر قائم ہوتے ہیں۔ دوسرے مرحلے میں، یہ ذیلی مسائل ایک ایک کرکے حل ہوتے ہیں۔ سوچ کے سلسلہ کے برعکس، پچھلے ذیلی مسائل کا حل اگلے مسئلے کو حل کرنے کی کوشش میں فوری طور پر کھلایا جاتا ہے۔

مثال: کسٹمر انکوائری کا جواب

آئیے ایک قدرے پیچیدہ کسٹمر سروس سوال پوچھتے ہیں:

یہ ناکام ہوگیا (ہم واپسی کے وقت میں ہیں)، تو آئیے اسے ذیلی مسائل میں تقسیم کرنے کی کوشش کریں:

Let's try to solve the first subproblem:

صرف پہلے ذیلی مسئلے کو حل کرنے سے، ہم پورے مسئلے کو حل کرنے کے قابل تھے۔ اگر GPT-3 نے فوری طور پر کوئی جواب نہیں دیا، تو ہم اگلے ذیلی مسئلے کو حل کر سکتے تھے اور اسی طرح اس وقت تک جب تک وہ جواب نہیں دیتا۔ نوٹ کریں کہ ہم 'آئیے قدم بہ قدم چلتے ہیں' استعمال کرتے ہیں۔ اس جملے کا اضافہ ہمیشہ ضروری نہیں ہے، لیکن یہ اس مثال کے لیے مدد کرتا ہے۔

مثال: خط جوڑنا

LtM کو اصل میں چند شاٹ پرمپٹنگ کا استعمال کرتے ہوئے متعارف کرایا گیا تھا، بجائے اس کے کہ کسی مسئلے کو متعدد مراحل میں تقسیم کیا جائے (جیسا کہ اوپر دیکھا گیا ہے)۔ مزید برآں، اسے بعض اوقات زنجیروں والے پرامپٹ کے بجائے ایک ہی پرامپٹ کے ساتھ لاگو کیا جا سکتا ہے۔ آئیے انفرادی الفاظ کے آخری حرف² کو جوڑنے کے مسئلے کا جائزہ لیتے ہیں (مثال کے طور پر، 'کیک، etymology' کو بطور ان پٹ الفاظ، آؤٹ پٹ 'ey' ہونا چاہیے)۔

پہلی کوشش: معیاری

چند شاٹ مثالوں کے ساتھ معیاری پرامپٹ بہت خراب کارکردگی کا مظاہرہ کرتا ہے، یہاں تک کہ زیادہ جدید ماڈل جیسے text-davinci-003 کے ساتھ۔

دوسری کوشش: سوچ کا سلسلہ

چین آف تھاٹ معیاری پرامپٹ سے نمایاں طور پر بہتر کارکردگی کا مظاہرہ کرتا ہے۔ اس کی وجہ یہ ہے کہ اب یہ ماڈل کو ہر لفظ کے آخری حرف کو خود سے نکالنے پر غور کرنے کی اجازت دیتا ہے، اس سے پہلے جمع کیے گئے خطوط کی گروپ بندی کے عمل میں پیچیدگی کو کم کرتا ہے۔ تاہم، یہ بڑے سائز میں ٹوٹنا شروع ہوتا ہے۔

تیسری کوشش: کم سے کم سے زیادہ (واحد اشارہ)

کم سے کم سے زیادہ ترغیب دینے کے ساتھ، ہم پہلے سے جڑے ہوئے نتائج کو دوبارہ ترتیب دینے کے لیے انفرادی اقدامات کی اصلاح کرکے چین آف تھاٹ کے تصور کو بڑھاتے ہیں۔ یہ صرف ایک نئے خط کو جوڑنے کے لیے ہر قدم کو آسان بناتا ہے۔ یہ 12 یا اس سے زیادہ الفاظ تک اچھی کارکردگی کا باعث بنتا ہے۔

یہ نقطہ نظر چین آف تھاٹ سے بہت ملتا جلتا نظر آتا ہے، لیکن یہ تصوراتی طور پر بہت مختلف ہے۔ یہاں، ہر قدم پر، ہم سابقہ کنکٹیشن کا تعارف کراتے ہیں۔ "سوچنے، مشین، سیکھنے" کی صورت میں، حرف "k"، "e"، "g" کو انفرادی طور پر جوڑنے کے بجائے، یہ "k" اور "e"، پھر "ke" اور "g" کو جوڑ دے گا۔ پچھلے کام کے اس دوبارہ تعارف کے نتیجے میں، ماڈل اب زیادہ لمبی زنجیروں پر عام کر سکتا ہے کیونکہ یہ نتیجہ کو بتدریج ساتھ لے جاتا ہے اور اسے ہر قدم پر صرف تھوڑا سا کام کرنے کی ضرورت ہوتی ہے۔

نتائج

12 الفاظ کے ساتھ آخری خط کے کنکٹنیشن کے مسئلے پر، سوچ کا سلسلہ 34% درست ہے، جب کہ کم سے کم سے زیادہ تک 74% درست ہے (کاغذ ٹیکسٹ-ڈیونچی-002 کو بطور ماڈل استعمال کرتا ہے)۔

مثال: کمپوزیشنل جنرلائزیشن (SCAN)

SCAN بینچ مارک³ کے لیے ماڈل کی ضرورت ہوتی ہے کہ وہ قدرتی زبان کو اعمال کی ترتیب میں تبدیل کرے۔ مثال کے طور پر، "بائیں بھاگیں اور دو بار چلیں" کا ترجمہ "TURN_LEFT + RUN + WALK * 2" میں کیا جائے گا۔ زبان کے ماڈل خاص طور پر خراب کارکردگی کا مظاہرہ کرتے ہیں جب ان ترتیبوں کا سامنا ہوتا ہے جو تربیتی سیٹ کے مقابلے طویل ہوتے ہیں۔

پہلی کوشش: معیاری اشارہ

سادہ معیاری پرامپٹ کا استعمال کرتے ہوئے، text-davinci-003 متاثر کن حد تک پہنچ جاتا ہے، لیکن پھر بھی ناکام ہوجاتا ہے۔

دوسری کوشش: کم سے کم سے زیادہ، پہلا قدم - کمی

یہاں، ہم 2 مختلف پرامپٹ کے ساتھ کام کرتے ہیں۔ پہلے پرامپٹ کا استعمال ان پٹ کے مسئلے کو آسان طریقے سے اقدامات کی ترتیب میں کم کرنے کے لیے کیا جاتا ہے۔ دوسرے پرامپٹ کا استعمال اقدامات کے اس آسان ترتیب کو حقیقی اعمال میں نقشہ بنانے کے لیے کیا جاتا ہے۔

دونوں پرامپٹ کافی لمبے ہیں، اور ٹوکنز کو بچانے کے لیے ایکشن کے لیے کمپریسڈ ازگر کے پرامپٹ کا استعمال کرتے ہیں۔

پہلا مرحلہ فطری زبان کی وضاحت کو زیادہ واضح، پھر بھی انسان جیسی زبان میں توڑ دیتا ہے۔ اس سے نقشہ سازی کے مرحلے کو ترتیب میں چیزوں کا پتہ لگانے میں مدد ملے گی۔ مثال کے طور پر، "بائیں طرف دو بار چھلانگ لگائیں" کو گھٹا کر "بائیں چھلانگ" -> TURN_LEFT + JUMP اور "بائیں طرف چھلانگ لگائیں" -> (TURN_LEFT + JUMP) * 4 تک کم کر دیا گیا ہے۔ اسی طرح، کمی کا مرحلہ وہ ہے جو تکرار کے تصور کی وضاحت کے لیے استعمال کیا جاتا ہے (دو بار، تین بار، وغیرہ...)۔

دوسری کوشش: کم سے کم سے زیادہ، دوسرا مرحلہ - نقشہ بندی

دوسرے مرحلے میں، ہم کمی کے آؤٹ پٹ کا استعمال کرتے ہیں، اور ایک بار پھر کافی لمبا پرامپٹ (14 کیسز) استعمال کرتے ہیں تاکہ قدرتی زبان کی کم کردہ تفصیل کو اعمال کی ترتیب میں ترجمہ کیا جا سکے۔

یہاں، ہم پہلے مرحلے کے آؤٹ پٹ کو انجیکشن دیتے ہیں:

"بائیں طرف دو بار چھلانگ لگائیں" کو حل کیا جا سکتا ہے: "بائیں چھلانگ"، "بائیں کے ارد گرد چھلانگ"، "دو بار بائیں کودنا"۔ "بائیں طرف تین بار چلنا" کو اس طرح حل کیا جا سکتا ہے: "بائیں مخالف چلیں"، "تین بار مخالف بائیں طرف چلیں"۔ لہذا، "بائیں طرف تین بار چلنے کے بعد بائیں طرف دو بار چھلانگ لگائیں" کو اس طرح حل کیا جا سکتا ہے: "بائیں چھلانگ"، "بائیں کے ارد گرد چھلانگ لگائیں"، "بائیں دو بار چھلانگ لگائیں"، "مخالف بائیں طرف چلیں"، "تین بار بائیں طرف چلیں"۔

ایل ایل ایم میں

نتائج

LtM متعدد بہتری کی طرف جاتا ہے:

• چین آف تھاٹ پر بہتر درستگی
• پرامپٹ کے مقابلے میں مشکل مسائل پر عمومیت میں اضافہ
• ساختی عمومی کاری میں ڈرامائی طور پر بہتر کارکردگی، خاص طور پر SCAN بینچ مارک³

Text-davinci-002 (کاغذ میں استعمال ہونے والا ماڈل) کے ساتھ معیاری اشارہ کرنے کے نتیجے میں SCAN کے 6% کامیاب مسائل حل ہو جاتے ہیں، جب کہ کم سے کم سے سب سے زیادہ حوصلہ افزا نتائج میں کامیابی کی شرح 76% ہے۔ کوڈ-ڈیونچی-002 کے ساتھ نتائج زیادہ اہم ہیں، جہاں کم سے کم سے زیادہ پرامپٹنگ کامیابی کی شرح 99.7 فیصد حاصل کرتی ہے۔

Footnotes

1. Zhou, D., Schärli, N., Hou, L., Wei, J., Scales, N., Wang, X., Schuurmans, D., Cui, C., Bousquet, O., Le, Q., & Chi, E. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ↩

2. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩

3. Lake, B. M., & Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. https://doi.org/10.48550/arXiv.1711.00350 ↩ ↩²