Learn Prompting🟢 چین آف تھاٹ پرمپٹنگ
نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار
چین آف تھاٹ (CoT) پرامپٹنگ حال ہی میں تیار کیا گیا اشارہ ہے۔ طریقہ، جو LLM کو اس کی استدلال کی وضاحت کرنے کی ترغیب دیتا ہے۔ نیچے کی تصویر سوچ کے پرامپٹ (دائیں) کی زنجیر کے مقابلے میں چند شاٹ اسٹینڈرڈ پرامپٹ (بائیں) دکھاتا ہے۔
CoT کا بنیادی خیال یہ ہے کہ LLM کو کچھ شاٹ دکھا کر exemplars جہاں استدلال عمل کی وضاحت مثالوں میں کی گئی ہے، LLM استدلال کا عمل بھی دکھائے گا۔ پرامپٹ کا جواب دیتے وقت استدلال کی یہ وضاحت اکثر زیادہ درست ہونے کی طرف لے جاتی ہے۔ نتائج
مثال
یہاں چند ڈیمو ہیں۔ پہلا دکھاتا ہے GPT-3 (davinci-003) ایک سادہ لفظ کا مسئلہ حل کرنے میں ناکام۔ دوسرا GPT-3 (davinci-003) کو اسی مسئلے کو کامیابی سے حل کرتا ہے، CoT پرامپٹنگ کا استعمال کرتے ہوئے۔
غلط
درست
نتائج
CoT جیسے کاموں پر نتائج کو بہتر بنانے میں موثر ثابت ہوا ہے۔ ریاضی، کامن سینس، اور علامتی استدلال کے کام۔ خاص طور پر، حوصلہ افزائی کی گئی PaLM 540B 57% حل حاصل کرتی ہے GSM8K (اس وقت SOTA) پر شرح کی درستگی۔
GSM8K بینچ مارک پر ماڈلز کا موازنہ (Wei et al.)
حدود
اہم بات یہ ہے کہ Wei et al. کے مطابق، "CoT صرف اس وقت کارکردگی میں اضافہ کرتا ہے جب ∼100B پیرامیٹرز کے ماڈلز کے ساتھ استعمال کیا جائے"۔ چھوٹے ماڈلز نے سوچ کی غیر منطقی زنجیریں لکھیں، جس کی وجہ سے معیاری اشارہ کرنے سے بدتر درستگی ہوئی۔ ماڈلز کو عام طور پر ماڈل کے سائز کے ٹیکسٹاسب طریقے سے CoT پرامپٹ سے کارکردگی میں اضافہ ہوتا ہے۔
نوٹس
اس باب کو لکھنے کے عمل میں زبان کے کسی ماڈل کو ~~ چوٹ~~ ٹھیک نہیں کیا گیا 😊
Footnotes
-
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩ ↩2 ↩3
-
Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). PaLM: Scaling Language Modeling with Pathways. ↩
-
Cobbe, K., Kosaraju, V., Bavarian, M., Chen, M., Jun, H., Kaiser, L., Plappert, M., Tworek, J., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. (2021). Training Verifiers to Solve Math Word Problems. ↩