الفاظ کا حوالہ

📙 This article is rated

Reading Time: 3 minutes

Last updated on August 7, 2024

اصطلاحات اور تصورات کی فہرست کے لیے براہ کرم اس صفحہ کو دیکھیں جو ہم اس کورس میں استعمال کریں گے۔

Large Language Models (LLMs), Pretrained Language Models (PLMs), Language Models (LMs), and foundation models

یہ تمام اصطلاحات کم و بیش ایک ہی چیز کا حوالہ دیتے ہیں: بڑے AIs (عصبی نیٹ ورکس)، جو عام طور پر تربیت یافتہ ہوتے ہیں۔ ٹیکسٹ کی ایک بڑی مقدار پر۔

Masked Language Models (MLMs)

MLMs NLP ماڈل کی ایک قسم ہے، جس کا ایک خاص ٹوکن ہوتا ہے، عام طور پر [MASK]، جو الفاظ سے ایک لفظ کے ساتھ تبدیل کیا گیا ہے. ماڈل پھر اس لفظ کی پیش گوئی کرتا ہے۔ نقاب پوش تھا. مثال کے طور پر، اگر جملہ "کتا ہے [ماسک] بلی ہے"، ماڈل اعلی امکان کے ساتھ "پیچھا" کی پیش گوئی کرے گا۔

Labels

لیبل کے تصور کو ایک مثال سے بہتر طور پر سمجھا جاتا ہے۔

کہتے ہیں کہ ہم کچھ ٹویٹس کی درجہ بندی کرنا چاہتے ہیں جیسے کہ مطلب ہے یا نہیں۔ اگر ہمارے پاس ٹویٹس کی فہرست ہے اور ان کے متعلقہ label (مطلب یا مطلب نہیں)، ہم درجہ بندی کرنے کے لیے ایک ماڈل کو تربیت دے سکتے ہیں۔ چاہے ٹویٹس کا مطلب ہے یا نہیں. لیبلز عام طور پر کے لیے صرف امکانات ہوتے ہیں۔ درجہ بندی کا کام

Label Space

دیئے گئے کام کے لیے تمام ممکنہ لیبلز (مذکورہ بالا مثال کے لیے 'مطلب' اور 'مطلب نہیں')۔

Sentiment Analysis

جذباتی تجزیہ ٹیکسٹ کو مثبت، منفی یا دیگر جذبات میں درجہ بندی کرنے کا کام ہے۔

"Model" vs. "AI" vs. "LLM"

یہ اصطلاحات اس پورے کورس میں کسی حد تک ایک دوسرے کے ساتھ استعمال ہوتی ہیں، لیکن وہ ہوتی ہیں۔ ہمیشہ ایک ہی چیز کا مطلب نہیں ہے. LLMs AI کی ایک قسم ہیں، جیسا کہ اوپر بتایا گیا ہے، لیکن تمام AIs LLM نہیں ہیں۔ جب ہم نے اس کورس میں ماڈلز کا ذکر کیا تو ہم AI ماڈلز کا حوالہ دے رہے ہیں۔ اس طرح، اس کورس میں، آپ "ماڈل" اور "AI" کی اصطلاحات کو قابل تبادلہ سمجھ سکتے ہیں۔

Machine Learning (ML)

ایم ایل مطالعہ کا ایک شعبہ ہے جو الگورتھم پر مرکوز ہے۔ ڈیٹا سے سیکھ سکتے ہیں۔ ML AI کا ذیلی فیلڈ ہے۔

Verbalizer

درجہ بندی کی ترتیب میں، وربلائزر لیبل سے لے کر الفاظ تک میپنگ ہوتے ہیں۔ زبان کے ماڈل کی ذخیرہ الفاظ۔ مثال کے طور پر غور کریں۔ درج ذیل پرامپٹ کے ساتھ جذبات کی درجہ بندی کرنا:

ٹویٹ: "مجھے ہاٹ پاکٹس پسند ہیں"
اس ٹویٹ کا کیا جذبہ ہے؟ 'pos' یا 'neg' کہیں۔

یہاں، verbalizer 'مثبت' اور 'منفی' کے تصوراتی لیبلز سے لے کر ٹوکنز 'pos' اور 'neg' کی نقشہ سازی ہے۔

Reinforcement Learning from Human Feedback (RLHF)

RLHF انسانی ترجیحی اعداد و شمار کے مطابق ایل ایل ایم کو ٹھیک کرنے کا ایک طریقہ ہے۔

سینڈر شلہوف

Footnotes

Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩ ↩²
Brown, T. B. (2020). Language models are few-shot learners. arXiv Preprint arXiv:2005.14165. ↩ ↩² ↩³
Wu, T., Terry, M., & Cai, C. J. (2022). Ai chains: Transparent and controllable human-ai interaction by chaining large language model prompts. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 1–22. ↩
Schulhoff, S., Ilie, M., Balepur, N., Kahadze, K., Liu, A., Si, C., Li, Y., Gupta, A., Han, H., Schulhoff, S., & others. (2024). The Prompt Report: A Systematic Survey of Prompting Techniques. arXiv Preprint arXiv:2406.06608. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶
Shin, T., Razeghi, Y., Logan IV, R. L., Wallace, E., & Singh, S. (2020). Autoprompt: Eliciting knowledge from language models with automatically generated prompts. arXiv Preprint arXiv:2010.15980. ↩
Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large Language Models are Zero-Shot Reasoners. ↩
Yasunaga, M., Chen, X., Li, Y., Pasupat, P., Leskovec, J., Liang, P., Chi, E. H., & Zhou, D. (2023). Large language models as analogical reasoners. arXiv Preprint arXiv:2310.01714. ↩
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., Sutskever, I., & others. (2019). Language models are unsupervised multitask learners. OpenAI Blog, 1(8), 9. ↩
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩
Yew Ken Chia. (2023). Contrastive Chain-of-Thought Prompting. In arXiv preprint arXiv:1907.11692. ↩ ↩²
Tushar Khot. (2023). Decomposed Prompting: A Modular Approach for Solving Complex Tasks. ↩
Li, C., Wang, J., Zhang, Y., Zhu, K., Hou, W., Lian, J., Luo, F., Yang, Q., & Xie, X. (2023). Large language models understand and can be enhanced by emotional stimuli. arXiv Preprint arXiv:2307.11760. ↩
Fu, Y., Peng, H., Sabharwal, A., Clark, P., & Khot, T. (2022). Complexity-based prompting for multi-step reasoning. The Eleventh International Conference on Learning Representations. ↩
Zhou, D., Schärli, N., Hou, L., Wei, J., Scales, N., Wang, X., Schuurmans, D., Cui, C., Bousquet, O., Le, Q., & Chi, E. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ↩
Lei Wang. (2023). Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models. ↩
Zheng, M., Pei, J., & Jurgens, D. (2023). Is “A Helpful Assistant” the Best Role for Large Language Models? A Systematic Evaluation of Social Roles in System Prompts. https://arxiv.org/abs/2311.10054 ↩
Zheng, H. S., Mishra, S., Chen, X., Cheng, H.-T., Chi, E. H., Le, Q. V., & Zhou, D. (2023). Take a step back: Evoking reasoning via abstraction in large language models. arXiv Preprint arXiv:2310.06117. ↩
Lu, A., Zhang, H., Zhang, Y., Wang, X., & Yang, D. (2023). Bounding the capabilities of large language models in open text generation with prompt constraints. arXiv Preprint arXiv:2302.09185. ↩
Zhou, Y., Geng, X., Shen, T., Tao, C., Long, G., Lou, J.-G., & Shen, J. (2023). Thread of thought unraveling chaotic contexts. arXiv Preprint arXiv:2311.08734. ↩
Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R. L., Choi, Y., & Hajishirzi, H. (2021). Generated Knowledge Prompting for Commonsense Reasoning. ↩
Fei-Fei, L., Fergus, R., & Perona, P. (2006). One-shot learning of object categories. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(4), 594–611. ↩
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a few examples: A survey on few-shot learning. ACM Computing Surveys (Csur), 53(3), 1–34. ↩
Gao, L., Madaan, A., Zhou, S., Alon, U., Liu, P., Yang, Y., Callan, J., & Neubig, G. (2023). Pal: Program-aided language models. International Conference on Machine Learning, 10764–10799. ↩
Schmidt, D. C., Spencer-Smith, J., Fu, Q., & White, J. (2023). Cataloging prompt patterns to enhance the discipline of prompt engineering. URL: Https://Www. Dre. Vanderbilt. Edu/Undefined̃ Schmidt/PDF/ADA_Europe_Position_Paper. Pdf [Accessed 2023-09-25]. ↩
Wang, Z., Mao, S., Wu, W., Ge, T., Wei, F., & Ji, H. (2024). Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration. https://arxiv.org/abs/2307.05300 ↩
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
Liu, J., Shen, D., Zhang, Y., Dolan, B., Carin, L., & Chen, W. (2022). What Makes Good In-Context Examples for GPT-3? Proceedings of Deep Learning Inside Out (DeeLIO 2022): The 3rd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures. https://doi.org/10.18653/v1/2022.deelio-1.10 ↩