Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →
Learn Prompting📙 الفاظ کا حوالہ
نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار
اصطلاحات اور تصورات کی فہرست کے لیے براہ کرم اس صفحہ کو دیکھیں جو ہم اس کورس میں استعمال کریں گے۔
Large Language Models (LLMs), Pretrained Language Models (PLMs)1, Language Models (LMs), and foundation models
یہ تمام اصطلاحات کم و بیش ایک ہی چیز کا حوالہ دیتے ہیں: بڑے AIs (عصبی نیٹ ورکس)، جو عام طور پر تربیت یافتہ ہوتے ہیں۔ ٹیکسٹ کی ایک بڑی مقدار پر۔
Masked Language Models (MLMs)
MLMs NLP ماڈل کی ایک قسم ہے، جس کا ایک خاص ٹوکن ہوتا ہے، عام طور پر [MASK]، جو
الفاظ سے ایک لفظ کے ساتھ تبدیل کیا گیا ہے. ماڈل پھر اس لفظ کی پیش گوئی کرتا ہے۔
نقاب پوش تھا. مثال کے طور پر، اگر جملہ "کتا ہے [ماسک] بلی ہے"، ماڈل
اعلی امکان کے ساتھ "پیچھا" کی پیش گوئی کرے گا۔
Labels
لیبل کے تصور کو ایک مثال سے بہتر طور پر سمجھا جاتا ہے۔
کہتے ہیں کہ ہم کچھ ٹویٹس کی درجہ بندی کرنا چاہتے ہیں جیسے کہ مطلب ہے یا نہیں۔ اگر ہمارے پاس ٹویٹس کی فہرست ہے اور ان کے متعلقہ label (مطلب یا مطلب نہیں)، ہم درجہ بندی کرنے کے لیے ایک ماڈل کو تربیت دے سکتے ہیں۔ چاہے ٹویٹس کا مطلب ہے یا نہیں. لیبلز عام طور پر کے لیے صرف امکانات ہوتے ہیں۔ درجہ بندی کا کام
Label Space
دیئے گئے کام کے لیے تمام ممکنہ لیبلز (مذکورہ بالا مثال کے لیے 'مطلب' اور 'مطلب نہیں')۔
Sentiment Analysis
جذباتی تجزیہ ٹیکسٹ کو مثبت، منفی یا دیگر جذبات میں درجہ بندی کرنے کا کام ہے۔
"Model" vs. "AI" vs. "LLM"
یہ اصطلاحات اس پورے کورس میں کسی حد تک ایک دوسرے کے ساتھ استعمال ہوتی ہیں، لیکن وہ ہوتی ہیں۔ ہمیشہ ایک ہی چیز کا مطلب نہیں ہے. LLMs AI کی ایک قسم ہیں، جیسا کہ اوپر بتایا گیا ہے، لیکن تمام AIs LLM نہیں ہیں۔ جب ہم نے اس کورس میں ماڈلز کا ذکر کیا تو ہم AI ماڈلز کا حوالہ دے رہے ہیں۔ اس طرح، اس کورس میں، آپ "ماڈل" اور "AI" کی اصطلاحات کو قابل تبادلہ سمجھ سکتے ہیں۔
Machine Learning (ML)
ایم ایل مطالعہ کا ایک شعبہ ہے جو الگورتھم پر مرکوز ہے۔ ڈیٹا سے سیکھ سکتے ہیں۔ ML AI کا ذیلی فیلڈ ہے۔
Verbalizer
درجہ بندی کی ترتیب میں، وربلائزر لیبل سے لے کر الفاظ تک میپنگ ہوتے ہیں۔ زبان کے ماڈل کی ذخیرہ الفاظ2۔ مثال کے طور پر غور کریں۔ درج ذیل پرامپٹ کے ساتھ جذبات کی درجہ بندی کرنا:
ٹویٹ: "مجھے ہاٹ پاکٹس پسند ہیں"
اس ٹویٹ کا کیا جذبہ ہے؟ 'pos' یا 'neg' کہیں۔
یہاں، verbalizer 'مثبت' اور 'منفی' کے تصوراتی لیبلز سے لے کر ٹوکنز 'pos' اور 'neg' کی نقشہ سازی ہے۔
Reinforcement Learning from Human Feedback (RLHF)
RLHF انسانی ترجیحی اعداد و شمار کے مطابق ایل ایل ایم کو ٹھیک کرنے کا ایک طریقہ ہے۔
Prompts
Prompt
A text or other input to a Generative AI
Few-Shot Standard Prompt
Standard prompts that have exemplars in them. Exemplars are examples of the task that the prompt is trying to solve, which are included in the prompt itself.
Prompting Techniques
CoT prompting
The main idea of CoT is that by showing the LLM some few shot exemplars where the reasoning process is explained in the exemplars, the LLM will also show the reasoning process when answering the prompt.
Self-Consistency
Generating multiple chains of thought and taking the majority answer.
General ML
Label Space
All of the possible labels for a given task.
Gold Labels
The correct labels for a given task.
Labels
The concept of labels is best understood with an example.
Say we want to classify some Tweets as mean or not mean. If we have a list of Tweets and their corresponding *label* (mean or not mean), we can train a model to classify whether tweets are mean or not. Labels are generally just possibilities for the classification task.
Neural Network
A neural network is a group of interconnected units called neurons that send signals to one another. Neurons can be either biological cells or mathematical models.
Masked Language Models (MLMs)
MLMs are a type of NLP model, which have a special token, usually [MASK], which is replaced with a word from the vocabulary. The model then predicts the word that was masked. For example, if the sentence is 'The dog is [MASK] the cat', the model will predict 'chasing' with high probability.
Machine Learning (ML)
ML is a field of study that focuses on algorithms that can learn from data. ML is a subfield of AI.
Reinforcement Learning from Human Feedback (RLHF)
RLHF is a method for fine tuning LLMs according to human preference data.
API
Application Programming Interface. Enables different systems to interact with each other programmatically. Two types of APIs are REST APIs (web APIs) and native-library APIs.
Exemplars
Examples of the task that the prompt is trying to solve, which are included in the prompt itself.
LLM
A LLM (Large Language Model) is a model that is trained on language.
Sentiment Analysis
Sentiment analysis is the task of classifying text into positive, negative, or other sentiments.
Footnotes
-
Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
-
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩