Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار
اصطلاحات اور تصورات کی فہرست کے لیے براہ کرم اس صفحہ کو دیکھیں جو ہم اس کورس میں استعمال کریں گے۔
یہ تمام اصطلاحات کم و بیش ایک ہی چیز کا حوالہ دیتے ہیں: بڑے AIs (عصبی نیٹ ورکس)، جو عام طور پر تربیت یافتہ ہوتے ہیں۔ ٹیکسٹ کی ایک بڑی مقدار پر۔
MLMs NLP ماڈل کی ایک قسم ہے، جس کا ایک خاص ٹوکن ہوتا ہے، عام طور پر [MASK]
، جو
الفاظ سے ایک لفظ کے ساتھ تبدیل کیا گیا ہے. ماڈل پھر اس لفظ کی پیش گوئی کرتا ہے۔
نقاب پوش تھا. مثال کے طور پر، اگر جملہ "کتا ہے [ماسک] بلی ہے"، ماڈل
اعلی امکان کے ساتھ "پیچھا" کی پیش گوئی کرے گا۔
لیبل کے تصور کو ایک مثال سے بہتر طور پر سمجھا جاتا ہے۔
کہتے ہیں کہ ہم کچھ ٹویٹس کی درجہ بندی کرنا چاہتے ہیں جیسے کہ مطلب ہے یا نہیں۔ اگر ہمارے پاس ٹویٹس کی فہرست ہے اور ان کے متعلقہ label (مطلب یا مطلب نہیں)، ہم درجہ بندی کرنے کے لیے ایک ماڈل کو تربیت دے سکتے ہیں۔ چاہے ٹویٹس کا مطلب ہے یا نہیں. لیبلز عام طور پر کے لیے صرف امکانات ہوتے ہیں۔ درجہ بندی کا کام
دیئے گئے کام کے لیے تمام ممکنہ لیبلز (مذکورہ بالا مثال کے لیے 'مطلب' اور 'مطلب نہیں')۔
جذباتی تجزیہ ٹیکسٹ کو مثبت، منفی یا دیگر جذبات میں درجہ بندی کرنے کا کام ہے۔
یہ اصطلاحات اس پورے کورس میں کسی حد تک ایک دوسرے کے ساتھ استعمال ہوتی ہیں، لیکن وہ ہوتی ہیں۔ ہمیشہ ایک ہی چیز کا مطلب نہیں ہے. LLMs AI کی ایک قسم ہیں، جیسا کہ اوپر بتایا گیا ہے، لیکن تمام AIs LLM نہیں ہیں۔ جب ہم نے اس کورس میں ماڈلز کا ذکر کیا تو ہم AI ماڈلز کا حوالہ دے رہے ہیں۔ اس طرح، اس کورس میں، آپ "ماڈل" اور "AI" کی اصطلاحات کو قابل تبادلہ سمجھ سکتے ہیں۔
ایم ایل مطالعہ کا ایک شعبہ ہے جو الگورتھم پر مرکوز ہے۔ ڈیٹا سے سیکھ سکتے ہیں۔ ML AI کا ذیلی فیلڈ ہے۔
درجہ بندی کی ترتیب میں، وربلائزر لیبل سے لے کر الفاظ تک میپنگ ہوتے ہیں۔ زبان کے ماڈل کی ذخیرہ الفاظ2۔ مثال کے طور پر غور کریں۔ درج ذیل پرامپٹ کے ساتھ جذبات کی درجہ بندی کرنا:
ٹویٹ: "مجھے ہاٹ پاکٹس پسند ہیں"
اس ٹویٹ کا کیا جذبہ ہے؟ 'pos' یا 'neg' کہیں۔
یہاں، verbalizer 'مثبت' اور 'منفی' کے تصوراتی لیبلز سے لے کر ٹوکنز 'pos' اور 'neg' کی نقشہ سازی ہے۔
RLHF انسانی ترجیحی اعداد و شمار کے مطابق ایل ایل ایم کو ٹھیک کرنے کا ایک طریقہ ہے۔
A text or other input to a Generative AI
Standard prompts that have exemplars in them. Exemplars are examples of the task that the prompt is trying to solve, which are included in the prompt itself.
The main idea of CoT is that by showing the LLM some few shot exemplars where the reasoning process is explained in the exemplars, the LLM will also show the reasoning process when answering the prompt.
Generating multiple chains of thought and taking the majority answer.
All of the possible labels for a given task.
The correct labels for a given task.
The concept of labels is best understood with an example.
Say we want to classify some Tweets as mean or not mean. If we have a list of Tweets and their corresponding *label* (mean or not mean), we can train a model to classify whether tweets are mean or not. Labels are generally just possibilities for the classification task.
A neural network is a group of interconnected units called neurons that send signals to one another. Neurons can be either biological cells or mathematical models.
MLMs are a type of NLP model, which have a special token, usually [MASK], which is replaced with a word from the vocabulary. The model then predicts the word that was masked. For example, if the sentence is 'The dog is [MASK] the cat', the model will predict 'chasing' with high probability.
ML is a field of study that focuses on algorithms that can learn from data. ML is a subfield of AI.
RLHF is a method for fine tuning LLMs according to human preference data.
Application Programming Interface. Enables different systems to interact with each other programmatically. Two types of APIs are REST APIs (web APIs) and native-library APIs.
Examples of the task that the prompt is trying to solve, which are included in the prompt itself.
A LLM (Large Language Model) is a model that is trained on language.
Sentiment analysis is the task of classifying text into positive, negative, or other sentiments.
Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩