ایل ایل ایم کیلیبریٹنگ

نے اپ ڈیٹ کیا۔ سینڈر شلہوف کو August 7, 2024 آخری بار

LLMs کی نمائش کیلیبریٹنگ آؤٹ پٹ کے ذریعے کچھ تعصبات کا مقابلہ کرنا ممکن ہے۔ تقسیم¹۔

آؤٹ پٹ ڈسٹری بیوشن کو کیلیبریٹ کرنے کا بالکل کیا مطلب ہے؟

آئیے ایک فوری مثال کے ذریعے چلتے ہیں: کہتے ہیں کہ ہمارے پاس دو ممکنہ لیبلز، 'مثبت' اور 'منفی' کے ساتھ جذباتی تجزیہ کام ہے۔ غور کریں کہ کیا ہوتا ہے جب LLM کو Input: nothing Sentiment: کے ساتھ اشارہ کیا جاتا ہے۔ اس ان پٹ میں کوئی context شامل نہیں ہے جسے LLM جذبات بنانے کے لیے استعمال کر سکتا ہے۔ پیشین گوئی، اس لیے اسے سیاق و سباق سے پاک ان پٹ کہا جاتا ہے۔

چونکہ 'کچھ نہیں' نہ تو مثبت ہے اور نہ ہی منفی تصور، اس لیے ہم توقع کریں گے کہ LLM 'مثبت' اور 'منفی' دونوں کے لیے تقریباً 0.5 کا امکان نکالے گا۔ تاہم، اکثر (اور اس مثال کے لیے) ایسا نہیں ہوگا۔

p("Positive" | "Input: nothing Sentiment:") = 0.9

p("Negative" | "Input: nothing Sentiment:") = 0.1

سیاق و سباق سے پاک ان پٹ کے لیے ان لیبل امکانات کو دیکھتے ہوئے، ہم جانتے ہیں کہ ایل ایل ایم آؤٹ پٹ ڈسٹری بیوشن ممکنہ طور پر متعصب ہے۔ 'مثبت' لیبل کی طرف۔ اس کی وجہ سے LLM 'مثبت' کو پسند کر سکتا ہے۔ تمام ان پٹ کے لیے، چاہے ان پٹ اصل میں مثبت نہ ہو۔

اگر ہم کسی طرح آؤٹ پٹ ڈسٹری بیوشن کو کیلیبریٹ کر سکتے ہیں، جیسا کہ سیاق و سباق سے پاک ان پٹ کو 'مثبت' اور 'منفی' دونوں کے لیے 0.5 کا امکان تفویض کیا جاتا ہے، تب ہم اکثر 'مثبت' کی طرف تعصب کو دور کر سکتے ہیں اور LLM زیادہ قابل اعتماد ہو جائے گا۔ سیاق و سباق سے پاک ان پٹ اور سیاق و سباق کے ساتھ ان پٹ دونوں پر۔

غیر تکنیکی حل

اس مسئلے کا ایک غیر تکنیکی حل صرف چند شاٹ مثالیں فراہم کرنا ہے جہاں سیاق و سباق سے پاک مثالوں کو مؤثر طریقے سے دونوں کے لیے 0.5 کا امکان تفویض کیا گیا ہے۔ 'مثبت' اور 'منفی'۔

مثال کے طور پر، ہم مندرجہ ذیل چند شاٹ مثالیں فراہم کر سکتے ہیں جو ہر سیاق و سباق سے پاک دکھائی دیتی ہیں۔ مثال کو 'مثبت' اور 'منفی' دونوں کے طور پر درجہ بندی کیا جا رہا ہے:

ان پٹ: مجھے اس فلم سے نفرت ہے۔ جذبات: منفی
ان پٹ: مجھے یہ فلم پسند ہے۔ جذبات: مثبت
ان پٹ: N/A جذبات: مثبت
ان پٹ: N/A جذبہ: منفی
ان پٹ: کچھ نہیں جذبات: مثبت
ان پٹ: کچھ نہیں جذبات: منفی
ان پٹ: مجھے انڈے پسند ہیں۔ جذبات:

میرے علم کے مطابق، اس حل کو ادب میں تلاش نہیں کیا گیا ہے، اور مجھے یقین نہیں ہے۔ یہ عملی طور پر کتنا اچھا کام کرتا ہے۔ تاہم، یہ ایک آسان حل ہے جو ظاہر کرتا ہے۔ انشانکن حاصل کرنے کی کوشش کر رہا ہے.

تکنیکی حل

اس کا ایک اور حل ہے contextual calibration¹، جہاں ہم خصوصی انشانکن پیرامیٹرز کو ایڈجسٹ کریں، جو اس بات کو یقینی بناتے ہیں کہ سیاق و سباق سے پاک ان پٹس کی طرح ان پٹ: کچھ نہیں جذبات: دونوں لیبلز کے لیے تقریباً 0.5 کا امکان تفویض کیا گیا ہے۔ نوٹ کریں کہ عملی طور پر یہ طریقہ متعدد مختلف سیاق و سباق سے پاک ان پٹس پر کیلیبریشن کرتا ہے (جیسے ان پٹ: N/A جذبہ: ،ان پٹ: [MASK] جذبات:)۔ یہ انشانکن پیرامیٹرز کی اوسط کرتا ہے۔ LLM کے لیے بہترین کیلیبریشن پیرامیٹرز تلاش کرنے کے لیے ہر سیاق و سباق سے پاک ان پٹ کے لیے بہترین کام کریں۔

مثال

آئیے ایک سیاق و سباق سے پاک ان پٹ کے لیے انشانکن پیرامیٹرز کو کمپیوٹنگ کرنے کی ایک مثال دیکھیں۔ یاد رکھیں کہ یہ مثال GPT-3 کے ساتھ دوبارہ پیدا کرنے کے قابل نہیں ہے کیونکہ اس کو 'مثبت' اور 'منفی' لیبل تک محدود نہیں کیا جا سکتا۔

مندرجہ بالا مثال پر دوبارہ غور کریں جہاں LLM مندرجہ ذیل امکانات کو لیبلز کو تفویض کرتا ہے۔ سیاق و سباق سے پاک ان پٹ کے لیے:

p("Positive" | "Input: nothing Sentiment:") = 0.9

p("Negative" | "Input: nothing Sentiment:") = 0.1

ہم کچھ امکانی تقسیم q تلاش کرنا چاہتے ہیں اس طرح

q("Positive" | "Input: nothing Sentiment:") = 0.5

q("Negative" | "Input: nothing Sentiment:") = 0.5

ہم ایسا ایک لکیری تبدیلی بنا کر کریں گے جو امکانات کو ایڈجسٹ (کیلیبریٹ) کرتا ہے۔ $p$ کا۔

$\hat q = \text{Softmax}(W\hat p + b)$

یہ مساوات اصل احتمالات $\hat p$ لیتی ہے اور وزن $W$ اور تعصب $b$ کو لاگو کرتی ہے انہیں وزن $W$ اور bias $b$ انشانکن کے پیرامیٹرز ہیں، جن کا اطلاق جب سیاق و سباق سے پاک مثال کے امکانات، $\hat p$ = [0.5, 0.5] حاصل کریں گے۔

کمپیوٹنگ ڈبلیو اور بی

ہمیں کسی نہ کسی طرح وزن $W$ اور تعصب $b$ کی گنتی کرنے کی ضرورت ہے۔ ایسا کرنے کا ایک طریقہ یہ ہے:

$W = \text{diag}(\hat p)^{-1}$

$b = 0$

اگرچہ $W$ کی تعریف شروع میں قدرے عجیب لگ سکتی ہے، لیکن یہ $\hat p$ میں ہر قدر کا الٹا لے رہا ہے تاکہ ایک $W$ تلاش کیا جا سکے جو اصل امکانات $\hat p$ کو بدل دے گا۔ کیلیبریٹڈ احتمالات [0.5، 0.5] میں۔

آئیے تصدیق کریں کہ یہ اوپر کی مثال کے لیے کام کرتا ہے:

$\hat p = [0.9, 0.1]$

$W = \text{diag}(\hat p)^{-1} = \text{diag}([0.9, 0.1])^{-1} = \begin{bmatrix} 0.9 & 0 \\ 0 & 0.1 \end{bmatrix}^{-1} = \begin{bmatrix} 1.11 & 0 \\ 0 & 10 \end{bmatrix}$

$\hat q = \text{Softmax}(W\hat p + b) = \text{Softmax}(\begin{bmatrix} 1.11 & 0 \\ 0 & 10 \end{bmatrix}*{[0.9, 0.1]} + 0) = \text{Softmax}([1, 1]) =[0.5, 0.5]$

جیسا کہ اوپر ذکر کیا گیا ہے، ہم متعدد مختلف سیاق و سباق سے پاک ان پٹس کے لیے اسی عمل کو انجام دیں گے، اور LLM کے لیے بہترین کیلیبریشن پیرامیٹرز تلاش کرنے کے لیے ہر سیاق و سباق سے پاک ان پٹ کے لیے بہترین کام کرنے والے انشانکن پیرامیٹرز کا اوسط لیں گے۔ اس کا مطلب یہ ہے کہ حتمی کیلیبریشن پیرامیٹرز ممکنہ طور پر کسی بھی سیاق و سباق سے پاک ان پٹ کو بالکل [0.5, 0.5] پر نقشہ نہیں بنائیں گے۔

ایک اور طریقہ

$b$ کو $-\hat p$، اور $W$ کو شناختی میٹرکس پر بھی سیٹ کیا جا سکتا ہے۔ یہ طریقہ کارآمد ہے۔ درجہ بندی کے کاموں کے بجائے نسل پر بہتر¹۔

ٹیک ویز

LLMs اکثر بعض لیبلز کی طرف پیش گوئی (متعصب) ہوتے ہیں۔ اس تعصب کا مقابلہ کرنے کے لیے انشانکن کا استعمال کیا جا سکتا ہے۔

Footnotes

1. Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩ ↩² ↩³