Перейти до основного вмісту

📙 Словниковий довідник

Перегляньте на цій сторінці список термінів і понять, які ми будемо використовувати впродовж цього курсу.

Великі мовні моделі (ВММ), попередньо навчені мовні моделі (ПНММ)1, мовні моделі (ММ) та основні моделі​

Усі ці терміни більш-менш стосуються того самого: великих ШІ (нейронних мереж), які зазвичай тренують на величезних обсягах тексту.

Масковані мовні моделі (МММ)​

MМM – це тип моделі NLP, яка має спеціальний токен, зазвичай [MASK], який замінено словом зі словника. Потім модель передбачає слово, яке було замасковане. Наприклад, якщо речення має наступний вигляд: «Собака [MASK] кота», модель передбачить "переслідує" з високою ймовірністю.

Маркери​

Концепцію маркерів можна найкраще зрозуміти на прикладі.

Скажімо, ми хочемо класифікувати деякі твіти як злі чи не злі. Якщо у нас є список твітів і їх відповідний маркер (злий чи не злий), ми можемо навчити модель класифікувати, чи є твіти такими чи ні. Маркери зазвичай є лише можливостями для класифікаційного завдання.

Простір маркера​

Усі можливі маркери для заданого завдання («злий» та «не злий» для прикладу вище).

Аналіз тональності тексту​

Аналіз тональності — це завдання класифікації тексту на предмет позитивної, негативної чи іншої тональності.

«Модель» vs «ШІ» vs «ВММ»​

У цьому курсі ці терміни використовуються як взаємозамінні, але вони не завжди означають те саме. ВММ є типом ШІ, як зазначалося вище, але не всі ШІ є ВММ. Коли ми згадували моделі в цьому курсі, ми мали на увазі моделі ШІ. Таким чином, у цьому курсі ви можете вважати терміни «модель» та «ШІ» взаємозамінними.

Машинне навчання (МН)​

MН – це галузь досліджень, яка зосереджена на алгоритмах, що можуть навчатися на основі даних. MН є підгалуззю ШІ.

Вербалізатор​

У налаштуваннях класифікації вербалізатори зіставляють маркери зі словами в словнику мовної моделі2. Наприклад, розглянемо виконання класифікації тональностей із таким запитом:

Твіт: "Я люблю солодощі"
Яка тональність цього твіту? Скажи «pos» або «neg».

Тут вербалізатор є відображенням концептуальних маркерів positive і negative на токени pos і neg.

Навчання з підкріпленням на основі зворотного зв’язку людини (RLHF)​

RLHF — це метод точного налаштування ВММ відповідно до даних про вподобання людини.

  1. Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
  2. Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩