Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!
Check it out →Перегляньте на цій сторінці список термінів і понять, які ми будемо використовувати впродовж цього курсу.
Усі ці терміни більш-менш стосуються того самого: великих ШІ (нейронних мереж), які зазвичай тренують на величезних обсягах тексту.
MМM – це тип моделі NLP, яка має спеціальний токен, зазвичай [MASK]
, який замінено словом зі словника. Потім модель передбачає слово, яке було замасковане. Наприклад, якщо речення має наступний вигляд: «Собака [MASK] кота», модель передбачить "переслідує" з високою ймовірністю.
Концепцію маркерів можна найкраще зрозуміти на прикладі.
Скажімо, ми хочемо класифікувати деякі твіти як злі чи не злі. Якщо у нас є список твітів і їх відповідний маркер (злий чи не злий), ми можемо навчити модель класифікувати, чи є твіти такими чи ні. Маркери зазвичай є лише можливостями для класифікаційного завдання.
Усі можливі маркери для заданого завдання («злий» та «не злий» для прикладу вище).
Аналіз тональності — це завдання класифікації тексту на предмет позитивної, негативної чи іншої тональності.
У цьому курсі ці терміни використовуються як взаємозамінні, але вони не завжди означають те саме. ВММ є типом ШІ, як зазначалося вище, але не всі ШІ є ВММ. Коли ми згадували моделі в цьому курсі, ми мали на увазі моделі ШІ. Таким чином, у цьому курсі ви можете вважати терміни «модель» та «ШІ» взаємозамінними.
MН – це галузь досліджень, яка зосереджена на алгоритмах, що можуть навчатися на основі даних. MН є підгалуззю ШІ.
У налаштуваннях класифікації вербалізатори зіставляють маркери зі словами в словнику мовної моделі2. Наприклад, розглянемо виконання класифікації тональностей із таким запитом:
Твіт: "Я люблю солодощі"
Яка тональність цього твіту? Скажи «pos» або «neg».
Тут вербалізатор є відображенням концептуальних маркерів positive
і negative
на токени pos
і neg
.
RLHF — це метод точного налаштування ВММ відповідно до даних про вподобання людини.
Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩
Sign up and get the latest AI news, prompts, and tools.
Join 30,000+ readers from companies like OpenAI, Microsoft, Google, Meta and more!