Announcing our new Course: AI Red-Teaming and AI Safety Masterclass

Check it out →

📙 Referencia de Vocabulario

Última actualización el August 7, 2024 por Sander Schulhoff

Por favor, consulte esta página para obtener una lista de términos y conceptos que utilizaremos a lo largo de este curso.

Modelos de Lenguaje Grande (LLMs), Modelos de Lenguaje Pre-entrenados (PLMs)1, Modelos de Lenguaje (LMs) y modelos base

Estos términos se refieren más o menos a lo mismo: AIs grandes (redes neuronales), que por lo general se han entrenado en una gran cantidad de texto.

Modelos de Lenguaje con Máscara (MLMs)

Los MLMs son un tipo de modelo de NLP que tienen un token especial, generalmente [MASK], que se sustituye por una palabra del vocabulario. El modelo luego predice la palabra que se enmascaró. Por ejemplo, si la oración es "El perro está [MASK] al gato", el modelo predecirá "persiguiendo" con alta probabilidad.

Etiquetas

El concepto de etiquetas se comprende mejor con un ejemplo.

Digamos que queremos clasificar algunos tweets como "ofensivos" o "no ofensivos". Si tenemos una lista de tweets y su correspondiente etiqueta (ofensivo o no ofensivo), podemos entrenar un modelo para clasificar si los tweets son ofensivos o no. Las etiquetas son generalmente solo posibilidades para la tarea de clasificación.

Espacio de Etiquetas

Todas las posibles etiquetas para una tarea dada ("ofensivo" y "no ofensivo" para el ejemplo anterior).

Análisis de Sentimiento

El análisis de sentimiento es la tarea de clasificar el texto en sentimientos positivos, negativos u otros.

"Modelo" vs. "AI" vs. "LLM"

Estos términos se utilizan de manera algo intercambiable a lo largo de este curso, pero no siempre significan lo mismo. Los LLM son un tipo de AI, como se señaló anteriormente, pero no todas las AIs son LLM. Cuando mencionamos modelos en este curso, nos referimos a modelos de IA. Como tal, en este curso, puede considerar los términos "modelo" y "IA" como intercambiables.

Verbalizador

En el entorno de clasificación, los verbalizadores son mapeos de etiquetas a palabras en el vocabulario del modelo de lenguaje2. Por ejemplo, considere realizar la clasificación de sentimientos con el siguiente prompt:

Tweet: "Amo los hotpockets"
¿Cuál es el sentimiento de este tweet? Diga 'pos' o 'neg'.

Aquí, el verbalizador es el mapeo de las etiquetas conceptuales de positive y negative a los tokens pos y neg.

Reinforcement Learning from Human Feedback (RLHF)

RLHF es un método para ajustar los LLM según los datos de preferencia humana.

Prompts

Prompt

A text or other input to a Generative AI.


Prompt Structure

.


Few-Shot Standard Prompt

Standard prompts that have exemplars in them. Exemplars are examples of the task that the prompt is trying to solve, which are included in the prompt itself.


Prompting Techniques

CoT prompting

The main idea of CoT is that by showing the LLM some few shot exemplars where the reasoning process is explained in the exemplars, the LLM will also show the reasoning process when answering the prompt.


PAL

A method that uses code as intermediate reasoning

see PAL

Self-Consistency

Generating multiple chains of thought and taking the majority answer.


General ML

Pre-training

Pre-training is the initial process of training a neural network on a large amount of data before later 'fine-tuning'.


Softmax

A function that converts a vector of numbers into a probability distribution.


Label Space

All of the possible labels for a given task.


Gold Labels

The correct labels for a given task.


Labels

The concept of labels is best understood with an example.

Say we want to classify some Tweets as mean or not mean. If we have a list of Tweets and their corresponding *label* (mean or not mean), we can train a model to classify whether tweets are mean or not. Labels are generally just possibilities for the classification task.


Neural Network

A neural network is a group of interconnected units called neurons that send signals to one another. Neurons can be either biological cells or mathematical models.


Masked Language Models (MLMs)

MLMs are a type of NLP model, which have a special token, usually [MASK], which is replaced with a word from the vocabulary. The model then predicts the word that was masked. For example, if the sentence is 'The dog is [MASK] the cat', the model will predict 'chasing' with high probability.


Machine Learning (ML)

ML is a field of study that focuses on algorithms that can learn from data. ML is a subfield of AI.


Reinforcement Learning from Human Feedback (RLHF)

RLHF is a method for fine tuning LLMs according to human preference data.


Reinforcement Learning

Reinforcement learning is a subfield of machine learning where agents learn to make decisions by interacting with a virtual environment.


API

Application Programming Interface. Enables different systems to interact with each other programmatically. Two types of APIs are REST APIs (web APIs) and native-library APIs.


Exemplars

Examples of the task that the prompt is trying to solve, which are included in the prompt itself.


LLM

A LLM (Large Language Model) is a model that is trained on language.


Sentiment Analysis

Sentiment analysis is the task of classifying text into positive, negative, or other sentiments.


text-davinci-003

A Large Language Model (LLM) developed by OpenAI as a part of the GPT-3.5 series.


text-davinci-002

A Large Language Model (LLM) developed by OpenAI as a part of the GPT-3.5 series.


Context Length

The amount of tokens a model can process at once.


Footnotes

  1. Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples.

  2. Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference.

Edit this page
Word count: 0
Copyright © 2024 Learn Prompting.