Announcing our new Course: AI Red-Teaming and AI Safety Masterclass
Check it out →Consulte esta página para obter uma lista de termos e conceitos que usaremos ao longo deste curso.
Esses termos se referem mais ou menos à mesma coisa: AIs (redes neurais) grandes, que geralmente foram treinados em uma grande quantidade de texto.
Os MLMs são um tipo de modelo NLP, que têm um token especial, geralmente [MASK]
, que é substituído por uma palavra do vocabulário. O modelo então prevê a palavra que foi mascarada. Por exemplo, se a frase é "O cachorro está [MASK] o gato", o modelo prevê "perseguindo" com alta probabilidade.
Digamos que queremos classificar alguns tweets como sendo ofensivos ou não. Se tivermos uma lista de tweets e seu rótulo correspondente (ofensivo ou não-ofensivo), podemos treinar um modelo para classificar se os tweets são ofensivos ou não. Os rótulos são geralmente apenas possibilidades para a tarefa de classificação.
Todos os possíveis rótulos para uma determinada tarefa ('ofensivo' e 'não-ofensivo' para o exemplo acima).
Sentiment analysis is the task of classifying text into positive, negative, or other sentiments.
Esses termos são usados de forma intercambiável ao longo deste curso, mas eles nem sempre significam a mesma coisa. LLMs são um tipo de IA, como mencionado acima, mas nem todas as IAs são LLMs. Quando mencionamos modelos neste curso, estamos nos referindo a modelos de IA. Portanto, neste curso, você pode considerar os termos "modelo" e "IA" como intercambiáveis.
ML é um campo de estudo que se concentra em algoritmos que podem aprender com dados. ML é uma subárea da IA.
No cenário de classificação, verbalizadores são mapeamentos de rótulos para palavras no vocabulário de um modelo de linguagem2. Por exemplo, considere realizar a classificação de sentimento com o seguinte prompt:
Tweet: "I amo pão de queijo."
Qual o sentimento desse Tweet? Responda com 'pos' ou 'neg'.
Nesse exemplo o verbalizador estará mapeando os rótulos conceituais de positivo
e negativo
para os tokens pos
and neg
.
ARFH é um método para ajustar LLMs de acordo com dados de preferência humana. Em inglês o termo é conhecido como Reinforcement Learning from Human Feedback (RLHF).
A text or other input to a Generative AI.
.
Standard prompts that have exemplars in them. Exemplars are examples of the task that the prompt is trying to solve, which are included in the prompt itself.
The main idea of CoT is that by showing the LLM some few shot exemplars where the reasoning process is explained in the exemplars, the LLM will also show the reasoning process when answering the prompt.
Generating multiple chains of thought and taking the majority answer.
Pre-training is the initial process of training a neural network on a large amount of data before later 'fine-tuning'.
A function that converts a vector of numbers into a probability distribution.
All of the possible labels for a given task.
The correct labels for a given task.
The concept of labels is best understood with an example.
Say we want to classify some Tweets as mean or not mean. If we have a list of Tweets and their corresponding *label* (mean or not mean), we can train a model to classify whether tweets are mean or not. Labels are generally just possibilities for the classification task.
A neural network is a group of interconnected units called neurons that send signals to one another. Neurons can be either biological cells or mathematical models.
MLMs are a type of NLP model, which have a special token, usually [MASK], which is replaced with a word from the vocabulary. The model then predicts the word that was masked. For example, if the sentence is 'The dog is [MASK] the cat', the model will predict 'chasing' with high probability.
ML is a field of study that focuses on algorithms that can learn from data. ML is a subfield of AI.
RLHF is a method for fine tuning LLMs according to human preference data.
Reinforcement learning is a subfield of machine learning where agents learn to make decisions by interacting with a virtual environment.
Application Programming Interface. Enables different systems to interact with each other programmatically. Two types of APIs are REST APIs (web APIs) and native-library APIs.
Examples of the task that the prompt is trying to solve, which are included in the prompt itself.
A LLM (Large Language Model) is a model that is trained on language.
Sentiment analysis is the task of classifying text into positive, negative, or other sentiments.
A Large Language Model (LLM) developed by OpenAI as a part of the GPT-3.5 series.
A Large Language Model (LLM) developed by OpenAI as a part of the GPT-3.5 series.
The amount of tokens a model can process at once.
Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩