📄️ 🔴 Prompts Suaves
A afinação de prompts (@lester2021power), uma alternativa à afinação fina de modelos (@khashabi2021prompt), congela os pesos do modelo e atualiza os parâmetros de um prompt. O prompt resultante é um 'prompt suave'.
📄️ 🔴 Prompts Suaves Interpretáveis
Prompts Suaves (soft prompts, em inglês) são sequências de vetores que não correspondem a nenhum token real do vocabulário. Isso torna difícil interpretar o prompt. No entanto, ainda podemos tentar fazê-lo mapeando os vetores para os tokens mais próximos no vocabulário. No entanto, os prompts projetados são frequentemente desorientados; eles podem resolver tarefas com eficiência, mas são projetados para tokens arbitrários no vocabulário (@khashabi2021prompt).