📄️ 🔴 Soft Prompts
La sintonización de prompts (@lester2021power), una alternativa a la sintonización fina del modelo (@khashabi2021prompt), congela los pesos del modelo y actualiza los parámetros de un prompt. El prompt resultante es un 'prompt suave'.
📄️ 🔴 Soft Prompts Interpretables
Los soft prompts son una secuencia de vectores que no corresponden a ningún token real del vocabulario. Esto dificulta la interpretación del prompt. Sin embargo, aún podemos intentar hacerlo mapeando los vectores a los tokens más cercanos en el vocabulario. Sin embargo, los soft prompts proyectados suelen ser desviados; pueden resolver tareas bien, pero proyectarse a tokens arbitrarios en el vocabulario(@khashabi2021prompt).