🔓 Prompt Hacking
🟢 Medidas Defensivas
🟢 Introducción
🟢 Filtering
🟢 Instruction Defense
🟢 Post-Prompting
🟢 Random Sequence Enclosure
🟢 Sandwich Defense
🟢 XML Tagging
🟢 Separate LLM Evaluation
🟢 Other Approaches
🟢 Offensive Measures
🟢 Introduction
🟢 Obfuscation/Token Smuggling
🟢 Payload Splitting
🟢 Defined Dictionary Attack
🟢 Virtualization
🟢 Indirect Injection
🟢 Recursive Injection
🟢 Code Injection
🔨 Tooling
Prompt Engineering IDEs
Descripción general
GPT-3 Playground
Dust
Soaked
Everyprompt
Prompt IDE
PromptChainer
PromptSource
PromptTools
Prompts.ai
Snorkel 🚧
Human Loop
Spellbook 🚧
Kolla Prompt 🚧
Lang Chain
OpenPrompt
OpenAI DALLE IDE
Dream Studio
Patience
Promptmetheus
PromptSandbox.io
The Forge AI
AnySolve
Conclusión
💪 Prompt TuningSoft Prompts

Soft Prompts

Reading Time: 2 minutes
Last updated on August 7, 2024

Sander Schulhoff

La sintonización de prompts, una alternativa a la sintonización fina del modelo, congela los pesos del modelo y actualiza los parámetros de un prompt. El prompt resultante es un 'prompt suave'.

Ajuste del modelo vs. Ajuste del prompt (Lester et al.)

La imagen anterior contrasta la sintonización del modelo con la sintonización del prompt. En la sintonización del modelo, se ajusta el mismo modelo en diferentes tareas. Esto te da unos pocos modelos diferentes, con los cuales no necesariamente puedes agrupar fácilmente las entradas.

Por otro lado, la sintonización del prompt te permite utilizar el mismo modelo para todas las tareas. Sólo necesitas añadir los prompts adecuados en el momento de la inferencia, lo que facilita el agrupamiento de diferentes tareas. Básicamente, esto es la misma ventaja que tiene la sintonización regular de prompts. Además, los prompts suaves entrenados para un solo modelo en múltiples tareas a menudo tendrán la misma longitud de tokens.

Cómo funciona

Para entender la lógica básica detrás de la sintonización suave del prompt, pensemos en cómo funciona la inferencia del modelo en un prompt dado: "¿Cuánto es 2+2?".

  1. Podría ser tokenizado como "¿Cuánto, 'es', 2, +, 2,?".

  2. Luego, cada token se convertirá en un vector de valores.

  3. Estos vectores de valores pueden considerarse como parámetros del modelo. El modelo puede ser adicionalmente entrenado, ajustando sólo los pesos de estos prompts.

Nótese que tan pronto como empezamos a actualizar estos pesos, los vectores de los tokens ya no corresponden a los embeddings reales del vocabulario.

Resultados

La sintonización de prompts funciona mejor con modelos más grandes. Los modelos más grandes también requieren menos tokens suaves del prompt. Sin embargo, más de 20 tokens no produce ganancias significativas de rendimiento.

Footnotes

  1. Lester, B., Al-Rfou, R., & Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning.

  2. Khashabi, D., Lyu, S., Min, S., Qin, L., Richardson, K., Welleck, S., Hajishirzi, H., Khot, T., Sabharwal, A., Singh, S., & Choi, Y. (2021). Prompt Waywardness: The Curious Case of Discretized Interpretation of Continuous Prompts.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.