Announcing our new Course: AI Red-Teaming and AI Safety Masterclass
Check it out →
Learn Prompting🟢 Fuga de Prompt
Última actualización el August 7, 2024 por Sander SchulhoffLa fuga de prompt es una forma de inyección de prompt en la que se le pide al modelo que genere su propio prompt.
Como se muestra en la imagen de ejemplo1 a continuación, el atacante cambia user_input para intentar devolver el prompt. El objetivo previsto es distinto del secuestro de objetivo (inyección de prompt normal), donde el atacante cambia user_input para imprimir instrucciones maliciosas1.
La siguiente imagen2, nuevamente del ejemplo de remoteli.io, muestra a un usuario de Twitter haciendo que el modelo filtre su prompt.
¿Y bien? ¿Por qué debería importarle la fuga de prompt a alguien?
A veces las personas quieren mantener sus prompts en secreto. Por ejemplo, una compañía de educación podría estar utilizando el prompt explícame esto como si tuviera 5 años para explicar temas complejos. Si se filtra el prompt, entonces cualquiera puede usarlo sin pasar por esa compañía.
Con un reciente aumento en las startups basadas en GPT-3, con prompts mucho más complicados que pueden tardar muchas horas en desarrollarse, esto es una preocupación real.
Práctica
Intente hacer que el siguiente prompt3 filtre información al agregar texto:
Footnotes
-
Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. arXiv. https://doi.org/10.48550/ARXIV.2211.09527 ↩ ↩2
-
Willison, S. (2022). Prompt injection attacks against GPT-3. https://simonwillison.net/2022/Sep/12/prompt-injection/ ↩
-
Chase, H. (2022). adversarial-prompts. https://github.com/hwchase17/adversarial-prompts ↩