Announcing our new Paper: The Prompt Report, with Co-authors from OpenAI & Microsoft!

Check it out →
🔓 Hacking de prompts🟢 Mesures défensives🟢 Aperçu

🟢 Aperçu

Dernière mise à jour le August 7, 2024 par Sander Schulhoff

Prévenir l'injection de prompt (prompt injection) peut être extrêmement difficile, et il existe peu de défenses robustes contre cela12. Cependant, certaines solutions de bon sens existent. Par exemple, si votre application n'a pas besoin de produire du texte libre, ne permettez pas de tels résultats. Il existe de nombreuses manières différentes de défendre un prompt. Nous discuterons ici de certaines des plus courantes.

Ce chapitre couvre des stratégies supplémentaires de bon sens comme filtrer les mots. Il traite également des stratégies d'amélioration de prompt (défense par instruction, post-prompting, différentes façons d'encadrer les entrées utilisateur, et le balisage XML). Enfin, nous discutons de l'utilisation d'un LLM pour évaluer la sortie et de quelques approches plus spécifiques au modèle.

Footnotes

  1. Crothers, E., Japkowicz, N., & Viktor, H. (2022). Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods.

  2. Goodside, R. (2022). GPT-3 Prompt Injection Defenses. https://twitter.com/goodside/status/1578278974526222336?s=20&t=3UMZB7ntYhwAk3QLpKMAbw

Word count: 0

Get AI Certified by Learn Prompting


Copyright © 2024 Learn Prompting.