Bem-Vindo(a)!
😃 Fundamentos
💼 Aplicações Básicas
🧙‍♂️ Intermediário
🤖 Agentes
⚖️ Confiabilidade
🖼️ Prompts para Imagens
🔓 Hackeando Prompts
🔨 Ferramentas
💪 Ajustando prompts
🎲 Aleatórios
📙 Vocabulário
📚 Bibliography
📦 Prompted Products
🛸 Additional Resources
🔥 Hot Topics
✨ Credits
🔓 Hackeando Prompts 🟢 Medidas Ofensivas🟢 Injeção de Código

Injeção de Código

🟢 This article is rated easy
Reading Time: 1 minute
Last updated on August 7, 2024

Sander Schulhoff

A injeção de código é uma exploração de invasão de prompt em que o invasor é capaz de fazer com que o LLM execute código arbitrário (geralmente Python). Isso pode ocorrer em LLMs com ferramentas auxiliares, onde o LLM é capaz de enviar código para um interpretador, mas também pode ocorrer quando o próprio LLM é usado para avaliar código.

Relatos indicam que a injeção de código foi realizada em um aplicativo de IA, o MathGPT, e foi usada para obter sua chave de API da OpenAI (relatório do MITRE disponível em (MITRE report)).

Note

O MathGPT foi posteriormente protegido contra injeção de código. Por favor, não tente invadi-lo; eles pagam pelas chamadas de API.

Exemplo

Vamos trabalhar com um exemplo simplificado do aplicativo MathGPT. Vamos supor que ele receba um problema matemático e escreva código Python para tentar resolver o problema.

Aqui está o prompt usado no exemplo simplificado do aplicativo:

Escreva código Python para resolver o seguinte problema matemático:
{{user_input}}

Vamos invadi-lo abaixo:

Esse é um exemplo simples, mas mostra que esse tipo de ataque é significante e perigoso.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

  1. Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks.