Injeksi Kode

Injeksi kode adalah eksploitasi hacking yang cepat di mana penyerang dapat membuat LLM menjalankan kode sembarang (seringkali Python). Ini dapat terjadi pada LLM yang diperkuat alat, di mana LLM dapat mengirim kode ke interpreter, tetapi juga dapat terjadi ketika LLM itu sendiri digunakan untuk mengevaluasi kode.

Injeksi kode dilaporkan been telah dilakukan pada aplikasi AI, MathGPT dan dgunakan untuk memperoleh OpenAI API key (MITRE report).

Contoh

Mari kita bekerja dengan contoh sederhana dari MathGPT. Kami akan menganggap bahwa itu mengambil masalah matematika dan menulis kode Python untuk mencoba memecahkan masalah tersebut.

Ini adalah prompt yang digunakan oleh aplikasi contoh yang disederhanakan:

Tulis kode Python untuk menyelesaikan permasalahan matematika berikut:
{{user_input}}

Mari kita bobol di sini:

Ini adalah contoh sederhana, tetapi ini menunjukkan bahwa jenis penyalahgunaan ini signifikan dan berbahaya.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

1. Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks. ↩