🔓 Злом запиту🟢 Атакуючі дії🟢 Введення коду

Введення коду

🟢 This article is rated easy

Reading Time: 1 minute

Last updated on August 7, 2024

Введення коду — це експлойт для швидкого злому, коли зловмисник може змусити ВММ запускати довільний код (часто Python). Це може трапитися у ВММ, доповнених інструментами, які можуть надсилати код інтерпретатору, але це також може статися, коли самі ВММ використовується для оцінки коду.

Як повідомляється, введення коду було виконано у програмі зі штучним інтелектом, MathGPT і використано для отримання ключа API OpenAI (звіт MITRE).

Note

З того часу MathGPT захищено від введення коду. Будь ласка, не намагайтеся зламати її; виклики API платні.

Наприклад

Попрацюймо зі спрощеним прикладом програми MathGPT. Ми припустимо, що вона приймає математичну задачу та пише код на Python, щоб спробувати її вирішити.

Ось запит, який використовує спрощений приклад програми:

Напиши код на Python, щоб розв’язати таку математичну задачу:
{{user_input}}

Зламаймо її тут:

Це простий приклад, але він показує, що цей вид експлойту є значним і небезпечним.

Сандер Шульхофф

Footnotes

Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks. ↩