Prompt hacking adalah istilah yang digunakan untuk menggambarkan jenis serangan yang mengeksploitasi kerentanan LLMs, dengan memanipulasi input atau prompt mereka. Berbeda dengan hacking tradisional, yang biasanya mengeksploitasi kerentanan perangkat lunak, prompt hacking bergantung pada pembuatan prompt dengan hati-hati untuk menipu LLM agar melakukan tindakan yang tidak disengaja.
Kami akan mencakup tiga jenis prompt hacking: injeksi prompt, prompt leaking, dan jailbreaking. Injeksi prompt melibatkan penambahan konten berbahaya atau tidak disengaja ke dalam prompt untuk mencuri keluaran model bahasa. Prompt leaking dan jailbreaking secara efektif adalah subset dari ini: Prompt leaking melibatkan ekstraksi informasi sensitif atau rahasia dari respon LLM, sedangkan jailbreaking melibatkan melewati fitur keamanan dan moderasi. Kita juga akan membahas teknik-teknik serangan khusus serta teknik-teknik pertahanan.
Untuk melindungi diri dari prompt hacking, langkah-langkah defensif harus diambil. Hal ini termasuk melaksanakan pertahanan yang berbasis prompt, secara rutin memantau perilaku dan output LLM untuk aktivitas yang tidak biasa, dan menggunakan penyetelan atau teknik lainnya. Secara keseluruhan, peretasan cepat menjadi kekhawatiran yang semakin meningkat untuk keamanan LLMs, dan penting untuk tetap waspada dan mengambil langkah proaktif untuk melindungi diri dari jenis serangan ini.
Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.