Prompt Leaking

Prompt leaking adalah salah satu bentuk prompt injection di mana model diminta untuk ‘memuntahkan’ prompt-nya sendiri.

Seperti yang ditunjukkan dalam gambar contoh^{1Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. arXiv. https://doi.org/10.48550/ARXIV.2211.09527} di bawah ini, penyerang mengubah input_pengguna untuk mencoba mengembalikan prompt. Tujuan yang dimaksud berbeda dari penyusupan tujuan (injeksi instruksi normal), di mana penyerang mengubah masukan_pengguna untuk mencetak instruksi jahat^{1Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. arXiv. https://doi.org/10.48550/ARXIV.2211.09527} .

Gambar berikut^{2Willison, S. (2022). Prompt injection attacks against GPT-3. https://simonwillison.net/2022/Sep/12/prompt-injection/} , lagi-lagi dari contoh remoteli.io, menampilkan pengguna Twitter yang membuat model bocor dengan promptnya.

Ya, lalu apa? Mengapa kita harus peduli tentang prompt leaking?

Terkadang orang ingin merahasiakan tanggapan mereka. Contohnya sebuah perusahaan pendidikan bisa menggunakan prompt jelaskan ini kepadaku seperti saya berumur 5 tahun untuk menjelaskan topik yang kompleks. Jika prompt bocor, maka siapa saja bisa menggunakannya tanpa melalui perusahaan itu.

Microsoft Bing Chat

Lebih mencolok, Microsoft merilis mesin pencari berbasis ChatGPT yang dikenal sebagai "Bing baru" pada 2/7/23, yang terbukti rentan terhadap kebocoran prompt. Contoh berikut oleh @kliu128 menunjukkan bagaimana dengan versi sebelumnya dari Pencarian Bing yang bernama kode "Sydney", rentan ketika memberikan potongan dari perintahnya^{3Liu, K. (2023). The entire prompt of Microsoft Bing Chat?! (Hi, Sydney.). https://twitter.com/kliu128/status/1623472922374574080} . Ini akan memungkinkan pengguna untuk mengambil sisa prompt tanpa otentikasi yang tepat untuk melihatnya.

Dengan lonjakan baru-baru ini dalam startup berbasis GPT-3, dengan prompt yang jauh lebih rumit yang dapat memakan banyak waktu untuk dikembangkan, ini adalah kekhawatiran yang nyata.

Latihan

Coba bocorkan prompt berikut^{4Chase, H. (2022). adversarial-prompts. https://github.com/hwchase17/adversarial-prompts} dengan menambahkan teks ke dalamnya: