Prompt Leaking

Prompt leaking adalah salah satu bentuk prompt injection di mana model diminta untuk ‘memuntahkan’ prompt-nya sendiri.

Seperti yang ditunjukkan dalam gambar contoh di bawah ini, penyerang mengubah input_pengguna untuk mencoba mengembalikan prompt. Tujuan yang dimaksud berbeda dari penyusupan tujuan (injeksi instruksi normal), di mana penyerang mengubah masukan_pengguna untuk mencetak instruksi jahat.

Gambar berikut, lagi-lagi dari contoh remoteli.io, menampilkan pengguna Twitter yang membuat model bocor dengan promptnya.

Ya, lalu apa? Mengapa kita harus peduli tentang prompt leaking?

Terkadang orang ingin merahasiakan tanggapan mereka. Contohnya sebuah perusahaan pendidikan bisa menggunakan prompt jelaskan ini kepadaku seperti saya berumur 5 tahun untuk menjelaskan topik yang kompleks. Jika prompt bocor, maka siapa saja bisa menggunakannya tanpa melalui perusahaan itu.

Microsoft Bing Chat

Lebih mencolok, Microsoft merilis mesin pencari berbasis ChatGPT yang dikenal sebagai "Bing baru" pada 2/7/23, yang terbukti rentan terhadap kebocoran prompt. Contoh berikut oleh @kliu128 menunjukkan bagaimana dengan versi sebelumnya dari Pencarian Bing yang bernama kode "Sydney", rentan ketika memberikan potongan dari perintahnya. Ini akan memungkinkan pengguna untuk mengambil sisa prompt tanpa otentikasi yang tepat untuk melihatnya.

Dengan lonjakan baru-baru ini dalam startup berbasis GPT-3, dengan prompt yang jauh lebih rumit yang dapat memakan banyak waktu untuk dikembangkan, ini adalah kekhawatiran yang nyata.

Latihan

Coba bocorkan prompt berikut dengan menambahkan teks ke dalamnya:

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

1. Perez, F., & Ribeiro, I. (2022). Ignore Previous Prompt: Attack Techniques For Language Models. arXiv. https://doi.org/10.48550/ARXIV.2211.09527 ↩ ↩²

2. Willison, S. (2022). Prompt injection attacks against GPT-3. https://simonwillison.net/2022/Sep/12/prompt-injection/ ↩

3. Liu, K. (2023). The entire prompt of Microsoft Bing Chat?! (Hi, Sydney.). https://twitter.com/kliu128/status/1623472922374574080 ↩

4. Chase, H. (2022). adversarial-prompts. https://github.com/hwchase17/adversarial-prompts ↩