📄️ 🔴 Soft Prompt
Prompt tuning(@lester2021power), sebuah alternatif untuk penyetelan model (@khashabi2021prompt), membekukan bobot model, dan memperbarui parameter dari sebuah perintah. Prompt yang dihasilkan adalah 'soft prompt'.
📄️ 🔴 Prompt yang Dapat Diinterpretasikan
Soft prompts adalah urutan vektor yang tidak sesuai dengan token yang sebenarnya dalam kosakata. Hal ini membuat sulit untuk menginterpretasikan prompt. Namun, kita masih dapat mencoba melakukannya dengan memetakan vektor ke token-token terdekat dalam kosakata. Namun, soft prompt yang diproyeksikan sering kali bermasalah; mereka dapat menyelesaikan tugas dengan baik, tetapi diproyeksikan ke token sembarang dalam kosakata (@khashabi2021prompt).