Referensi Kosakata

Reading Time: 2 minutes

Last updated on August 7, 2024

Silakan merujuk ke halaman ini untuk daftar istilah dan konsep yang akan kami gunakan dalam kursus ini.

Large Language Models (LLMs), Pretrained Language Models (PLMs), Language Models (LMs), dan model dasar

Semua istilah ini merujuk lebih kurang pada hal yang sama: Kecerdasan Buatan besar (jaringan saraf), yang biasanya telah dilatih pada jumlah teks yang sangat besar.

Masked Language Models (MLMs)

MLM adalah jenis model NLP, yang memiliki token khusus, biasanya [MASK], yang digantikan dengan kata-kata dari kamus. Model kemudian memprediksi kata yang telah disembunyikan. Misalnya, jika kalimatnya adalah "Anjing [MASK] kucing", model akan memprediksi "mengejar" dengan probabilitas tinggi.

Label

Konsep label lebih dapat dipahami jika diberikan contoh.

Katakanlah kita ingin mengklasifikasikan beberapa Tweet sebagai kasar atau tidak kasar. Jika kita memiliki daftar Tweet dan label yang sesuai (kasar atau tidak kasar), kita dapat melatih model untuk mengklasifikasikan apakah tweet kasar atau tidak. Label umumnya hanya merupakan kemungkinan untuk tugas klasifikasi.

Label Space

Semua label yang mungkin untuk tugas tertentu ('kasar' dan 'tidak kasar' untuk contoh di atas).

Sentiment Analysis

Sentiment analysis adalah tugas mengklasifikasikan teks menjadi sentimen positif, negatif, atau lainnya.

"Model" vs. "AI" vs. "LLM"

Istilah-istilah ini digunakan agak bergantian selama kursus ini, tetapi tidak selalu memiliki arti yang sama. LLMs adalah jenis AI, seperti yang disebutkan di atas, tetapi tidak semua AI adalah LLMs. Ketika kita menyebutkan model dalam kursus ini, kami merujuk pada model AI. Oleh karena itu, dalam kursus ini, Anda dapat menganggap istilah "model" dan "AI" dapat saling dipertukarkan.

Machine Learning (ML)

ML adalah bidang studi yang berfokus pada algoritma-algoritma yang dapat belajar dari data. ML adalah subbidang AI.

Verbalizer

Pada pengaturan klasifikasi, verbalizer adalah pemetaan dari label ke kata-kata dalam kosakata. Sebagai contoh, pertimbangkan melakukan klasifikasi sentimen dengan prompt berikut:

Tweet: "Saya suka hotpockets"
Apa sentimen dari tweet ini? Katakan 'pos' atau 'neg'.

Di sini, verbalizer adalah pemetaan dari label konseptual dari positif dan negatif ke token pos dan neg.

Reinforcement Learning from Human Feedback (RLHF)

RLHF adalah metode untuk menyetel ulang LLM menurut data preferensi manusia.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

Branch, H. J., Cefalu, J. R., McHugh, J., Hujer, L., Bahl, A., del Castillo Iglesias, D., Heichman, R., & Darwishi, R. (2022). Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples. ↩
Schick, T., & Schütze, H. (2020). Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference. ↩ ↩²
Brown, T. B. (2020). Language models are few-shot learners. arXiv Preprint arXiv:2005.14165. ↩ ↩² ↩³
Wu, T., Terry, M., & Cai, C. J. (2022). Ai chains: Transparent and controllable human-ai interaction by chaining large language model prompts. Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, 1–22. ↩
Schulhoff, S., Ilie, M., Balepur, N., Kahadze, K., Liu, A., Si, C., Li, Y., Gupta, A., Han, H., Schulhoff, S., & others. (2024). The Prompt Report: A Systematic Survey of Prompting Techniques. arXiv Preprint arXiv:2406.06608. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶
Shin, T., Razeghi, Y., Logan IV, R. L., Wallace, E., & Singh, S. (2020). Autoprompt: Eliciting knowledge from language models with automatically generated prompts. arXiv Preprint arXiv:2010.15980. ↩
Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large Language Models are Zero-Shot Reasoners. ↩
Yasunaga, M., Chen, X., Li, Y., Pasupat, P., Leskovec, J., Liang, P., Chi, E. H., & Zhou, D. (2023). Large language models as analogical reasoners. arXiv Preprint arXiv:2310.01714. ↩
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., Sutskever, I., & others. (2019). Language models are unsupervised multitask learners. OpenAI Blog, 1(8), 9. ↩
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., Chi, E., Le, Q., & Zhou, D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models. ↩
Yew Ken Chia. (2023). Contrastive Chain-of-Thought Prompting. In arXiv preprint arXiv:1907.11692. ↩ ↩²
Tushar Khot. (2023). Decomposed Prompting: A Modular Approach for Solving Complex Tasks. ↩
Li, C., Wang, J., Zhang, Y., Zhu, K., Hou, W., Lian, J., Luo, F., Yang, Q., & Xie, X. (2023). Large language models understand and can be enhanced by emotional stimuli. arXiv Preprint arXiv:2307.11760. ↩
Fu, Y., Peng, H., Sabharwal, A., Clark, P., & Khot, T. (2022). Complexity-based prompting for multi-step reasoning. The Eleventh International Conference on Learning Representations. ↩
Zhou, D., Schärli, N., Hou, L., Wei, J., Scales, N., Wang, X., Schuurmans, D., Cui, C., Bousquet, O., Le, Q., & Chi, E. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ↩
Lei Wang. (2023). Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models. ↩
Zheng, M., Pei, J., & Jurgens, D. (2023). Is “A Helpful Assistant” the Best Role for Large Language Models? A Systematic Evaluation of Social Roles in System Prompts. https://arxiv.org/abs/2311.10054 ↩
Zheng, H. S., Mishra, S., Chen, X., Cheng, H.-T., Chi, E. H., Le, Q. V., & Zhou, D. (2023). Take a step back: Evoking reasoning via abstraction in large language models. arXiv Preprint arXiv:2310.06117. ↩
Lu, A., Zhang, H., Zhang, Y., Wang, X., & Yang, D. (2023). Bounding the capabilities of large language models in open text generation with prompt constraints. arXiv Preprint arXiv:2302.09185. ↩
Zhou, Y., Geng, X., Shen, T., Tao, C., Long, G., Lou, J.-G., & Shen, J. (2023). Thread of thought unraveling chaotic contexts. arXiv Preprint arXiv:2311.08734. ↩
Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R. L., Choi, Y., & Hajishirzi, H. (2021). Generated Knowledge Prompting for Commonsense Reasoning. ↩
Fei-Fei, L., Fergus, R., & Perona, P. (2006). One-shot learning of object categories. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(4), 594–611. ↩
Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a few examples: A survey on few-shot learning. ACM Computing Surveys (Csur), 53(3), 1–34. ↩
Gao, L., Madaan, A., Zhou, S., Alon, U., Liu, P., Yang, Y., Callan, J., & Neubig, G. (2023). Pal: Program-aided language models. International Conference on Machine Learning, 10764–10799. ↩
Schmidt, D. C., Spencer-Smith, J., Fu, Q., & White, J. (2023). Cataloging prompt patterns to enhance the discipline of prompt engineering. URL: Https://Www. Dre. Vanderbilt. Edu/Undefined̃ Schmidt/PDF/ADA_Europe_Position_Paper. Pdf [Accessed 2023-09-25]. ↩
Wang, Z., Mao, S., Wu, W., Ge, T., Wei, F., & Ji, H. (2024). Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration. https://arxiv.org/abs/2307.05300 ↩
Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., & Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ↩
Liu, J., Shen, D., Zhang, Y., Dolan, B., Carin, L., & Chen, W. (2022). What Makes Good In-Context Examples for GPT-3? Proceedings of Deep Learning Inside Out (DeeLIO 2022): The 3rd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures. https://doi.org/10.18653/v1/2022.deelio-1.10 ↩