Prompts formalisieren

Wir haben nun mehrere Arten von Prompts sowie Möglichkeiten, sie zu kombinieren, behandelt. Auf dieser Seite findest du Begriffe, die die verschiedenen Arten von Prompts erklären. Obwohl es Ansätze zur Formalisierung des Diskurses über das Prompt-Engineering gibt, ist das Feld ständig im Wandel begriffen, so dass wir dir gerade genug Informationen für den Einstieg geben.

Teile eines Prompts

Es gibt ein paar verschiedene Teile eines Prompts, die du immer wieder sehen wirst. Die sind:

• Eine Rolle
• Eine Anweisung/Aufgabe
• Eine Frage
• Kontext
• Beispiele (Few Shot)

Auf den vorhergehenden Seiten haben wir Rollen, Anweisungen und Beispiele behandelt. Eine Frage ist einfach eine Frage! (z. B. Was ist die Hauptstadt von Frankreich?). Kontext ist jede relevante Information, die das Modell bei der Beantwortung der Frage/Ausführung der Anweisung verwenden soll.

Nicht alle dieser Elemente kommen in jedem Prompt vor, und wenn einige von ihnen vorkommen, gibt es keine Standardreihenfolge für sie. Die folgenden beiden Prompts, die jeweils eine Rolle, eine Anweisung und einen Kontext enthalten, bewirken in etwa das Gleiche:

Du bist ein Arzt. Lies diese Anamnese und sag die Risiken für den Patienten voraus:

1. Januar 2000: Bruch des rechten Arms beim Basketballspielen. Wird mit einem Gips behandelt.
15. Februar 2010: Diagnose: Bluthochdruck. Verschreibung von Lisinopril.
10. September 2015: Erkrankte an einer Lungenentzündung. Wurde mit Antibiotika behandelt und erholte sich vollständig.
1. März 2022: Erlitt eine Gehirnerschütterung bei einem Autounfall. Wurde ins Krankenhaus eingeliefert und 24 Stunden lang überwacht.

1. Januar 2000: Bruch des rechten Arms beim Basketballspielen. Wird mit einem Gips behandelt.
15. Februar 2010: Diagnose: Bluthochdruck. Verschreibung von Lisinopril.
10. September 2015: Erkrankte an einer Lungenentzündung. Wurde mit Antibiotika behandelt und erholte sich vollständig.
1. März 2022: Erlitt eine Gehirnerschütterung bei einem Autounfall. Wurde ins Krankenhaus eingeliefert und 24 Stunden lang überwacht.

Du bist ein Arzt. Lies diese Anamnese und sag die Risiken für den Patienten voraus:

Der zweite Prompt ist jedoch wahrscheinlich vorzuziehen, da die Anweisung der letzte Teil des Prompts ist. Dies ist gut, da es weniger wahrscheinlich ist, dass der LLM einfach mehr Kontext schreibt, anstatt der Anweisung zu folgen. Zum Beispiel könnte der LLM bei dem ersten Prompt eine neue Zeile hinzufügen: 15. März 2022: Nachfolgetermin beim Neurologen zur Beurteilung des Genesungsfortschritts der Gehirnerschütterung angesetzt.

Ein Standard Prompt

Wir haben bisher von einigen verschiedenen Formaten von Prompts gehört. Nun wollen wir schnell zum Anfang zurückkehren und einen Standard Prompt definieren. In Anlehnung an Kojima et al. bezeichnen wir Prompts, die nur aus einer Frage bestehen, als Standard Prompts. Wir betrachten auch Prompts, die nur aus einer Frage bestehen, die im QA-Format verfasst wurde, als Standard Prompts.

Warum sollte mich das interessieren?

Viele Artikel/Paper, auf die wir verweisen, verwenden diesen Begriff. Wir definieren ihn, damit wir über neue Arten von Prompts im Gegensatz zu Standard-Prompts diskutieren können.

Zwei Beispiele für Standard Prompts:

Standard Prompt

Was ist die Hauptstadt Frankreichs?

Standard Prompt im QA Format

Q: Was ist die Hauptstadt Frankreichs?

A:

Few Shot Standard Prompts

Few Shot Standard Prompts sind nur Standard Prompts, die Exemplare enthalten. Exemplare sind Beispiele für die Aufgabe, die der Prompt zu lösen versucht, die im Prompt selbst enthalten sind. In der Forschung werden die Few Shot Standard Prompts manchmal einfach als Standard Prompts bezeichnet (obwohl wir versuchen, dies in diesem Leitfaden nicht zu tun).

Zwei Beispiele für Few Shot Standard Prompts:

Few Shot Standard Prompt

Was ist die Hauptstadt von Spanien?
Madrid
Was ist die Hauptstadt Italiens?
Rom
Was ist die Hauptstadt Frankreichs?

Few Shot Standard Prompt im QA Format

Q: Was ist die Hauptstadt von Spanien?
A: Madrid
Q: Was ist die Hauptstadt Italiens?
A: Rom
Q: Was ist die Hauptstadt Frankreichs?
A:

Few Shot Prompts erleichtern das Lernen im Kontext, d.h. die Fähigkeit, ohne Parameteraktualisierungen zu lernen.

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

1. White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., Elnashar, A., Spencer-Smith, J., & Schmidt, D. C. (2023). A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT. ↩

2. Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large Language Models are Zero-Shot Reasoners. ↩

3. Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2022). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Computing Surveys. https://doi.org/10.1145/3560815 ↩

4. Brown, T. B. (2020). Language models are few-shot learners. arXiv Preprint arXiv:2005.14165. ↩

5. Zhao, T. Z., Wallace, E., Feng, S., Klein, D., & Singh, S. (2021). Calibrate Before Use: Improving Few-Shot Performance of Language Models. ↩