Wie du KI dazu bringst, deine Prüfungen 'genau' zu bewerten

Ich beobachte häufig, dass Leute ihre Schreibproben in KI-Tools wie ChatGPT oder Claude hochladen, um eine Bewertung bitten und sich dann beschweren, dass die Benotung nicht konsistent oder fair ist. Ich werde in diesem Beitrag nicht auf die Natur von LLMs eingehen, aber

a.) du musst das Tool richtig prompten, um ein genaueres Ergebnis zu bekommen

b.) LLMs sind noch nicht an einem Punkt, wo du dich für deine Vorbereitung vollständig auf sie verlassen solltest

Nehmen wir diese IELTS-Beispielfrage/-antwort:

Frage: Some people believe that children should be taught to compete in school, while others think they should be taught to cooperate. Discuss both views and give your own opinion.

Antwort: Nowadays, there is a debate about whether children should learn to compete or cooperate in school. Both approaches have advantages and I will discuss them in this essay...[vollständige Frage/Antwort, die ich für diesen Beitrag verwendet habe, in den Kommentaren].

Das Tool richtig prompten

Wenn du das einfach in ChatGPT kopierst und nach deinem IELTS-Band fragst -- promptest du das Tool falsch! Du wirst hohe Varianz und wahrscheinlich aufgeblähte Bewertungen bekommen. Dein Prompt sollte ungefähr so aussehen:

"https://takeielts.britishcouncil.org/sites/default/files/ielts\_writing\_band\_descriptors.pdf

Du bist ein IELTS-Expertenprüfer. Lies diesen angehängten Bewertungsbogen und bewerte dann genau und fair die folgende IELTS-Schreibaufgabe:

[füge hier dein Frage/Antwort-Paar ein]"

Du wirst geringere Varianz sehen (du kannst das testen, indem du mehrere Chats im Inkognito-Modus über mehrere LLMs öffnest und ihnen exakt denselben Prompt gibst) und weniger Band-Inflation.

Warum? Indem du mit dem Bewertungsbogen promptest, zwingst du den "virtuellen Prüfer", bestimmte Wörter und Phrasen in deiner Antwort mit den Richtlinien im Bewertungsbogen abzugleichen. Das wird dir ein "genaueres" Ergebnis liefern.

LLMs sind keine Prüfer

Ich sage "genau" immer in Anführungszeichen, weil es darauf ankommt, wie LLMs funktionieren. Das sind im Wesentlichen Vorhersagealgorithmen, die auf dem basieren, was sie zuvor gesehen haben. Echte menschliche Prüfer haben mündliche, schriftliche und virtuelle Schulungen absolviert, bei denen ein professioneller Trainer Kontext zum Bewertungsbogen hinzugefügt hat. Sie können neuartige Frage/Antwort-Paare einfacher und konsistenter bewerten.

Obwohl es auch Varianz unter Prüfern gibt, bedeuten Jahrzehnte der Entwicklung von Schulungsprogrammen, dass eine Überprüfung deiner Ergebnisse durch einen Expertenprüfer wahrscheinlich näher an deinen Prüfungstagergebnissen liegen wird.

Ich bin ein großer Fan davon, keinen einzigen Euro für deine Prüfungsvorbereitung auszugeben, bis du einen bestimmten Punkt erreichst. PDFs, kostenlose Online-Tests, Gespräche mit einem Freund, KI-Tools usw. sollten zuerst ausgeschöpft werden. Sobald du jedoch deine kostenlosen Ressourcen maximiert hast, ist es Zeit, den Kreis mit einem Expertenprüfer zu schließen. Du findest einen auf lottalingo.com.

Viel Erfolg beim Lernen!