Comment faire noter vos examens par l'IA de façon 'précise'

Quelque chose que je vois beaucoup c'est des gens qui téléchargent leurs échantillons d'écriture sur des outils IA comme Chat GPT ou Claude, demandent une évaluation, puis se plaignent que la notation n'est pas cohérente ou juste. Je ne vais pas entrer dans la nature des LLMs dans ce post, mais

a.) vous devez prompter l'outil correctement pour obtenir un résultat plus précis

b.) les LLMs ne sont pas à un stade où vous devriez être entièrement dépendant d'eux pour votre préparation

Prenons cet exemple de question/réponse IELTS :

Question : Certaines personnes pensent qu'on devrait apprendre aux enfants à être compétitifs à l'école, tandis que d'autres pensent qu'on devrait leur apprendre à coopérer. Discutez des deux points de vue et donnez votre propre opinion.

Réponse : De nos jours, il y a un débat sur la question de savoir si les enfants devraient apprendre à être compétitifs ou à coopérer à l'école. Les deux approches ont des avantages et je vais les discuter dans cet essai...[question/réponse complète que j'ai utilisée pour ce post dans les commentaires].

Prompter l'outil correctement

Si vous copiez-collez simplement ceci dans ChatGPT et demandez votre bande IELTS -- vous promptez l'outil incorrectement ! Vous aurez une haute variance, et probablement une notation gonflée. Votre prompt devrait ressembler à quelque chose comme ça :

"https://takeielts.britishcouncil.org/sites/default/files/ielts\_writing\_band\_descriptors.pdf

Vous êtes un examinateur IELTS expert. Lisez cette grille jointe puis notez de manière précise et juste la tâche d'écriture IELTS suivante :

[insérez votre paire question/réponse ici]"

Vous verrez une variance plus faible (vous pouvez tester cela en ouvrant plusieurs chats en mode incognito sur plusieurs LLMs et en leur donnant exactement le même prompt) et moins d'inflation de bande.

Pourquoi ? En promptant avec la grille vous forcez l'"examinateur virtuel" à faire correspondre des mots et phrases spécifiques de votre réponse avec les directives de la grille. Cela vous donnera un résultat plus "précis".

Les LLMs ne sont pas des examinateurs

Je dis toujours "précis" entre guillemets à cause du fonctionnement des LLMs. Ce sont essentiellement des algorithmes de prédiction basés sur ce qu'ils ont vu avant. Les vrais examinateurs humains ont suivi des formations orales, écrites et virtuelles où du contexte a été ajouté à la grille par un formateur professionnel de formateurs. Ils peuvent plus facilement et régulièrement noter des paires question/réponse nouvelles.

Bien qu'il y ait aussi une variance entre les examinateurs, des décennies de développement de programmes de formation signifient que faire réviser vos résultats par un examinateur expert sera probablement plus proche de vos résultats le jour du test.

Je suis un grand fan de ne pas dépenser un seul € dans votre préparation au test jusqu'à ce que vous atteigniez un certain point. PDFs, tests en ligne gratuits, discussions avec un ami, outils IA, etc. devraient être épuisés en premier. Cependant, une fois que vous avez maximisé vos ressources gratuites, il est temps de boucler la boucle avec un examinateur expert. Vous pouvez en trouver un sur lottalingo.com.

Bonne chance dans vos études !