Cómo conseguir que la IA califique tus exámenes 'con precisión'

Algo que estamos viendo mucho es gente subiendo sus muestras de escritura a herramientas de IA como ChatGPT o Claude, pidiendo una evaluación, y luego quejándose de que la calificación no es consistente o justa. No vamos a entrar en la naturaleza de los LLMs en esta publicación, pero

a.) necesitas dar el prompt correcto a la herramienta para obtener un resultado más preciso

b.) los LLMs no están en un punto ahora donde debas depender completamente de ellos para tu preparación

Tomemos esta pregunta/respuesta de ejemplo del IELTS:

Pregunta: Algunas personas creen que a los niños se les debe enseñar a competir en la escuela, mientras que otros piensan que se les debe enseñar a cooperar. Discute ambos puntos de vista y da tu propia opinión.

Respuesta: Hoy en día, hay un debate sobre si los niños deben aprender a competir o cooperar en la escuela. Ambos enfoques tienen ventajas y las discutiré en este ensayo...[pregunta/respuesta completa que usamos para esta publicación en los comentarios].

Dar el prompt correcto a la herramienta

Si simplemente copias y pegas esto en ChatGPT y le pides tu banda de IELTS -- ¡estás dando el prompt incorrecto a la herramienta! Obtendrás alta varianza, y probablemente inflación, en la puntuación. Tu prompt debería verse algo así:

"https://takeielts.britishcouncil.org/sites/default/files/ielts\_writing\_band\_descriptors.pdf

Eres un examinador experto de IELTS. Lee esta rúbrica adjunta y luego califica de manera precisa y justa la siguiente tarea de escritura de IELTS:

[inserta tu par de pregunta/respuesta aquí]"

Verás menor varianza (puedes probar esto abriendo múltiples chats en modo incógnito a través de múltiples LLMs y dándoles exactamente el mismo prompt) y menor inflación de banda.

¿Por qué? Al dar el prompt con la rúbrica estás forzando al "examinador virtual" a emparejar palabras y frases específicas en tu respuesta con las directrices en la rúbrica. Esto te dará un resultado más "preciso".

Los LLMs no son examinadores

Decimos "preciso" siempre entre comillas debido a cómo funcionan los LLMs. Estos son esencialmente algoritmos de predicción basados en lo que han visto antes. Los examinadores humanos reales han pasado por entrenamientos orales, escritos y virtuales donde se ha añadido contexto a la rúbrica por un entrenador profesional de entrenadores. Pueden calificar de manera más fácil y consistente pares de pregunta/respuesta novedosos.

Mientras que también hay varianza entre examinadores, décadas de desarrollo de programas de entrenamiento significan que obtener tus resultados revisados por un examinador experto probablemente estará más alineado con tus resultados del día del examen.

Somos grandes fans de no gastar un solo $ en tu preparación para el examen hasta que llegues a cierto punto. PDFs, exámenes gratuitos en línea, charlar con un amigo, herramientas de IA, etc. deberían agotarse primero. Sin embargo, una vez que hayas maximizado tus recursos gratuitos, es hora de cerrar el ciclo con un examinador experto. Puedes encontrar uno en lottalingo.com.

¡Buena suerte estudiando!