Comment fonctionne le moteur e-rater

Lors de la notation des essais, le moteur e-rater^® va :

Validez que les fonctionnalités ne prédictent pas seulement la note du lecteur, mais ont aussi une pertinence logique pour le prompt d’écriture
signalez automatiquement les réponses hors sujet ou incohérentes, afin qu’elles puissent être réservées pour examen
Combiner les caractéristiques de notation dans un modèle statistique pour produire une estimation finale du score

Le moteur e-rater est en continu développé et amélioré, dans le but d’étendre sa capacité à modéliser des aspects importants et difficiles de la maîtrise de l’écriture. La recherche en cours vise à renforcer les capacités du moteur e-rater afin qu’il puisse identifier et évaluer la structure d’un argument dans un essai, ainsi que l’utilisation créative du langage dans l’écriture des étudiants et des candidats aux tests.

Fonctionnalités de l’e-rater

Les fonctionnalités utilisées pour la notation e-rater sont le fruit de près de deux décennies de recherche en traitement du langage naturel à l’ETS, et chaque caractéristique peut être composée de sous-caractéristiques indépendantes. Des travaux ont également été réalisés pour établir une échelle verticalement liée des scores d’écriture K–12 entre les niveaux scolaires, basée sur le moteur e-rater, connue sous le nom d’échelle d’écriture développementale.

Les caractéristiques actuelles du moteur de notation e-rater incluent :

Analyse de contenu basée sur des mesures de vocabulaire
Complexité lexicale/diction
Proportion des erreurs de grammaire, d’utilisation et de mécanique
Proportion des commentaires sur le style
Scores d’organisation et de développement
une phrasée idiomatique gratifiante

L’ajustement des caractéristiques pour attribuer un score total à un essai peut être adapté à une consigne spécifique, ou de manière « générique », permettant d’utiliser le même modèle d’évaluateur électronique pour noter une variété de réponses à l’endroit.

Accord de score

Pour les tâches adaptées au moteur e-rater (tâches de rédaction d’essais de la longueur de l’essai notées pour la qualité de la rédaction plutôt que pour la justesse des affirmations formulées dans la réponse), l’accord avec les évaluateurs humains peut être très fort. Comme l’ont constaté Attali, Bridgeman & Trapani en 2010, Automated Essay Writing with e-rater v2.0 (PDF), l’accord du moteur e-rater avec un évaluateur humain sur les tâches TOEFL^® Independent et GRE^® Issue était supérieur à l’accord entre deux évaluateurs humains indépendants.