Des tâches plus efficaces peuvent-elles encore mesurer la capacité de rédaction académique ?

Depuis sa création en 1964 – la même année où les Beatles ont fait leur première tournée américaine – le TOEFL iBT a connu de multiples révisions. Une source d’expérimentation perpétuelle est la section Écriture du TOEFL, qui a fonctionné sous de nombreuses formes différentes au fil des décennies.

Il y a plusieurs années, le TOEFL iBT a commencé à étudier l’efficacité d’une nouvelle tâche de discussion académique de 10 minutes. Cette recherche visait à répondre à une question fondamentale : cette nouvelle tâche était-elle aussi efficace pour capturer la capacité d’écriture académique en anglais que la tâche traditionnelle d’essai d’une demi-heure ? 

Une nouvelle étude fournit des preuves encourageantes en son sens. En comparant la tâche d’écriture indépendante retirée avec la tâche plus récente Écrire pour une discussion académique, notre recherche a trouvé un fort alignement dans les scores, les indicateurs linguistiques et les comportements d’écriture en temps réel. 

Les résultats suggèrent qu’une tâche d’écriture soigneusement conçue et efficace peut préserver des preuves significatives de compétence en écriture académique – même lorsqu’elle produit des réponses plus courtes et de formes différentes.

Les évaluations traditionnelles à enjeux élevés reposaient souvent sur des essais longs et ouverts. Dans l’ancienne tâche d’écriture indépendante du TOEFL iBT, les candidats disposaient de 30 minutes pour écrire environ 300 mots en réponse à une question d’opinion générale. Cette tâche permettait de révéler la capacité de l’écrivain à développer un argument, organiser des idées et utiliser un langage varié.

Les essais étendus et ouverts, cependant, posent aussi de réelles limites. Ils peuvent être longs à administrer et à noter, et leurs consignes décontextualisées ne ressemblent pas forcément aux types d’écriture que les étudiants font réellement dans la communication académique contemporaine, qui inclut de plus en plus des contributions courtes et conscientes du public.

La nouvelle tâche Écrire pour une discussion académique (WAD) a été conçue en tenant compte de cet environnement changeant. Dans cette tâche, les candidats lisent la question d’un professeur et deux exemples de réponses d’étudiants, puis contribuent avec leur propre réponse à la discussion. Le format est plus court, plus contextualisé et plus interactif qu’un essai indépendant conventionnel. 

La question centrale de notre recherche était de savoir si le score produit par le WAD peut encore soutenir la même interprétation que la tâche Indépendante. À savoir : un score plus élevé au WAD reflète-t-il toujours une meilleure capacité en rédaction académique en anglais ?

Notre étude a examiné les réponses de 1 095 adultes apprenant l’anglais dans sept universités chinoises. Tous les participants ont accompli les deux types de tâches via une plateforme qui enregistrait leurs réponses écrites, ainsi que chaque frappe clavier et chaque test de mouvement du curseur effectué par les participants lors de la rédaction de leurs réponses. Cela nous a permis de comparer à la fois le produit et le processus d’écriture. 

Les participants ont reçu des scores de la part d’évaluateurs TOEFL iBT formés utilisant des grilles d’évaluation holistiques spécifiques à chaque tâche, en cinq points, axées sur le contenu et l’élaboration, l’organisation et la cohérence, ainsi que la variété et la précision linguistiques. 

Les chercheurs ont ensuite analysé :

• Accord entre les tâches et les scores entre les deux formats
• Caractéristiques textuelles telles que la longueur, la syntaxe, le vocabulaire, la précision et la réutilisation du langage des prompts
• Indicateurs de planification, pause et révision basés sur frappes clavier

Cette combinaison est importante. Des scores comparables seuls ne prouvent pas que deux tâches mesurent le même construct. Les auteurs peuvent obtenir des scores similaires grâce à des ressources linguistiques ou des processus cognitifs très différents. Examiner à la fois les textes finis et le comportement d’écriture des candidats a offert une base plus solide pour évaluer l’interprétation des scores.

Notre constat le plus clair a été que les scores étaient fortement cohérents entre les tâches. Près de la moitié des participants (47 %) ont obtenu exactement le même score sur les tâches WAD et Indépendantes. Un autre 50 % ont reçu des scores adjacents, ce qui signifie que leurs scores ne différaient que d’un point. 

Au total, 97 % des participants ont obtenu des scores identiques ou adjacents, tandis que seulement 3 % différaient de plus d’un point. La corrélation entre les scores des tâches était également forte, à r=0,72.

Il est important de noter que notre modèle statistique n’a trouvé aucune différence significative dans les scores moyens entre les deux types de tâches au seuil de signification conservatrice de l’étude. En pratique, les étudiants ayant démontré une meilleure capacité d’écriture dans l’essai étendu ont généralement obtenu de bons résultats à la tâche WAD.

Cette constatation était significative. Si une tâche plus courte modifiait substantiellement qui obtenait des scores élevés ou faibles, les parties prenantes auraient des raisons de se demander si le test mesurait la même compétence. Au contraire, les résultats indiquent que le WAD préserve en grande partie l’ordre des rédacteurs établi par la tâche indépendante plus longue.

Les deux tâches n’ont pas généré de textes identiques, bien que cela soit un produit inévitable de leur conception. Les réponses WAD n’étaient pas aussi longues que celles des Indépendants. Mais la question la plus importante est de savoir comment les caractéristiques linguistiques suscitées par chaque tâche se rapportaient à la qualité. 

Dans les deux tâches, les auteurs ayant obtenu des scores plus élevés ont produit des réponses avec des ressources lexicales plus solides, une plus grande variété syntaxique, ainsi qu’une meilleure précision grammaticale, d’utilisation des mots et de mécanique. En d’autres termes, les indicateurs linguistiques associés à une écriture académique plus forte sont restés stables dans les deux formats.

Une différence mérite d’être soulignée : la longueur de la réponse était moins fortement liée au score dans WAD que dans l’essai long. C’est sans doute un résultat positif. Dans une tâche de 10 minutes, la qualité ne peut pas dépendre principalement de l’écriture supplémentaire. Au contraire, les rédacteurs doivent utiliser un espace limité de manière efficace en adoptant une position claire, en apportant un soutien pertinent et en exprimant leurs idées de manière précise et cohérente. 

L’analyse a également révélé une plus grande réutilisation de mots individuels et de courtes phrases dans WAD, ce qui n’est pas surprenant car la tâche inclut davantage de sources. Fait crucial, l’étude n’a trouvé aucune preuve de copiage généralisé de longues séries. Cela suggère que les auteurs s’appuyaient sur le contexte de la discussion sans simplement le reproduire.

Les données sur les frappes au clavier ajoutaient une couche supplémentaire de preuves. Dans l’étude, nous avons examiné combien de temps les écrivains mettaient avant de commencer à taper, combien de temps ils faisaient une pause entre les mots et les phrases, et combien de temps ils consacraient à supprimer ou insérer du texte.

La plupart des schémas de processus étaient globalement similaires une fois ajustés selon les limites de temps des tâches. Dans les deux tâches, les auteurs ayant obtenu des scores plus élevés avaient tendance à passer un peu plus de temps à planifier avant d’écrire, à faire des pauses plus courtes à plusieurs niveaux linguistiques, et à passer moins de temps sur la suppression et l’insertion au niveau des mots. Ces schémas sont cohérents avec une production linguistique plus fluide et une surveillance plus efficace lors de l’écriture sous pression temporelle.

La plus grande différence au niveau de la tâche concernait la planification. Les rédacteurs ont consacré une plus grande partie de leur temps disponible à la pré-écriture pendant le WAD. Ce résultat est logique : avant de rédiger, les candidats devaient lire et interpréter la question du professeur ainsi que les exemples de billets des étudiants. Plutôt que de signaler une construction différente, ce schéma semble refléter le contexte discours plus riche de la tâche. 

Notamment, les interactions score par tâche pour les mesures de processus étaient généralement faibles. Les scores les plus élevés et les plus faibles différaient de manière comparable selon les deux formats. Cela renforce la constatation que les tâches WAD et indépendantes s’appuient sur des capacités sous-jacentes similaires.

L’implication centrale n’est pas que chaque tâche d’écriture courte soit automatiquement équivalente à un essai plus long. C’est que l’efficacité et la validité ne sont pas intrinsèquement incompatibles. Lorsqu’une tâche est délibérément conçue, notée selon une grille d’évaluation appropriée et soutenue par une validation empirique, une réponse brève et contextualisée peut néanmoins fournir des preuves significatives de la capacité à écrire académiquement. 

Pour les prestataires d’évaluation, cela offre une voie vers la réduction du temps passé aux tests et la charge de notation sans nécessairement affaiblir l’interprétabilité des scores. Pour les établissements, cela suggère que les formats d’écriture modernisés fournissent toujours des informations crédibles sur la capacité d’un candidat à communiquer académiquement en anglais. 

Et pour les candidats au test, cela souligne que la réussite d’une tâche courte ne dépend pas principalement de la rapidité ou du nombre de mots. Cela dépend d’une planification rapide, d’une réponse directe, d’une utilisation précise du langage et d’une contribution efficace dans des contraintes claires.

La tâche WAD générait des scores proches de ceux de l’essai traditionnel ; elle distinguait les auteurs plus forts et les plus faibles utilisant de nombreux indicateurs linguistiques ; et suscitait des comportements de planification, de pause et de révision globalement comparables.