À l’intérieur des mises à jour iBT du TOEFL : validité par conception

Depuis plus de six décennies, le TOEFL fonctionne comme une évaluation majeure de la maîtrise académique de l’anglais, constituant une ressource importante pour la prise de décision dans les admissions universitaires, ainsi que dans d’autres contextes d’enseignement supérieur et professionnels.

Depuis la création de l’examen en 1964, l’ETS a révisé le TOEFL à plusieurs reprises afin de refléter une réflexion actualisée dans l’enseignement et l’évaluation des langues, les avancées en science de la mesure, ainsi que l’évolution des besoins sociétaux. La version actuelle du test, TOEFL iBT, a été créée en 2005. En janvier dernier, l’ETS a lancé une version mise à jour de l’examen.

Cette mise à jour maintient le même objectif fondamental et s’appuie sur la longue histoire du test TOEFL en tant qu’évaluation valide et fiable fondée sur des décennies de recherche en mesure chez ETS. Nous sommes ravis de partager davantage la philosophie de conception derrière ces améliorations.

Une exigence essentielle pour tous les tests est qu’ils soient valides pour les affirmations et les usages ultimes de leurs résultats. En d’autres termes : les résultats doivent être significatifs. Les preuves de ces affirmations et utilisations valides doivent également être variées et suffisantes. Plus un étudiant a d’occasions de démontrer ce qu’il peut accomplir sur une variété de tâches (par exemple, plus d’éléments de différents types), plus la confiance dans les résultats (validité) sera grande.

Dans tout argument de validité, une preuve est requise. Cette preuve fait référence aux informations que nous recueillons sur ce qu’une personne peut accomplir – c’est-à-dire les tâches du test et les scores attribués pour la performance à ces tâches.

Un test de maîtrise de l’anglais à des fins d’admission doit inclure des tâches qui : (1) couvrent les quatre compétences linguistiques (lecture, écriture, écoute et expression orale) ; (2) reflètent l’utilisation intégrée de ces compétences typique des études universitaires (par exemple, lire puis écrire) ; et (3) inclure des caractéristiques de l’usage réel de la langue.

Les scores obtenus par le test doivent également constituer une estimation fiable de la capacité linguistique globale – avec un niveau de précision approprié – et être constamment précis et précis sur toute la plage requise de niveaux de maîtrise linguistique. Pour les tests de maîtrise linguistique, les résultats doivent également refléter avec précision la capacité à utiliser la langue pour réussir   dans divers environnements académiques.

Au cours des 20 dernières années, les environnements académiques modernes ont évolué pour mettre l’accent sur de nouvelles façons de communiquer, facilitées par de nouvelles technologies et modèles pédagogiques. Les étudiants d’aujourd’hui, par exemple, doivent pouvoir communiquer avec des pairs du monde entier dans des contextes d’apprentissage en groupe, et non simplement absorber passivement les cours. Ils doivent également être capables d’interpréter un éventail plus large de textes en anglais.

Pour mesurer les compétences en anglais nécessaires à l’épanouissement dans les milieux   académiques modernes et à recueillir des preuves significatives de résultats valides, le TOEFL iBT mis à jour intègre une variété de tâches diverses qui enrichissent notre collection de preuves significatives de la maîtrise linguistique.

La mise à jour de l’iBT du TOEFL a ajouté davantage de tâches de test plus variées, s’appuyant sur la solide base du format original. La performance d’un candidat est significative si elle correspond à sa capacité à communiquer dans un environnement académique, ce qui inclut non seulement écouter des cours ou lire des manuels, mais aussi s’engager dans d’autres contextes universitaires contribuant à la réussite académique.

Un défi courant pour les développeurs de tests est cependant que les tâches de test qui imitent étroitement des activités réelles peuvent être extrêmement longues à administrer, tout en fournissant relativement peu d’informations de mesure et de preuves associées.

Par exemple, vous pouvez imaginer un test d’écriture qui consiste entièrement en un seul essai écrit d’une heure, noté sur une échelle de 1 à 5. Un tel test peut être perçu comme « authentique », mais il offre une vision étroite des compétences linguistiques de l’élève et limite la possibilité pour le test d’évaluer l’ensemble des compétences de l’élève au-delà d’un seul item.

Qualitativement, ce test hypothétique fournit des informations sur la capacité à accomplir un seul type d’écriture. Quantitativement, il ne produit que cinq points de score, ce qui limite sa capacité à discerner de manière fiable différents niveaux de performance.    Cette approche est également vulnérable à des circonstances aléatoires ; par exemple, si un écrivain par contre-plan a des difficultés avec le sujet de l’essai, les conséquences peuvent être graves.

Une approche alternative consiste non seulement à utiliser plus de tâches, mais aussi à une diversité de tâches, offrant une vision plus large des capacités et une plus grande fiabilité dans la mesure. Dans la poursuite de cet objectif, le TOEFL iBT mis à jour inclut des tâches mesurant les compétences linguistiques fondamentales, ainsi que des tâches académiques modernisées permettant une compréhension plus approfondie des capacités de communication.

La section Expression orale du TOEFL iBT met en pratique cette philosophie de conception. Pour commencer, une tâche orale bien documentée, Écouter et Répéter, évalue la capacité à comprendre une phrase parlée et à la reproduire avec précision.  L’élève doit rapidement décoder l’entrée linguistique, puis régénérer précisément la langue pour produire une réponse, reflétant le développement de ses capacités linguistiques sous-jacentes.

Cette tâche intègre des compétences fondamentales nécessaires à la communication orale (Levelt, 1989). De plus, les individus dotés d’un système linguistique interne très développé peuvent reproduire plus efficacement et avec plus de précision des phrases plus longues, de sorte qu’en variant la longueur des phrases, il est possible   de mesurer efficacement la maîtrise générale du langage sur un large éventail de compétences linguistiques (Davis & Norris, 2021).

Écouter et répéter est utilisé en combinaison avec une tâche de communication orale, Prendre un entretien, où les élèves participent à une conversation simulée avec un intervieweur préenregistré. L’entretien a lieu dans diverses situations académiques, comme une étude de recherche, et les étudiants sont notés sur un total de quatre questions liées au contexte de l’entretien. Les premières questions portent sur des informations factuelles et des expériences personnelles, tandis que les questions suivantes demandent aux étudiants d’exprimer et de soutenir des opinions sur des questions plus larges.

Cette tâche mesure la capacité de l’élève à s’exprimer sur une variété de sujets, en produisant une réponse claire et cohérente avec un soutien et une élaboration appropriés. La tâche mesure également la capacité à produire un discours intelligible, fluide et à utiliser efficacement une gamme de vocabulaire et de structures grammaticales.

Cette combinaison de tâches ciblant les capacités orales fondamentales (Écouter et Répéter) et communicatives (Prendre une interview) apporte une diversité dans la représentation des constructs et les preuves connexes sur la maîtrise orale des élèves, tout en maintenant la portée des scores pour prendre des décisions dans des contextes académiques.

Qu’une tâche se concentre sur des compétences fondamentales ou communicatives, la signification exige que la performance dans la tâche prédise la performance en langage réel adaptée à la réussite scolaire. Sinon, attribuer un score à un test serait un exercice vain.

Pour les tâches Écouter et Répéter et Entretien Virtuel , des recherches récentes à l’Université d’Hawaï à Manoa ont révélé que les scores à ces tâches étaient fortement corrélés à la performance sur d’autres types de tâches linguistiques de communication assignées en classe.

Ces chercheurs ont trouvé des corrélations de 0,84 entre les scores de la tâche Écouter et Répéter et chacune des deux tâches de communication en classe, et 0,83-0,85 pour la tâche d’Entretien Virtuel . Ces résultats suggèrent que les deux tâches issues de la mise à jour de l’iBT du TOEFL sont de très bons prédicteurs de la performance dans les types typiques d’expression orale académique.

L’ETS a mis en place une stratégie similaire – augmentant la diversité des types de tâches et variant les opportunités d’évaluation des performances des élèves – également dans les sections de lecture et d’écriture.

Dans la nouvelle tâche ajoutée de la section Lecture, Compléter les mots, la seconde moitié de chaque deuxième mot d’un passage de lecture est supprimée. Les élèves doivent remplir les lettres manquantes pour recréer les mots originaux et créer un texte cohérent.

Cette tâche – communément appelée test C – fournit efficacement des informations sur la capacité à traiter et comprendre le texte – ainsi que la connaissance du vocabulaire, de la syntaxe et de l’orthographe. Pour compléter cette tâche, des tâches de compréhension de lecture plus traditionnelles, comme Lire un passage académique,  offrent un aperçu de la capacité à obtenir des informations et à comprendre des significations, comme c’est typique dans les études académiques.

Dans la section Écriture, la tâche Écrire pour une discussion académique évalue les aspects communicatifs des compétences en littératie. Cette tâche a lieu dans le cadre d’une discussion en cours sur une question posée par l’enseignant du cours. L’étudiant apporte ses propres points de vue, soutenus par un raisonnement, des connaissances ou une expérience pertinente. Il peut également répondre aux contributions de ses pairs.

De plus, Écrire pour une discussion académique simule un type d’écriture devenu de plus en plus courant dans les contextes académiques. Il fournit également un contexte pour l’écriture, ce qui aide à clarifier si l’auteur peut écrire de manière appropriée pour un public et une situation donnés. Cela contraste avec les tests d’écriture traditionnels qui utilisent un sujet « dépouillé », sans description du public ou des circonstances.

Au-delà de ces fonctionnalités innovantes, la tâche Écrire pour une discussion académique mesure également d’autres aspects de la communication écrite réussie, notamment la cohérence et la clarté, la qualité de l’élaboration, ainsi que la portée et la précision du langage.

En résumé : le développement du test iBT TOEFL mis à jour représentait un défi de conception intrigant qui nécessitait de s’appuyer sur des preuves solides de validité avec une plus grande variété et des tâches supplémentaires reflétant les attentes rigoureuses et la diversité des environnements académiques des établissements d’enseignement supérieur actuels.

En plus du contenu et de la validité des constructions évoqués ci-dessus, le test iBT du TOEFL bénéficie également d’une conception adaptative de tests nouvellement mise en œuvre, d’innovations en science de la mesure, d’améliorations de la sécurité des tests, et bien plus encore. Restez connectés à ce canal pour en savoir plus !

Davis, L., & Norris, J. (2021). Développement d’une tâche d’imitation innovante pour une évaluation efficace de la maîtrise de l’anglais (Rapport de recherche TOEFL n° 96). ETS. https://doi.org/10.1002/ets2.12338

Isbell, D. R., & Crowther, D. (sous presse). Étude de la pertinence réelle d’un test académique anglophone : extrapolation des évaluations subjectives et des caractéristiques de performance linguistique. Test linguistique.

Levelt, W. J. M. (1989). Parole : De l’intention à l’articulation. MIT Press.

Pearlman, M. (2008). Finaliser le plan du test. Dans C. A. Chapelle, M. K. Enright, & J. M. Jamieson (dirs.), Construire un argument de validité pour le test de l’anglais comme langue étrangère (pp. 227-258). Routledge.