Évaluation des essentiels™ du TOEFL® : conception et développement d’un nouveau test
16 juin 2021
Chaque nouveau test à l’ETS est créé grâce à un processus de conception et de développement minutieux. La dernière addition à la famille d’évaluations du TOEFL® , le test TOEFL® Essentials™, ne fait pas exception. Comme détaillé dans le cadre de conception du test TOEFL® Essentials™ 2021, le test TOEFL Essentials est une évaluation numérique de la maîtrise de l’anglais qui vise à maximiser l’efficacité tout en mettant l’accent sur la capacité des candidats à communiquer en anglais. En utilisant un design adaptatif à plusieurs étapes, il permet également de mesurer l’ensemble de la gamme de compétences du Cadre européen commun de référence. Nous mettons ici en avant les rôles importants joués par la conception rigoureuse des tâches et les pratiques expertes de développement des tests dans la création d’un nouveau test.
L’approche de l’ETS pour la conception des tâches d’évaluation
Les tâches qui composent le nouveau test TOEFL Essentials ont été conçues selon des principes basés sur des tâches afin d’exprimer ce que les candidats peuvent faire en anglais, plutôt que de simplement connaître la langue. C’est particulièrement important lorsque nous utilisons un tel test pour prédire la réussite des candidats dans le monde réel, où ils doivent communiquer efficacement en anglais.
Prenons les tâches d’écriture du test TOEFL Essentials pour illustrer notre approche de la conception des tâches d’évaluation. Les tâches d’écriture sont conçues pour donner aux candidats un but et un public à écrire, tout en reflétant ce que les candidats rencontrent dans le monde réel. Par exemple, écrire une ou deux phrases pour décrire une image est une tâche assez typique qui n’a ni but ni public. La même tâche de description d’image devient beaucoup plus engageante et significative lorsque les candidats s’imaginent publier l’image sur leur propre compte de réseaux sociaux et écrire une description détaillée de leurs expériences similaires. De telles tâches peuvent nous en apprendre beaucoup sur ce que les candidats peuvent faire en anglais.
Ces tâches d’écriture sont également conçues pour évaluer au maximum les compétences écrites des candidats à différents niveaux de compétence. Par exemple, la tâche de publication sur les réseaux sociaux a montré selon des recherches qu’elle distingue efficacement les apprenants aux débuts. Cependant, son efficacité est limitée pour les candidats à des niveaux de compétence élevés, car ils sont tous susceptibles de bien performer. Pour ces apprenants à plus haut niveau, la tâche de discussion académique est bien plus efficace car elle met au défi les candidats en nécessitant une utilisation plus sophistiquée du langage (par exemple, vocabulaire, grammaire, marqueurs de discours) pour réussir la tâche, et par conséquent, elle distingue leurs capacités. En somme, les tâches d’écriture (et autres) du test TOEFL Essentials sont conçues pour déterminer ce que les candidats peuvent faire en anglais, fournir un contexte clair et un objectif pour communiquer en anglais, et permettre une distinction maximale entre les apprenants à différents niveaux de compétence. Toutes ces caractéristiques optimisent l’efficacité du test et soutiennent des interprétations précises des compétences en anglais des candidats.
Mise à profit de l’expertise de pointe en développement d’évaluations
En utilisant ces types de principes de conception, les spécialistes de l’évaluation de l’ETS ont développé de nouvelles tâches sur les quatre compétences (écoute, lecture, écriture et expression orale) évaluées par le test TOEFL Essentials. Tout comme le processus de conception était en plusieurs étapes (c’est-à-dire une étape prototype, un test pilote et un test sur le terrain), le développement du nouveau contenu de test implique également un processus complexe et en plusieurs étapes. L’objectif global de ce processus de développement est de garantir que le contenu généré réponde aux normes de qualité et d’équité de l’ETS, et aboutit à des expériences de test similaires en contenu, difficulté et niveau d’engagement.
Les spécialistes de l’évaluation sont au cœur de ce processus et le dirigent du début à la fin. Les spécialistes de l’évaluation, membres clés de l’équipe de test TOEFL Essentials, sont des experts dans leur domaine formés à l’apprentissage des langues ou à des matières connexes au niveau universitaire, et dont la majorité ont enseigné dans des écoles, collèges ou universités de la maternelle à la terminale à l’international. De nombreux spécialistes de l’évaluation sont eux-mêmes des apprenants de l’anglais ayant obtenu des diplômes de niveau supérieur dans des universités où l’anglais est la langue d’enseignement.
Tout au long du processus de développement de contenu, les spécialistes de l’évaluation suivent des spécifications détaillées. Ces spécifications sont générées lors des phases de conception du test et servent à la création et à la révision de chaque tâche ou élément du test. Par exemple, les tâches de rédaction du test TOEFL Essentials comportent des spécifications claires concernant le type et la longueur des textes, les instructions au candidat, l’audio, les graphiques et les photos utilisées. Après la création des tâches de test, elles reçoivent plusieurs évaluations approfondies de différents spécialistes de l’évaluation ainsi que des revues éditoriales et d’équité distinctes.
Intégration de la technologie pour le développement de l’évaluation
Une large gamme d’outils technologiques de pointe est utilisée pour faciliter le développement des tests et le rendre plus efficace. Par exemple, une plateforme complète est utilisée par les spécialistes de l’évaluation pour générer, examiner et stocker les éléments. Pour certains types d’articles, les spécialistes de l’évaluation utilisent également une capacité technologique propriétaire, appelée Création Assistée par la Technologie (TAIC), pour faciliter le processus de développement des articles. Le TAIC intègre les spécifications du contenu des tâches et les paramètres de difficulté spécifiquement développés pour le test TOEFL Essentials. Il est cependant important de noter qu’après la génération du contenu de ces éléments via le TAIC, il subit un processus rigoureux d’examen en plusieurs étapes effectué par les spécialistes de l’évaluation afin de s’assurer que les éléments développés respectent les normes et attentes de l’ETS avant même d’être présentés à un candidat.
Ces pratiques de conception et de développement rigoureuses et rigoureuses sont ce qui fait du nouveau test TOEFL Essentials un test valide et fiable, fournissant des informations fiables sur la capacité des candidats à utiliser l’anglais à des fins de communication.
Pour en savoir plus sur le nouveau test TOEFL Essentials, rendez-vous sur https://www.ets.org/toefl/score-users/essentials/about.html
Pablo Garcia Gomez est concepteur d’évaluation chez ETS. Shoko Sasayama est chercheuse associée chez ETS.