TOEFL iBT dans les coulisses : évaluer en temps réel les processus d’écriture des étudiants

Dans cette interview, Ching-Ni Hsieh, scientifique principale en mesure, et Renka Ohta, responsable principale de projet de recherche, discutent de leurs recherches récentes, Processus d’écriture de seconde langue dans le test TOEFL iBT® : Examiner la tâche Write for an Academic Discussion Using Eye-Tracking, Keystroke Logging, and Stimulated Recall, avec John Clark du TOEFL

Bien sûr. La réponse écrite d’un élève à une tâche d’écriture nous indique ce qu’il a écrit, mais ne nous dit pas comment il en est arrivé là. Deux étudiants peuvent obtenir les mêmes notes ou produire des réponses de qualité similaire, mais ils peuvent suivre des chemins très différents lors de la rédaction.

Les données comportementales, telles que les mouvements oculaires et les événements de saisie, peuvent offrir une fenêtre sur l’allocation de l’attention et les processus décisionnels des candidats qui sont invisibles dans les réponses écrites finales.

Dans notre étude, alors que les participants répondaient à la tâche TOEFL iBT Write for an Academic Discussion (à laquelle nous avons donné l’acronyme charmant « WAD ») sur l’ordinateur, nous avons placé un traqueur oculaire Tobii sous le moniteur pour suivre leurs mouvements oculaires.

Le traceur oculaire est un appareil qui utilise la technologie des capteurs pour mesurer où les auteurs regardent et comment leurs yeux bougent. Nous avons également utilisé le logiciel de suivi oculaire Tobii Pro Lab pour enregistrer et créer une vidéo intégrant des événements d’écriture à l’écran – comme des textes écrits et des clics de souris – avec leurs mouvements oculaires superposés.

Les données de suivi oculaire nous permettaient de voir où les écrivains regardaient, comment leurs yeux changeaient, combien de temps ils passaient à observer différentes parties de la tâche, et comment ils révisaient leurs textes.

Nous avons utilisé le moteur de journalisation des frappes d’ETS pour capturer chaque activité sur le clavier pendant que chaque écrivain tapait. Ces données sont ensuite compilées dans un journal des frappes qui contient des informations riches sur les comportements de clavier des auteurs, y compris les pauses entre les mots ou les phrases, la suppression de textes écrits ou l’insertion de nouveaux textes.

Après que les participants aient terminé d’écrire, nous les avons interviewés. Nous avons regardé l’enregistrement vidéo réalisé par le logiciel de suivi oculaire Tobii, qui comprenait les processus d’écriture à l’écran des participants et des cartes thermiques indiquant où leur attention visuelle était dirigée. Nous leur avons demandé de parler de ce qu’ils pensaient pendant qu’ils répondaient à la tâche, surtout lors de moments intéressants, comme une longue pause ou une révision.

Nous avons posé des questions aux participants dans leur langue maternelle dès que possible afin qu’ils puissent partager leurs réflexions plus facilement. Leurs explications nous ont aidés à relier leurs comportements observables de clavier et leurs mouvements oculaires aux processus de pensée qui les sous-tendent.

En évaluation, un concept fait référence aux capacités ou aptitudes qu’un test vise à mesurer. La validité des constructs demande si un test mesure ces compétences prévues. Pour la section TOEFL iBT Writing, la construction cible est la compétence en écriture académique.

Une source importante de preuves de validité des constructs est de savoir si les candidats s’engagent dans les types de processus d’écriture pertinents pour la rédaction académique. Si les candidats pouvaient obtenir de bons scores en s’appuyant principalement sur des processus cognitifs ou des stratégies sans rapport avec la capacité de rédaction académique souhaitée, alors les résultats pourraient ne pas refléter fidèlement leur compétence en écriture académique.

Oui, nos résultats fournissent des preuves soutenant la validité du construct de la tâche WAD. À travers les données de suivi oculaire, les journaux de frappes clavières et les réponses aux entretiens, nos participants ont participé à la planification, à la formulation du langage, au suivi et à la révision. Ces processus sont au cœur des modèles établis d’écriture et sont pertinents pour la compétence en écriture académique.

Ces preuves suggèrent que la tâche déclenche les processus d’écriture prévus, ce qui renforce l’interprétation selon laquelle les scores d’écriture du TOEFL iBT reflètent les capacités de rédaction académique que le test vise à évaluer.

Le modèle de Kellogg est l’un des modèles cognitifs d’écriture les plus influents. Il décrit l’écriture comme un ensemble de processus interactifs, incluant la planification des idées, la traduction de ces idées en langue, la production de texte et la révision de ce qui a été écrit. Le modèle a été utilisé dans des études antérieures sur les tâches d’écriture iBT du TOEFL, nous l’avons donc considéré comme un cadre utile pour examiner si la tâche WAD engage des processus d’écriture importants.

Nous avons également choisi ce modèle parce qu’il accorde une attention explicite à la formulation, c’est-à-dire au processus de transformation des idées en mots et en phrases. Cet aspect est particulièrement important pour les candidats au TOEFL iBT, qui écrivent dans une seconde langue ou une langue étrangère et peuvent devoir accorder une attention importante au vocabulaire, à la grammaire et à la construction des phrases.

Nos données ont montré que les participants ont participé à la planification, à la formulation du langage, au suivi et à la révision tout au long de la tâche WAD. De nombreux participants ont lu et relu la consigne, généré des idées, recherché le vocabulaire approprié, construit des phrases, vérifié si leurs réponses répondaient aux exigences de la tâche et effectué des modifications pour améliorer la précision ou la clarté. Ces comportements correspondent étroitement au modèle cognitif d’écriture de Kellogg.

Nos résultats ont également mis en lumière la nature récursive de l’écriture. Les participants n’ont pas réalisé ces processus un à la fois ni sous forme de séquence linéaire. Au lieu de cela, ils alternaient entre lecture, planification, écriture et révision, ce qui est cohérent avec la vision de Kellogg de l’écriture comme un processus dynamique et interactif.

La tâche WAD diffère des tâches traditionnelles d’essai d’opinion, comme la tâche d’écriture indépendante TOEFL iBT retirée qu’elle a remplacée. Les candidats doivent lire la question d’un professeur, prendre en compte les réponses de deux étudiants, décider comment ils veulent contribuer à la discussion en ligne, et rédiger une réponse dans les 10 minutes.

Ces caractéristiques de conception exigent que les candidats répartissent leur attention entre plusieurs sources d’information tout en générant et exprimant leurs propres idées. Par exemple, nos résultats de suivi oculaire ont montré que les participants déplaçaient à plusieurs reprises leur attention entre les supports de consigne et la zone d’écriture. En ce sens, la tâche impose des exigences cognitives distinctes aux candidats en leur demandant de coordonner la lecture, la planification, l’écriture et l’auto-surveillance au sein d’un format de discussion en ligne dynamique.

Ces processus ressemblent à de nombreuses formes de communication écrite que les étudiants peuvent rencontrer dans les milieux académiques modernes. Et la tâche soutenait également différentes stratégies de réponse. Lors de nos entretiens, par exemple, certains participants ont expliqué qu’ils avaient essayé de contribuer en introduisant une nouvelle idée que les deux articles étudiants n’avaient pas mentionnée, tandis que d’autres ont choisi d’être d’accord avec les autres étudiants et de s’appuyer sur ce qu’ils avaient lu.

Non, il n’y a pas de bonne ou de mauvaise réponse basée sur les idées spécifiques qu’ils choisissent d’exprimer. La grille d’évaluation des tâches WAD se concentre sur l’utilisation du langage, le développement des idées et la manière dont les candidats réagissent clairement et efficacement à la discussion.

Les candidats ne sont pas évalués sur leur introduction d’idées complètement nouvelles. Ils peuvent s’appuyer sur les idées déjà présentées dans les réponses d’exemple tant qu’elles contribuent de manière significative et expriment clairement leurs points de vue. 

Le traitement des prompts fait référence à la manière dont les rédacteurs lisent, interprètent et utilisent les documents de la tâche avant et pendant la rédaction. Dans la tâche WAD, cela inclut la compréhension de la question du professeur, la prise en compte des deux exemples de posts d’étudiants, la décision de la manière dont sa propre contribution doit s’intégrer à la discussion, et parfois revoir les supports proposés pendant la rédaction.

Une découverte intéressante de notre étude est que le traitement prompt ne s’est pas produit seulement au début de la tâche. Les participants revenaient souvent plusieurs fois aux supports du sujet au cours du processus d’écriture.

Nous avons conclu que le traitement des prompts n’est pas simplement une activité de préécriture ; elle fonctionne plutôt comme une partie continue de la planification et aide à guider d’autres décisions écrites, telles que la sélection d’idées pertinentes, le positionnement de sa réponse et le suivi de la qualité de la réponse pour répondre aux exigences de la tâche.

C’est l’un des principaux défis dans la conception de l’évaluation. Si un prompt est trop simple, il peut ne pas susciter suffisamment de réflexion liée à l’écriture pour fournir une preuve solide de la capacité en rédaction académique. Si elle est trop complexe, les candidats peuvent consacrer un effort excessif à comprendre la consigne, ce qui permet à la tâche de mesurer la compréhension de la lecture ou l’interprétation plutôt que la capacité d’écriture.

Nos résultats suggèrent que des prompts efficaces devraient inciter les rédacteurs à s’engager dans des processus clés de rédaction, tels que la planification, la formulation, le suivi et la révision, tout en restant clairs et accessibles. L’objectif est de concevoir des tâches d’évaluation qui permettent aux candidats de démontrer leur capacité en écriture sans introduire de barrières inutiles ni de difficultés non pertinentes pour la construction.

Ça se tient ! J’apprécie vraiment cette analyse approfondie de vos recherches – c’est amusant de voir combien de temps et d’énergie sont nécessaires pour chaque tâche du TOEFL iBT.

Merci.