Un élève élevé dans l’apprentissage des langues : comment les recherches du Dr Maria Treadaway pourraient influencer l’évaluation de la langue anglaise
24 mars 2023
La Dre Maria Treadaway a été nommée lauréate du prix de thèse Jacqueline Ross TOEFL® de cette année pour sa thèse intitulée « Développer et valider un test de langage diagnostique pour les pilotes cadets ab initio ». Le prix Jacqueline Ross TOEFL récompense la recherche de thèse doctorale qui apporte une contribution significative et originale à la connaissance des tests et tests de seconde langue étrangère et/ou à l’utilisation et au développement de ces tests et tests. Dans cette séance de questions-réponses, la Dre Treadaway partagera ses recherches sur l’importance des résultats pour l’industrie aéronautique et le domaine des tests linguistiques, et comment cela contribue notamment à l’apprentissage et à l’évaluation de l’anglais.
Pouvez-vous nous parler de votre inspiration pour mener des recherches dans le domaine essentiel des tests linguistiques en aviation ?
Dr Maria Treadaway : Depuis que j’ai reçu le Great Big Air Book de Richard Scarry pour mon cinquième anniversaire, j’ai été fascinée par l’aviation et l’aviation. J’ai finalement obtenu ma licence de pilote de commerce en 2001, mais après le 11 septembre, j’ai décidé de continuer à piloter comme passe-temps plutôt que de le poursuivre professionnellement. Au lieu de cela, j’ai commencé à enseigner l’anglais, puis j’ai obtenu un master en linguistique appliquée. Ma thèse mineure combinait un intérêt pour l’aviation et l’évaluation, et j’ai étudié l’effet du taux de parole sur la compréhension du pilote dans des situations non routinières. Pendant cette période, j’ai eu une chance incroyable de travailler avec le professeur émérite John Read car sa supervision combinait expertise en aviation et évaluation. J’ai réalisé lors de ma recherche de master qu’il y avait un réel besoin de recherche sur les tests linguistiques aéronautiques et, comme John avait accepté de travailler avec moi, je savais que je serais soutenue dans mon doctorat. En fait, je suis dans la position très privilégiée d’être le dernier doctorant de John et ce prix est autant pour lui que pour moi. Ainsi, dans mes études, j’ai pu combiner mon amour de l’aviation, de la langue anglaise et de l’évaluation.
Pouvez-vous développer l’importance de vos résultats de recherche pour l’industrie aéronautique et le domaine des tests linguistiques ?
Dr Maria Treadaway : Mon étude était un projet appliqué visant à développer un test pour mesurer la préparation linguistique des pilotes cadets ab initio issus de milieux non anglophones afin de participer avec succès à leurs programmes de formation pratique au pilotage menés en anglais. Le test s’appelle le Overseas Flight Training Preparation Test ou OFTPT. Au cas où vous vous poseriez la question, ab initio signifie dès le début, donc nous parlons d’étudiants pilotes ayant terminé leur formation théorique au sol et prêts à passer à la formation pratique au pilotage, et « cadet » fait référence au fait que beaucoup de participants étaient sponsorisés dans leur étude par une compagnie aérienne.
La motivation de ce projet est née du contexte actuel des tests linguistiques dans les environnements de formation aéronautique. Actuellement, il n’existe aucune mesure standardisée de la compétence linguistique pour évaluer les pilotes cadets non anglophones initio qui entament une formation pratique de pilotage dans les pays anglophones. Chaque organisation de formation adopte alors ses propres exigences de test et d’entrée, ce qui aboutit à une approche ad hoc pour évaluer la préparation linguistique, contrairement à une évaluation robuste et standardisée des compétences et aptitudes dans d’autres domaines de leur formation. Par conséquent, le secteur de l’éducation aéronautique a signalé le besoin d’un outil de mesure valide, fiable et standardisé, calibré selon l’échelle de compétence linguistique de l’Organisation de l’aviation civile internationale (OACI) (mesure internationale de la maîtrise linguistique des pilotes et contrôleurs aériens), afin d’aider à établir des normes de qualité comparables entre organisations afin de minimiser les conséquences négatives subies par les pilotes étudiants, en sponsorisant les compagnies aériennes et les organisations de formation lorsque les étudiants sont admis à un programme alors qu’ils ne sont pas linguistiquement prêts. Donc, en ce qui concerne l’importance de ma recherche, elle pourrait représenter l’outil de mesure que l’industrie recherche, car elle a été motivée par les besoins réels de l’industrie.
Les données issues de l’étude du domaine d’utilisation de la langue cible (TLU) (Phase 1) et de la session de définition des normes (Phase 4) indiquent que l’OFTPT réussit à capturer ce que les experts de la matière (PME) dans ce domaine (instructeurs de vol, contrôleurs aériens et enseignants d’anglais aéronautique) valorisent en termes de contenu de test. L’analyse des items lors des essais tests (Phase 3) montre que l’opérationnalisme du concept (Phase 2) a été réussie en ce que le test discrimine bien et était à un niveau de difficulté approprié. Lors de l’établissement des normes avec les PME (Phase 4), il y a également eu un degré considérable d’homogénéité quant aux niveaux de performance des PME attendus des non-natifs anglophones (NNES) ab initios, suggérant que la confiance peut être conservée dans les seuils de performance exprimés dans les descripteurs de niveau de performance et dans les scores de coupure, qui étaient liés de manière inférentielle à l’échelle de compétence linguistique de l’OACI. En résumé, chaque phase a contribué à identifier une norme déterminée par les PME dans un test développé spécifiquement pour ce domaine TLU. C’est le premier repère basé sur la recherche pour l’entrée dans la formation au pilotage, mesuré selon l’échelle de l’OACI. C’est un début et je sais que beaucoup d’autres travaillent à améliorer les standards dans ce domaine et j’espère que d’autres pourront et vont s’appuyer sur mon travail.
Comment envisagez-vous que vos recherches contribuent au domaine de l’apprentissage et de l’évaluation de l’anglais ?
Dr Maria Treadaway : En termes de contribution pratique, le principal résultat du projet est un test pleinement opérationnel, administré en ligne, qui cible spécifiquement les besoins des pilotes ab initio entamant leur formation pratique au pilotage et aligné sur l’échelle de compétence linguistique de l’OACI. Les scores des tests peuvent être interprétés comme des niveaux de préparation à la formation pratique au vol (donc un étudiant est soit prêt, soit minimalement prêt, soit pas prêt) et ces niveaux de préparation ont été empiriquement liés à l’échelle d’évaluation de l’OACI, qui, comme je l’ai dit précédemment, est la première fois que des seuils de maîtrise linguistique dans ce domaine TLU sont associés à cette échelle.
Le test met également l’accent sur la fonction diagnostique importante du test dans cet environnement. Dans le rapport de score, les candidats reçoivent des retours détaillés sur leurs performances qui pourraient les aider à identifier leurs forces et faiblesses afin d’améliorer leurs compétences en langues aéronautiques. Sur le site du test complémentaire, j’ai sélectionné des ressources d’apprentissage accessibles librement pour améliorer leurs faiblesses et développer leurs forces. Il existe donc un potentiel de reculo positif sur les résultats d’apprentissage des langues, où les apprenants développent les connaissances, compétences et aptitudes nécessaires dans leur domaine concret et sont évalués sur les mêmes compétences dans l’OFTPT. Cette harmonie entre apprentissage et évaluation a été très importante pour moi lors de la conception de mon test de langue aéronautique. Les tâches du test de langue sont très étroitement alignées avec celles du domaine d’utilisation de la langue cible des élèves, afin que l’apprentissage et l’évaluation s’intègrent mutuellement. Je pense que c’est très important pour motiver les apprenants et accroître leur engagement avec la langue dont ils ont besoin pour fonctionner dans leur domaine d’utilisation de la langue cible, en l’occurrence la formation pratique au pilotage.
En termes de contribution théorique, cette étude est le premier travail à fusionner deux approches bien établies de validation en évaluation : l’argument Assessment Use de Bachman et Palmer, et le cadre socio-cognitif d’O’Sullivan et Weir (2011). Ainsi, les descriptions approfondies de la conception et de l’opérationnalisation de l’OFTPT dans la Phase 2 (au chapitre 5 de ma thèse) pourraient servir de plan utile pour les développeurs de tests ESP/LSP et particulièrement pour les développeurs de tests aéronautiques, car le chapitre inclut également des spécifications détaillées et une justification pour chaque module de l’OFTPT (Listening, Reading and Speaking).
Comment la réception du prix Jacqueline Ross TOEFL® a-t-elle impacté votre carrière et votre trajectoire de recherche ?
Dr Maria Treadaway : Avant tout, recevoir ce prix a apporté une reconnaissance significative au sein de mon école et de mon corps professoral à l’Université et à Auckland, ainsi que dans la communauté des tests linguistiques en Australie et en Nouvelle-Zélande, et maintenant avec cet entretien peut-être plus loin ! J’espère que cela augmentera la visibilité de mon projet doctoral, ce qui entraînera peut-être des applications concrètes de l’OFTPT dans les organisations de formation aéronautique. De plus, comme il s’agit d’une bourse internationale, cela renforce la crédibilité de mes recherches, ce qui pourrait aider à l’adoption du test dans les organisations de formation aéronautique et à obtenir des financements futurs pour une validation et des recherches futures. En plus de la reconnaissance, la récompense est accompagnée d’un soutien financier que j’utiliserai pour diffuser mes recherches en participant à des conférences et à d’autres opportunités de développement professionnel. Cette reconnaissance se traduit déjà par des opportunités accrues de collaboration avec d’autres chercheurs d’Australie, du Brésil et des États-Unis, ce qui, selon moi, ouvrira de nouvelles voies de recherche et un développement accru du domaine. Je pense que ce prix m’a aidé comme plateforme pour partager mon travail avec un public plus large.
Pouvez-vous parler de l’importance de reconnaître et de soutenir la recherche en matière de tests linguistiques ?
Reconnaître et soutenir la recherche en tests linguistiques est extrêmement important pour plusieurs raisons. Premièrement, la recherche en tests linguistiques aide à garantir que les tests linguistiques sont justes, fiables et valides, ce qui est particulièrement important dans des contextes où la maîtrise linguistique est utilisée à des fins à enjeux élevés, comme l’aviation ou l’immigration. Si nous pouvons améliorer la précision de l’évaluation linguistique, nous pouvons avoir un impact positif sur les opportunités éducatives et professionnelles des individus, ainsi que sur la société dans son ensemble. Sans recherche, nous ne pourrions pas capturer le concept cible ni mesurer précisément la maîtrise linguistique, ce qui entraîne des évaluations inexactes des apprenants et des conséquences négatives inattendues pour tous les intervenants. Les avancées technologiques peuvent soutenir la recherche en tests linguistiques, permettant le développement de méthodes et d’outils innovants permettant de mieux maîtriser la maîtrise linguistique et d’améliorer l’expérience des tests, peut-être en rendant les tests plus accessibles et équitables. Enfin, la recherche peut aider à orienter la politique et la prise de décision, conduisant à des programmes d’éducation linguistique plus efficaces et à de meilleurs résultats pour les apprenants. La recherche est donc très importante !
Quels ont été certains des plus grands défis que vous avez rencontrés durant votre projet de doctorat, et comment les avez-vous surmontés ?
Dr Maria Treadaway : Une grande partie de mon doctorat a été réalisée pendant la pandémie de COVID-19, donc il y avait des défis uniques qui rendaient le processus plus complexe, mais m’ont aussi offert de nouvelles opportunités d’explorer des solutions innovantes à l’aide d’outils numériques et collaboratifs. Les défis spécifiques impliquaient la gestion de projet de toutes les petites tâches à accomplir, le développement et le maintien de liens dans l’industrie de la formation aéronautique, le recrutement de participants (notamment avec les restrictions gouvernementales et la distanciation sociale) et le besoin général d’entretiens virtuels et de collecte de données en ligne. Parfois, je ne pouvais pas accéder aux ressources physiques de la bibliothèque, ce qui rendait la gestion du temps et la coordination des activités de recherche parfois difficiles. En dehors du COVID, probablement comme la plupart des doctorants, j’ai trouvé la motivation très difficile, surtout pendant le processus d’écriture. La façon dont j’ai surmonté cela a été d’intégrer des loisirs à mon emploi du temps — promenades, visites à la famille et amis et pour le travail. Cet équilibre était nécessaire pour maintenir la concentration prolongée dont j’avais besoin. Je tenais également un journal des activités sur lesquelles je travaillais, des intentions/résultats vers lesquels je travaillais, ainsi qu’une réflexion sur mes performances et le temps passé à travailler sur ces activités. Ce journal de temps et d’activité était essentiel pour m’aider à rester concentré, motivé et concentré sur mes tâches tout en travaillant à distance et en isolement.
Enfin, quel message aimeriez-vous transmettre aux chercheurs en herbe dans ce domaine ?
Dr Maria Treadaway : Les implications des tests linguistiques pour l’industrie aéronautique sont vastes, et je pense qu’il y a beaucoup de possibilités de recherches supplémentaires afin de garantir que les tests linguistiques dans ce domaine soient efficaces, à jour et que les tests soient développés selon des normes professionnelles, avec des preuves validantes pour étayer les inférences des résultats des tests. Donc, pour ceux qui font de la recherche et ressentent peut-être les défis que cela implique, rappelez-vous que les tests linguistiques sont d’une importance capitale pour l’industrie aéronautique, afin d’assurer la sécurité, d’améliorer la communication et, par conséquent, d’améliorer la conscience situationnelle et de prendre des décisions au sein du cockpit. Continuez et sachez que ce sur quoi vous travaillez compte !