Une nouvelle approche pour rapporter les scores agrégés de croissance des élèves
8 décembre 2021
Actuellement, 48 États aux États-Unis mesurent la croissance de la réussite des élèves dans le cadre de leurs programmes de tests scolaires primaires et secondaires à l’échelle de l’État. Souvent, les mesures de croissance sont utilisées dans le cadre de systèmes de responsabilité pour les districts, les écoles ou même les enseignants afin de donner une image plus complète des performances des élèves que la seule réussite actuelle. Ces systèmes utilisent la moyenne de la croissance individuelle des élèves pour tous les élèves d’un district, d’une école ou d’une classe d’enseignant. Bien que cette approche puisse sembler en surface une manière pratique et directe de résumer les progrès des élèves, elle peut en réalité s’avérer problématique.
La moyenne des mesures de croissance pour les écoles, les districts ou les enseignants avec peu d’élèves peut entraîner des fluctuations substantielles d’une année à l’autre. Une petite école, par exemple, avec une mesure de croissance élevée en une année, la classant au 90e percentile, peut avoir une faible valeur l’année suivante, la classant seulement au 10e percentile. Ces changements d’une année à l’autre peuvent rendre difficile l’utilisation de la moyenne de la croissance des élèves pour la prise de décision. Étant donné que ces décisions peuvent souvent être liées à des enjeux élevés, des implications financières et d’autres considérations impactant les élèves, les écoles et les districts, il est crucial que ces mesures soient précises et fournissent des informations exploitables.
Au cours des dernières années, nous avons travaillé avec le Département de l’Éducation de Californie (CDE) pour les aider à mieux comprendre comment mesurer et rendre compte de la croissance des résultats scolaires dans leur État. Face à de fortes fluctuations annuelles, la Californie ne savait pas comment procéder pour déployer ses mesures de croissance. En conséquence, nous avons entrepris de trouver un moyen d’améliorer les mesures de croissance (globales) de l’État et de supprimer l’instabilité excessive des mesures destinées aux écoles ou districts desservant un petit nombre d’élèves ou aux groupes scolaires à faible incidence au sein de l’un d’eux, comme les élèves en situation de handicap ou les apprenants en anglais (ELs).
Au cours de notre travail, nous avons utilisé une méthode statistique standard appelée Empirical Best Linear Prediction (EBLP) afin d’améliorer la précision et, par conséquent, de réduire les fluctuations annuelles des mesures de croissance. Cette méthode statistique est couramment utilisée dans de nombreuses applications pour fournir des mesures pour plusieurs groupes, tels que les résultats des patients à l’hôpital ou les niveaux d’alphabétisation des comtés d’un État. Notre équipe a développé la méthodologie nécessaire ainsi que les algorithmes informatiques et codes nécessaires pour appliquer cette méthode EBLP aux données de croissance, pour lesquelles il peut exister plus d’un million de mesures individuelles de croissance des élèves et des centaines, voire des milliers d’écoles.
La méthode EBLP n’est pas un nouveau modèle de croissance des élèves. Elle peut être appliquée à tout type de scores de croissance des élèves, allant des scores de gain simples (par exemple, score de l’année en cours moins score de l’année précédente) jusqu’à des percentiles de croissance des élèves plus complexes . La puissance de la procédure EBLP réside dans l’utilisation optimale des données de scores de croissance des élèves de plusieurs années pour produire une meilleure estimation du score de croissance du groupe lors de l’année de rapport de l’État. En termes simples, les scores de croissance agrégés de l’EBLP sont approximativement une moyenne pondérée des scores de croissance des élèves de deux années scolaires ou plus, au lieu d’une simple moyenne des scores de l’année de rapport.
De plus, la méthode EBLP s’adapte à la taille du groupe. Pour les groupes plus grands ayant déjà des estimations plus précises et stables, le score de croissance agrégé EBLP est presque identique à la moyenne simple. Elle accorde presque tout le poids aux scores de croissance des élèves l’année de rapport et peu ou pas de poids aux scores de croissance des années précédentes. Inversement, pour les petits groupes, la procédure EBLP accorde un poids non trivial aux scores de croissance de l’année précédente car elle peut aider à orienter la croissance du groupe d’élèves de l’année de rapport. Dans ces cas, l’EBLP diffère plus nettement de la moyenne simple, mais il sera aussi plus précis et stable que la moyenne simple. Le résultat global est que les moyennes pondérées par EBLP auront un impact plus important sur l’amélioration de la précision et de la stabilité des petits groupes, réduisant l’écart de performance entre les plus petits et les plus grands. Avec cette méthode, les États dont les écoles et districts ont tendance à avoir des populations plus petites ou de petits groupes d’élèves ne seront plus pénalisés simplement parce qu’ils servent moins d’élèves que les plus grands.
En utilisant cette méthodologie EBLP, nous avons partagé les résultats de notre équipe avec le CDE dont le personnel a été intrigué par cette méthode comme solution potentielle aux fortes fluctuations annuelles observées dans leurs scores de croissance agrégés et nous ont demandé d’explorer son potentiel pour améliorer la stabilité des mesures de croissance pour les écoles et districts scolaires à travers l’État. L’exploration menée par l’ETS et le CDE a révélé que l’EBLP améliorait la précision et la corrélation interannuelle des mesures de croissance, en particulier pour les petites écoles et districts scolaires. Compte tenu du succès de notre approche proposée, le Conseil d’État de l’éducation de Californie a récemment voté à l’unanimité pour approuver l’utilisation de l’approche EBLP pour rapporter la croissance des écoles et des districts, ainsi que la croissance des groupes d’élèves au sein des écoles et districts.
En savoir plus sur ce travail ou sur nos services de conseil en R&D.
Katherine Castellano est chercheuse principale chez ETS. Dan McCaffrey est vice-président associé chez ETS.