Les écoles luxembourgeoises moins performantes que les écoles publiques européennes? Pas sûr!

La nouvelle a troublé plus d’un. Si les écoles secondaires sont à la traîne dans les tests PISA ( le Luxembourg a boudé l’avant-dernière campagne PISA de l’OCDE), ce serait dû à un enseignement luxembourgeois traditionnel et à son régime de langues suranné. N’ayant pas réussi à réformer le mammouth au fil des décennies, l’Éducation Nationale, a contourné la fastidieuse restructuration du cœur du système en créant des établissements « européens » publics parallèles. Politiquement astucieuse, pédagogiquement ingénieuse car mobilisant des équipes nouvelles pour des publics alternatifs, cette réforme serait déjà couronnée de succès. La preuve en serait fournie par une étude de chercheurs en éducation de l’Université de Luxembourg. Or, en examinant ce rapport de recherche de plus près, plus élaboré que la version provisoire d’il y a deux ans, je ne suis guère convaincu ni par la méthodologie adoptée ni par les preuves statistiques (descriptives) avancées!

Que dit le rapport?

Les résultats obtenus par les chercheurs de l’Université avaient déjà été publiés dans le « Bildungsbericht » 2024. L’étude de novembre de cette année est signée par Colling, J., Esch, P., Grund, A., Keller, U., Hornung, C., & Ugen, S. et porte le titre de  » Preliminary Results on Student Population, Mathematics and Language Achievement, Motivation, Parental Support, and Learning Environments.

C’est cette étude plus complète, incluant deux cohortes 2022/23 et 2024/25 d’élèves du fondamental, permettant de suivre les élèves sur une période courte. Outre les compétences en mathématiques ils ont examiné également les langues, le bien-être et la perception des parents. Concentrons sur les résultats en maths des élèves du fondamental.

Les auteurs étudient la performance en math grâce aux épreuves standardisées dans les système scolaire luxembourgeois traditionnel et dans le système d’écoles publiques européennes (EPS). Rien n’est dit sur la qualité des données récoltées, supposons charitablement qu’elle soit acceptable.Il n’est pas clair s’il s’agit d’un véritable panel d’élèves, un dispositif qui devrait permettre de suivre chaque enfant individuellement sur deux années scolaires consécutives, sachant qu’un panel rencontre forcément de l’attrition: de nouvelles arrivées ou départ d’élèves dans les classes (82% des élèves ont participé dans le système traditionnel contre 92% dans les écoles européennes).

En regardant le graphique on s’aperçoit que la différence entre la moyenne des notes en maths entre les élèves de écoles luxembourgeoises traditionnelle et des écoles européennes ne se distinguent pas clairement: 530 pour les premiers et 537 pour le seconds! De plus l’échantillon est disproportionné: les élèves des écoles européennes ne représentent que 11% des élèves. Il appert aussi qu’il y a une forte hétérogénéité entre les élèves des deux systèmes comme l’atteste le graphique ci-dessus. Il eut fallu, pour le moins, tenir compte de la variance des deux groupes. Pour plus d’informations sur la comparaison entre les différents types d’enseignement, le lecteur se rapportera au European public school report.

Les élèves natifs sont très présents dans les écoles traditionnelles luxembourgeoises (45%), 12% dans les écoles européennes.

Les langues de références sont le luxembourgeois et l’allemand dans le système traditionnel (21% français, 19% portugais, 6% anglais) dans le système traditionnel . Dans les écoles européennes, au contraire, le français est la langue de référence pour 42% des élèves, le portugais pour 10% des élèves et l’anglais pour 24% des élèves.

Les différences en termes de statut socio-économique jouent en défaveur des élèves inscrits dans le curriculum luxembourgeois traditionnel, ceux inscrits aux écoles européenne venant d’un milieu plus favorisé.

Les résultats restent d’une interprétation complexe. Quelques constats tirés de l’étude:

1. les élèves relevant de milieux plus favorisés s’en sortent mieux en maths dans le système luxembourgeois que dans le système européen
2. Les élèves issus de milieux moins favorisés d’en sortent tout aussi bien dans le système luxembourgeois qu’européen.
3. les élèves natifs ont de meilleurs résultats en maths dans le système transitionnel luxembourgeois que les natifs enrôlés dans le système européen
4. Les élèves avec un arrière fond migratoire ont des résultats meilleurs dans le système européen que dans le système luxembourgeois (mais l’origine migratoire n’est pas comparable: ce sont des Portugais dans le système traditionnel)
5. Les élèves parlant luxembourgeois ou allemand ont de meilleurs résultats dans le système scolaire luxembourgeois comparé au système européen. Les Portugais s’en sortent mieux dans le système européen que dans le système traditionnel.
6. On ne constate pas de différence de performance en maths pour les élèves francophones ou anglophones dans les deux systèmes.

Une approche analytique inappropriée

Cette variété entre groupes socio-économiques et linguistiques dans deux systèmes d’enseignement constitue une aubaine pour les chercheurs qui peuvent essayer de répondre à la question du rôle de l’établissement, du programme, du corps enseignant, de la composition de la population scolaire, de l’ambiance etc. sur les performances. C’est ce qu’aurait pu faire l’étude qui se satisfait de statistiques descriptives.

Hélas, la technique d’analyse laisse pantois dans la mesure où les auteurs se satisfont de résultats descriptifs, juxtaposant visuellement la valeur moyenne (pas d’indication de la dispersion ni de significativité des différences de moyenne) des performances en maths par type d’école entre les deux années. Une analyse de la variance même non paramétrique aurait été la bienvenue. Les facteurs explicatifs de la performance en maths sont le genre, les origines migratoires, les niveaux socio-économique et les langues parlées. Or, pour juger de la qualité des deux formes d’enseignement il faut tenir compte de ces facteurs simultanément.

Pour faire une analyse correcte, il faut recourir à une modélisation adéquate. Les sciences de l’éducation recourent aux techniques de régression multi niveaux permettant de tenir compte de caractéristiques individuelles des élèves et des caractéristiques propres des deux types d’école (composition, ambiance, moyens…) afin de saisir avec précision les déterminants de la performance à ces deux niveaux. En introduisant des effets d’interaction entre caractéristique individuelles et celles de l’école on peut déceler ceteris paribus– donc tenant compte de la langue, de la nationalité, du gradient socio-économique et du genre- s’il y a un effet statistiquement significatif en faveur ou en défaveur du système traditionnel luxembourgeois ou de l’école publique européenne.

L’aspect longitudinal est essentiel et prometteur, mais un panel à deux vagues est trop réduit pour permettre des analyses rigoureuses. Par ailleurs, le rapport produit un encadré sur interprétation des variations de performance entre les deux années: elles ne mesurent pas une diminution ou une augmentation de compétences mais le fait que moins d’élèves ont atteint le socle de compétences prévu pour l’année scolaire (page 18)! L’interprétation des changements de performance (« delta ») devient alors problématique. Par ailleurs, aucune indication sur la significativité statistique des variations de « performance »entre deux années. Je ne me suis pas attardé à l’aspect longitudinal qui devrait cependant être poursuivi sur tout le cursus scolaire car ajoutant une dimension diachronique.

Les analyses produites à ce stade ne permettent pas de conclure, loin s’en faut.

Un des problèmes est certainement la taille réduite de la population d’élèves dans les écoles européennes , autour de 5000 pour système traditionnel à comparer à environ 300 élèves pour l’école européenne. Cela signifie qu’il faut que le LUCET collecte encore patiemment de nombreuses données au fil des années et que les chercheurs recourent à des analyses statistiques plus sophistiquées avant de pouvoir se prononcer valablement.

Il faut laisser aux auteurs de la nouvelle étude le bénéfice de l’humilité méthodologique, ils semblent en effet bien conscients des faiblesses de l’étude. Les auteurs concluent à plusieurs reprises par un caveat du type: . « In light of small student numbers and these potential differences in the countries of origin between both student populations, the results on the development in academic achievement in mathematics split by migration background should be interpreted with caution« .

Conclusions politiques hâtives

Les résultats provisoires du Bildungsbericht 2024 avaient ouvert la porte à des conclusions optimistes, vite récupérées, de bonne guerre, par le Ministère de l’éducation nationale, en mal de reconnaissance pour ses politiques originales. Les résultats avaient été vertement critiqués par un syndicat d’enseignants sur une base doctrinale, mais sans se hisser à la hauteur de l’argumentation scientifique du LUCET. Le récent rapport se consume en commentaires et en mises en garde appelant à la prudence et à la retenue dans les leçons pratiques.

Les médias, prompts à sauter sur un buzz, même avec des résultats provisoires, ont joué la caisse de résonance, dithyrambiques sur les prouesses des écoles publiques européennes (ici).

Il faut cependant reconnaître qu’aussi bien du côté de la recherche empirique en sciences de l’éducation que du côté de la politique scolaire, le lancement des écoles européennes publiques représente un laboratoire très intéressant, s’apparentant à une quasi-expérience naturelle, féconde en explorations pédagogiques donnant prise à des évaluations quantitatives rigoureuses.

C’est donc une recherche et un dialogue informé qu’il faut vivement encourager.