Rapports

CE : Etude sur la comparabilité des tests linguistiques en Europe

L’étude se présente sous forme de 4 axes : un axe introductif qui explicite l’objectif et la portée de l’étude, les langues et examens pris en compte, la participation des États Membres.
Un deuxième axe porte sur la structure de l’étude et ses résultats.
Un troisième axe traite des évolutions à proposer pour améliorer le système. Un dernier axe porte sur la synthèse comparative des données existantes dans les pays sur les tests linguistiques. Car il y a des pays où les données ne sont pas disponibles. La conclusion vient clore ce résumé de l’étude.

Suite à l’adoption des « Conclusions sur le multilinguisme et le Développement des Compétences Linguistiques » par le Conseil de l’Union Européenne, une nouvelle approche pour mesurer et comparer les compétences linguistiques est proposée. L’objectif est de promouvoir le multilinguisme et d’améliorer l’apprentissage des langues. Le Conseil de l’Europe a invité la Commission Européenne a exploré les possibilités de comparer les tests linguistiques et d’en évaluer l’efficacité. Cette étude est lancée pour évaluer le second degré. Les éléments pris en compte dans cette analyse sont les exemples de performances des élèves, la documentation d’appui concernant leurs examens. Cette étude a bénéficié de l’aide d’un groupe d’experts (IEG : Indicator Expert Group On multilinguilism).
Quant à l’étude elle même, elle s’articule autour de 5 tâches : a- Évaluation de la comparabilité des tests linguistiques nationaux, b- Propositions pour un ajustement a posteriori qui pourrait améliorer la comparabilité des résultats des tests existants ; c- Proposition d’évolution pour augmenter la comparabilité des tests, d- Propositions faites aux autres États Membres qui n’ont pas de tests d’en adopter un ; e- Synthèse comparative des données au sujet des testes existants.

Le CECR est adopté comme cadre comparatif pour l’étude en question.

Les résultats de l’étude et l’analyse qualitative du contenu et des caractéristiques des examens portent sur 133 examens de langues provenant de 33 territoires, 28 États Membres de l’UE. L’étude a trouvé qu’il y avait une diversité considérable entre les tests, ce qui diminue le potentiel de la comparabilité directe des résultats des tests.

Quatre domaines ont été pris en compte :
- les constructions de capacités : les examens montrent une grande diversité bien qu’on utilise les mêmes termes (compréhension écrite et production écrite par exemple). Il s’agit en réalité de tester des compétences différentes.
- les interprétations des résultats des tests : étant donné que les tests ne sont pas conçus selon le CECR, leurs résultats sont difficiles à interpréter.
- les populations testées et les caractéristiques du système de mesures qui peuvent affecter la comparabilité : seuls les élèves du secondaire ont été testés car ils présentent une certaine homogénéité.
- les indicateurs suggèrent un manque de comparabilité : les comparaisons des tests entre eux ne permettent pas d’aboutir à des résultats satisfaisants. Le type de questions posées a une incidence sur les résultats.

Même si l’approche quantitative n’est pas concluante car appliquée aux résultats de la compréhension écrite et la production écrite, les données ne sont pas suffisantes.

Proposition d’évolution :
L’étude insiste sur l’idée d’ajuster, à posteriori, les résultats des examens nationaux en ayant recours à la technique de jugement comparatif sous certaines conditions. Elle insiste aussi sur l’idée de construire des tests linguistiques faciles à comparer avec ceux des autres territoires ou pays. L’outil indispensable pour cela serait le CECR.
Un nombre important de critères est proposé concernant les concepteurs de tests, les auteurs de questions, les évaluateurs et les analystes ainsi que les tests eux-mêmes pour aboutir à des résultats comparables.
Le rapport fait état d’une proposition pour mettre en place de nouveaux examens linguistiques nationaux pour augmenter le potentiel comparatif des résultats. Cela passe par intégrer le CECRL dans l’élaboration des tests.

Conclusion :
Les données actuelles ne permettent pas d’établir des comparaisons satisfaisantes des tests linguistiques des différents pays car la nature des tests et la population testée sont frappées de différences nombreuses.

Analyse SNES-FSU :
L’étude montre que les résultats de l’étude ne permettent pas d’aboutir à une comparaison des systèmes linguistiques via des tests car les données sont difficiles à comparer et les résultats difficiles à interpréter. Cela relativise donc le prétendu classement des élèves, notamment français, que l’on juge (cf. loi de Refondation) souvent dans les derniers.
Pour améliorer ces tests et leurs résultats, l’étude demande à ce qu’ils soient conçus dès le départ selon le CECRL. Cette proposition cherche bien évidemment à appliquer le CECRL dans l’enseignement des langues dans l’ensemble des pays européens. Ce qui n’est pas dit dans l’étude est que le CECRL, lui, n’a pas été étudié et évalué pour savoir s’il est apte à répondre aux besoins des élèves et des systèmes éducatifs nationaux. Or, au vu des enquêtes de la propre DEPP, la question se pose.
Enfin, l’étude ne porte pas sur les conditions matérielles de l’apprentissage des langues en Europe. Une étude sérieuse et complète prendrait en compte, entre autres, les effectifs des classes, le nombre d’heures par semaine et leurs incidences sur les résultats des tests. Les conditions d’apprentissage d’un groupe de 15 élèves ne sont pas le mêmes pour un groupe de 35. Le groupe qui a 5 ou 6 heures de langue ne peut être comparé à un groupe qui n’a que 2h30 ou 3 heures.

Autres articles de la rubrique Rapports