Comment lire la prochaine enquête PISA ?

Une fois de plus, la publication en décembre des résultats de la dernière enquête PISA va faire couler, n’en doutons pas, beaucoup d’encre, tout particulièrement dans un contexte de précampagne où les questions d’éducation ne devraient pas être ignorées.

Des enquêtes internationales comparatives

Rappelons en quelques mots que les enquêtes PISA (Programme for International Student Assessment) menées sous l’égide de l’OCDE visent, depuis 2000 et tous les 3 ans (la dernière publiée date de 2013), à évaluer la compréhension de l’écrit, la culture mathématique et la culture scientifique des jeunes de 15 ans, et ceci sur la base de situations de la vie réelle, l’objectif étant d’évaluer la maîtrise de skills for life et non de connaissances disciplinaires.

Ont été ajoutées des questions sur la qualité des relations entre professeurs et élèves, ainsi que sur leurs attitudes face au travail scolaire. Ces enquêtes, qui concernent plus d’une soixantaine de pays, ont comme spécificité de porter sur les élèves âgés de 15 ans, et non d’un niveau scolaire donné. D’emblée tournées vers les décideurs publics, elles assument leur vocation à orienter le pilotage des systèmes éducatifs. Pourtant, leur utilisation pose des problèmes variés qui ne sont jamais purement techniques. Examinons-les pour mieux comprendre ce que l’enquête de 2015 peut nous apprendre.

Les limites des enquêtes

Tout d’abord, comme toutes les données d’enquêtes, celles-ci sont inévitablement imparfaites. En particulier, dès lors qu’elles portent sur des échantillons, les estimations chiffrées – en l’occurrence les scores des élèves – sont assorties d’une marge d’incertitude. Alors que les classements sont fortement médiatisés, la position d’un pays n’est souvent pas différente significativement d’un nombre assez élevé de ses voisins. L’oublier conduit à surestimer les écarts entre pays, alors que les écarts de performance les plus importants opposent avant tout les pays riches et les pays pauvres.

Un autre point, méconnu, découle du fait qu’on observe dans PISA les élèves de 15 ans quel que soit leur niveau scolaire. Or, en France, à peine plus de la moitié des élèves de cette population sont à l’heure (ou en avance), les autres ayant redoublé ou fréquentant des filières professionnelles, moins exigeantes scolairement. Ceci, concrètement, fait baisser le score moyen dans les pays comme le nôtre où existe le redoublement (d’où l’intérêt d’examiner spécifiquement le score des élèves n’ayant jamais redoublé, en général très bien situé dans le classement international).

Concernant les épreuves, des réserves ont été émises, notamment en France, sur les possibles « biais culturels » (provenant du fait que l’anglais est source des items, du format de type QCM de nombreux exercices…). Néanmoins, les meilleurs élèves viennent d’aires culturelles très différentes (Finlande, Canada, Corée), et en ce qui concerne la construction et la traduction des épreuves, PISA donne des assurances techniques importantes.

Mais de fait, la difficulté majeure concerne les limites de données transversales, collectées à un moment donné, quand il s’agit d’évaluer et de piloter les systèmes éducatifs. Car les liens observés entre résultats des élèves et politiques éducatives ne sont instructifs à cet égard que si l’on est raisonnablement sûr qu’on a bien affaire à des relations causales.

Or, les résultats, d’une part prennent souvent la forme de corrélations entre deux données (une performance, une caractéristique du système), ce qui peut évidemment masquer nombre de relations non prises en compte ; d’autre part, le caractère transversal des observations ne permet pas de trancher quant à l’impact spécifique de tel aspect du système éducatif, puisque toute la « fabrication » passée des diverses corrélations est ignorée et qu’à 15 ans, on enregistre nécessairement et globalement le résultat de toute la socialisation et la scolarisation antérieures.

Des interprétations très variables

Cela ouvre la porte à de multiples dérapages, les corrélations étant abusivement interprétées selon les préférences idéologiques de chacun.

Prenons l’exemple de l’interprétation des bons résultats finlandais. Si on est syndicaliste, on les met en relation – on les « explique » – avec le niveau élevé des rémunérations et du prestige des enseignants. Si on croit à la pédagogie, on les mettra plutôt en relation avec le suivi individualisé dont bénéficient les enfants en échec. Si on a un a priori favorable à l’autonomie des établissements, on soulignera que les écoles finlandaises ont un niveau d’autonomie plus élevé que les autres pays, en oubliant de préciser que ceci ne concerne que la politique d’évaluations des élèves (pour les autres dimensions de l’autonomie – recrutement des enseignants, budget, admission des élèves –, les écoles finlandaises sont souvent moins autonomes que la moyenne de l’OCDE). Et ainsi de suite…

Or, il est plus que probable que les divers aspects des systèmes jouent de concert, d’où d’ailleurs le caractère très critiquable des « emprunts » d’éléments isolés de tel ou tel système. En outre, la prise en compte du contexte historique et culturel serait nécessaire et c’est peu dire qu’elle est rarement intégrée dans l’analyse.

Comment comprendre l’efficacité remarquable du système japonais, à l’aune de PISA, sans rappeler, pêle-mêle, la valorisation spécifique dont l’éducation est l’objet dans ce pays, l’opinion répandue au Japon selon laquelle tous les enfants sont capables d’apprendre, ou encore, last but not least, le fait que les élèves fréquentent souvent le soir, en sus de leur scolarité normale, des cours de soutien privés… Il n’est pas exclu que l’excellence des performances des élèves japonais tienne à cette école parallèle.

La fragilité des conclusions politiques que l’on peut tirer des corrélations qui sont dégagées dans les enquêtes PISA est donc patente, du fait de la multiplicité des facteurs potentiellement en cause en deçà de ces corrélations constatées à l’instant t, ce qui rend complètement inadéquate la notion d’efficacité, souvent invoquée dans les commentaires sur les résultats de ces enquêtes. En particulier, quand il s’agit d’évaluer des réformes, il est strictement impossible de dégager des séquences temporelles entre les variables et donc de spécifier des évolutions causales (la variation de tel ou tel paramètre ayant eu tel ou tel effet).

Une enquête ne fait pas une politique

En conclusion, on ne saurait « caler » la politique éducative sur les enquêtes PISA. Tout d’abord parce qu’un pilotage s’appuyant sur des corrélations extraites de leur contexte s’exposerait à des erreurs de préconisation. Mais aussi parce qu’il convient de veiller à ne pas entériner sans discussion les choix éducatifs qui sous-tendent les enquêtes PISA. Ces choix sont effectués de fait par des experts et/ou les instances européennes et les organisations internationales mais ils ne font pas nécessairement l’objet d’une politique explicite et a fortiori de débats démocratiques.

Ici comme ailleurs, privilégier certains indicateurs équivaut à privilégier certains objectifs, puisqu’on évalue les systèmes éducatifs à l’aune de ces indicateurs. Or, la définition des « compétences pour la vie » incorporée dans PISA fait-elle l’objet d’un consensus, ou encore, pourquoi ne pas donner plus d’importance à des indicateurs sur le bien-être des élèves ?

Pour ce qui est strictement des performances scolaires, on peut également poser la question de savoir si l’excellence d’un système se mesure à l’aune du niveau moyen des performances, et/ou à l’aune du niveau de performance des meilleurs, ou au contraire du niveau auquel on a fait accéder les plus faibles, ou encore à l’homogénéité des performances d’une classe d’âge.

De plus, il serait légitime de distinguer efficacité interne et externe des systèmes éducatif : un système performant est-il un système dont les élèves réalisent des acquis élevés ou qui se placent bien, et s’intègrent bien dans la vie ?

Enfin, les critères macrosociaux censés justifier in fine les politiques éducatives (notamment l’élévation du niveau de formation) mériteraient tout autant d’être l’objet de débats, qu’il s’agisse – OCDE oblige – de la compétitivité ou de la croissance économique, ou d’une cohésion sociale dont la définition et la mesure n’ont rien d’évident.

Un risque et non des moindres engendré par les enquêtes PISA serait d’étouffer tous ces débats par leur simplicité et leur séduction trompeuses, et ce d’autant plus que règne une relative incertitude quant aux objectifs intrinsèques (au-delà du « toujours plus ») des politiques éducatives…

Mais de toute évidence, il ne faut pas jeter le bébé avec l’eau du bain et les résultats de la vague 2015 devront être examinés à la loupe…

Par Marie Duru-Bellat, Professeure des universités émérite en sociologie, Observatoire sociologique du changement, Sciences Po

La version originale de cet article a été publiée sur The Conversation.