Notes & Documents, 2013-06 - Octobre 2013

Comparer les résultats des systèmes éducatifs nationaux : les défis méthodologiques des enquêtes PISA

Les enquêtes PISA (Programme International pour le Suivi des Acquis des Élèves) font actuellement office de référence dans le panorama des évaluations internationales des élèves. Elles ont donné lieu à de nombreux rapports nationaux et travaux comparatifs en éducation.
Cette note s’adresse aux utilisateurs des données PISA, ainsi qu’à tous ceux qui souhaitent porter un regard distancié sur ces enquêtes et leurs exploitations. Elle expose de manière réflexive, sous les angles statistique et sociologique, la structure, les atouts et les limites du dispositif PISA depuis sa première édition en 2000. Elle cherche également à examiner la manière dont PISA répond aux défis méthodologiques des comparaisons internationales. Dans un premier temps, nous présentons les objectifs pour lesquels le programme PISA a été initialement conçu, à savoir comparer les résultats des systèmes éducatifs dans leur ensemble. Nous montrons ensuite que ce changement de cap des évaluations internationales est à l’origine d’un certain nombre d’innovations méthodologiques pour assurer la comparabilité des données produites. Ces choix méthodologiques ne sont pas sans conséquence sur la manière de traiter les informations recueillies. Au fil de cet examen critique ainsi qu’en conclusion, nous précisons donc le type d’analyse secondaire à privilégier à partir des enquêtes PISA.

PISA (Programme for International Student Assessment) is today a reference in the field of international student assessments. It has been used in amounts of national reports and comparative educational studies.
This note is intended for PISA data users as well as for those who want to take a distant look at these data and their use in the social sciences. It presents the structure, the strengths and the limitations of PISA surveys since their first edition in 2000, in statistical and sociological perspectives. It also investigates the extent to which PISA design deals with the methodological challenges of international comparisons. We firstly present the new targets that PISA is designed to meet, namely comparing the global performance of educational systems. We then show that this shift in international assessments has triggered a number of methodological innovations to ensure data comparability. These methodological choices are not without consequences on how to handle the information collected. Throughout this critical review and in conclusion, we specify the type of secondary analysis one should conduct on PISA surveys.