Le mensuel Imprimer  |  Télécharger nous suivre sur Twitter nous suivre sur Facebook

B. Suchaut : Pour une nouvelle lecture des résultats de Pisa 2009 

Par François Jarraud


Si on notait sur 20 les résultats des pays participant à Pisa, la Corée et la Finlande auraient 11 et le Mexique 8,7. C'est cette présentation, qui relativise les résultats de Pisa, que Bruno Suchaut, chercheur associé à l'IREDU et directeur de l'URSP, présente en exclusivité aux lecteurs du Café pédagogique. Mais peut-on relativiser Pisa ? L'enquête internationale de l'OCDE  a une influence politique réelle. En France, les résultats de PISA sont régulièrement utilisés par V. Peillon et G. Pau-Langevin pour justifier la refondation de l'Ecole. En relativisant le classement entre les Etats, Bruno Suchaut  ne remet pas en question la qualité du travail de l'OCDE. Il pointe le vrai écart : les écarts de performance à l'intérieur de chaque pays. Car c'est bien au sein de chaque contexte national que l'on peut agir.


"La significativité des différences est toujours centrale en statistiques inférentielles et tient au fait que les données concernent des échantillons d’individus et non pas des populations entières". Ce rappel aux réalités statistiques ouvre l'exposé de Bruno Suchaut. "L’interprétation des scores pose aussi la question de l’échelle de mesure choisie par les concepteurs du programme PISA pour chiffrer le niveau de compétences des élèves". Pisa fixe la moyenne des scores des élèves à 500 avec un écart type de 100. Or les deux tiers des élèves se situent à plus ou moins un écart type. Sur les 34 pays de l'OCDE, 22 ont un score compris entre 480 et 520. C'est dire que les écarts sont faibles et le classement, largement médiatisé, pas toujours significatif.


Traduire Pisa dans la notation sur 20


Pour rendre plus concrète cette réalité, Bruno Suchaut propose de la traduire dans trois systèmes de notation : français, belge et suisse. Si les pays de Pisa étaient notés sur 20, le plus mauvais résultat, le Mexique, aurait 8,7 et le premier de la classe (Corée, Finlande) n'aurait que 11. "L’impression qui se dégage de la lecture du tableau et des graphiques est bien le caractère relatif des différences de performances entre les pays", affirme B. Suchaut. " La Finlande (score de 536 à PISA), très souvent citée en exemple pour la qualité de son système éducatif est, comme la Corée, distante de la France (score de 496) de seulement  0,9 points". Or " on voit bien ainsi que de dire par exemple que la France est classée au 18ème rang sur les 34 pays de l’OCDE n’invite pas aux mêmes commentaires que de dire que le premier pays du classement ne dépasse la France que de 0,9 points sur une échelle de 0 à 20."


Plus que le classement international, les écarts nationaux


Pour Bruno Suchaut, plus que se focaliser sur le classement, il faut observer les écarts à l'intérieur de chaque pays. " C’est donc surtout la variabilité des performances entre les élèves qui apparaît importante dans une telle enquête". Et c'est là où se dégage une spécificité française. " Dans l’échelle de notation française, l’écart moyen entre les élèves est de 1,9 points alors que l’écart moyen entre les pays est seulement de 0,47 points". Si l'on classe les élèves par niveau de compétence en compréhension de l'écrit, " au niveau de l’OCDE, on relève en 2009 5,7% d’élèves très faibles (niveau 1b et inférieur à 1b) alors que cette proportion est de 7,9% pour la France (pour mémoire, cette proportion n’était que de 6% en 2000)". Le facteur social jour un rôle particulier en France : " cet impact du milieu social est de 51 points dans l’échelle de PISA, soit 1 point dans l’échelle de notation français (de 0 à 20), ce qui est du même ordre que l’écart de performances moyennes entre le Portugal (22ème dans le classement) et la Finlande (2ème du classement)."


Recadrer l'action politique


"Malgré les précautions prises dans les diverses publications de l’OCDE et celles des responsables des consortiums PISA, les écarts de scores entre les pays sont très souvent surestimés dans les commentaires réalisés par les médias et les conclusions qui en découlent peuvent être erronées", écrit Bruno Suchaut. "Notre démarche ne remet nullement en cause l’intérêt du programme PISA pour les politiques éducatives mais permet de mettre surtout l’accent sur les différences de performances entre les élèves plutôt que sur les écarts entre pays. Cela permet aussi de souligner que la vraie marge d’action se situe au sein de chaque contexte national pour notamment réduire les écarts entre les élèves et permettre au plus grand nombre d’entre eux, et quelles que soient leurs caractéristiques, d’atteindre un niveau de compétences suffisant pour la suite de leur scolarité et, plus largement, pour leur insertion sociale et professionnelle". C'est bien là qu'est l'enjeu des politiques publiques.


François Jarraud


Lire l'intégralité de l'article de Bruno Suchat

Sur le site du Café

http://www.cafepedagogique.net/lesdossiers/Pages/2013/29[...]

Sur son site personnel

http://www.brunosuchaut.fr/IMG/pdf/Pisa_notes.pdf

Dossier Pisa du Café pédagogique

http://www.cafepedagogique.net/lesdossiers/Pages/PISA2010.aspx

B. Suchaut sur le "plus de maîtres que de classes"

http://www.cafepedagogique.net/lexpresso/Pages/2013/03/18032[...]



PISA à l’épreuve des notes, Une autre lecture de la comparaison entre les pays

PISA à l’épreuve des notes, Une autre lecture de la comparaison entre les pays


Les enquêtes internationales sur les acquisitions des élèves ont une histoire de plus de cinquante années dont l’origine est le fait de l’Institut de l’éducation de Hambourg, cette histoire a été particulièrement marquée par la création de l’IEA en 1961. Cet organisme, piloté par des chercheurs, a joué un rôle déterminant dans le développement des outils statistiques et plus généralement de la méthodologie utilisée dans ces grandes enquêtes comparatives dont la fréquence a augmenté au cours de ces dernières décennies. Plus récemment, l’OCDE a donné une forte impulsion aux études internationales en éducation avec pour objectif le recueil d’éléments factuels et réguliers sur les systèmes d’enseignement en vue d’instruire les politiques éducatives. L’enquête PISA a été lancée par l’OCDE en 2000 en bénéficiant de l’engagement des décideurs politiques dans ce programme international d’évaluation des compétences des élèves. Cette opération de très grande ampleur concerne à présent un nombre important de pays (65 pays ont participé en 2009 et 67 pays en 2012) et des moyens financiers substantiels sont mobilisés pour la réalisation des différentes étapes du programme. En outre, la richesse des informations collectées sur les élèves et les établissements, la dimension cyclique de l’enquête administrée tous les trois ans dans trois domaines de compétences (compréhension de l’écrit, culture mathématique et culture scientifique) sont autant d’éléments qui ont permis une large exploitation des résultats et qui ont contribué par ailleurs à la popularité de PISA. (...)


Lire l'intégralité de l'article de Bruno Suchaut

http://www.cafepedagogique.net/lesdossiers/Pages/2013/290513_PI[...]



Sur le site du Café


Par fjarraud , le vendredi 21 juin 2013.

Partenaires

Nos annonces