Mardi 6 décembre, les premiers résultats de Pisa 2015 sont publiés par l'OCDE. C'est l'occasion de revenir sur cette évaluation internationale. Comment est-elle fabriquée ? Que penser de la fiabilité de Pisa ? Comment sont constituées les épreuves et les échantillons d'élèves ?
Douze années de déclin de l'école française
" Ces résultats sont inacceptables… L’école de la République ce n’est pas fini. Nous allons la refonder". C'est en ces termes que Vincent Peillon avait accueilli les résultats de Pisa 2012 en décembre 2013. Trois ans plus tard, c'est N Vallaud Belkacem qui réagit, le 6 décembre, à la publication par l'Ocde des résultats de Pisa 2015.
En trois années, Pisa s'est encore davantage imposé comme l'étude de référence pour la comparaison des systèmes éducatifs entre eux et aussi pour mesurer l'évolution des systèmes éducatifs. En 2015, 71 pays participent à Pisa dont 34 pays membres de l'OCDE. Cette année, la dominante de Pisa concerne les sciences. Mais Pisa va aussi évaluer le niveau en maths et langue française.
Plus qu'un effet palmarès de classement des pays entre eux, Pisa permet de comparer l'évolution du niveau de l'école française sur 15 années. En effet, la France participe à Pisa depuis 2000 et on peut suivre précisément l'évolution des compétences des jeunes français tout au long de ces années.
Les années 2000 à 2012 ont vu une dizaine d'années de déclin de l'école française. Pas seulement en terme de niveau. Mais aussi en terme de budget, alors qu'ailleurs les pays investissaient dans l'éducation. Les années Sarkozy-Fillon ont vu un net décrochage avec les suppressions de postes et même celle de la formation des enseignants. A l'intérieur du système éducatif, le primaire a été délaissé avec un investissement nettement inférieur à la moyenne ocde.
Pisa a aussi montré un déclin des valeurs républicaines. On a vu la montée du poids des inégalités sociales dans l'école française. Dans Pisa 2012, la France était déjà, avec la Nouvelle Zélande, le pays où l'origine sociale pèse le plus dans les résultats scolaires. A cette inégalité sociale s'ajoutait l'inégalité ethnique : la France était aussi en 2012 le pays où l'origine ethnique jouait le plus sur les résultats et cela pas seulement pour la 1ère génération mais aussi pour la seconde.
Qui sont les élèves testés dans Pisa 2015 ?
Les élèves testés dans Pisa 2015 ont 15 ans. Ils ont fait la quasi totalité de leur scolarité, du CP à la 5ème sous la droite. Ils sont entrés en 6ème à la fin du quinquennat Chirac et ont fait toute leur école et le début du collège sous Sarkozy - Fillon.
Ils ont donc connu la fausse querelle sur la méthode syllabique qui a creusé le fossé entre familles et instituteurs puis les suppressions massives de postes. Comme l'a rappelé Claude Lelièvre, ils n'ont connu depuis le ce2 que les programmes de 2008 dont les effets négatifs viennent d'être révélés dans Timss. La loi d'orientation de 2013 a été publiée lorsqu'ils étaient en 4ème, pour leurs 14 ans, et les nouveaux programmes ne sont venus qu'après Pisa 2015.
Notamment ces jeunes n'ont pas connu les mesures prises pour le primaire (les maitres surnuméraires, les créations de postes). Il n'ont pas eu vraiment le temps de bénéficier de la réforme de l'éducation prioritaire. Evidemment Pisa 2015 ne peut porter aucun jugement sur la réforme du collège ou sur les nouveaux programmes de 2016. Le paradoxe de Pisa 2015 c'est qu'il va évaluer surtout les mesures du quinquennat précédant.
Mais peut on avoir un effet immédiat de nouvelles politiques éducatives ? Oui si on entend par "immédiat" le temps de 2 ou 3 pisa. Le Pisa choc a bien eu lieu en Allemagne, en Pologne ou au Portugal, par exemple. Trois pays qui ont réussi à redresser leur niveau après Pisa 2000 au prix de réformes structurelles profondes.
Le baromètre Pisa est-il fiable ?
Si Timss, qui évalue les élèves sur des exercices scolaires, est peu contesté, Pisa se heurte à une contestation fréquente en France.
Pourtant les épreuves sont testées et approuvées lors de pré tests par les pays participants. Pisa n'impose pas d'épreuves qu'un pays rejetterait. A la différence de Timss Advanced, les élèves testés (environ 6000) ont le même âge d'un pays à l'autre, pour la France entre 15.2 et 16.3 ans. En France cela se traduit par des scolarités différentes (certains sont en 3ème, d'autres en 2de, d'autres en 2de pro). Mais cela entre justement dans les points qui méritent discussion au vu des résultats de Pisa.
Cette situation sert de prétexte à ce que la France ne participe pas à une évaluation des établissements que laquelle la plupart des autres pays acceptent. Peut-être est ce qu'en France justement les écarts entre établissements (collèges et lycées) sont devenus énormes à l'intérieur même de leur catégorie ?
Mais , à la différence de Timss, Pisa n'évalue pas directement des exercices scolaires. Il évalue des compétences, c'est à dire la capacité des jeunes, non à restituer des connaissances apprises, mais à les utiliser dans des situations de la vie quotidienne.
Par exemple, les compétences scientifiques, la dominante de Pisa 2015, sont définies ainsi : "les connaissances scientifiques de l’individu et sa capacité d’utiliser ces connaissances pour identifier les questions auxquelles la science peut apporter une réponse, pour acquérir de nouvelles connaissances, pour expliquer des phénomènes scientifiques et pour tirer des conclusions fondées sur des faits à propos de questions à caractère scientifique ; la compréhension des éléments caractéristiques de la science en tant que forme de recherche et de connaissance humaine ; la conscience du rôle de la science et de la technologie dans la constitution de notre environnement matériel, intellectuel et culturel ; et enfin, la volonté de s’engager en qualité de citoyen réfléchi sur des problèmes à caractère scientifique et touchant à des notions relatives à la science".
Comme le rappelle une présentation du Cnesco, " les exercices de PISA comportent systématiquement une première partie destinée à ancrer les questions dans le « monde réel », sur les thèmes de la santé, des ressources naturelles, de la science, etc. Cette partie (appelée « stimulus ») peut comporter un texte de présentation qui peut être assez long et des informations superflues (textes, images, graphiques, etc.), comme dans la vie réelle. Ainsi, l’élève devra d’abord comprendre la situation, ce qui suppose qu’il fasse des choix pertinents et suffisants parmi les informations apportées".
Quels exercices ?
Il y a donc des textes à lire dans les épreuves Pisa et des exercices à faire, et pas seulement des QCM à compléter comme on l'entend dire parfois. C'est dommage pour les jeunes Français qui ont été bien meilleurs dans les QCM en 2012 que quand il fallait rédiger une réponse. A noter aussi que cette année toutes les épreuves ont été passées sur informatique , ce qui est plutôt à l'avantage des élèves Français.
Le Cnesco fournit des exemples de questions posées dans Pisa en sciences.
Chaque exercice associe des connaissances, des compétences et une charge cognitive plus ou moins élevée. Les connaissance scientifiques correspondent à celles du programme du collège de 2008 en vigueur en 2015. Là aussi c'est l'héritage...
François Jarraud
Pisa 2012 : Le dossier
Cnesco : Comprendre Pisa
Pisa : 10 ans de perdus
Peillon en 2012
Comment Pisa a aidé l'Allemagne
Delahaye : Pour un Pisa choc
C Lelièvre : Pisa, quels ministres ?