André Ouzoulias : Chiffres de l'Ecole, une entreprise de manipulation

M. Darcos, maître en déclinologie

Par André Ouzoulias
Professeur à l’IUFM de Versailles, Université de Cergy-Pontoise,
Département PEPSSE (Philosophie, épistémologie, psychologie, sociologie et sciences de l'éducation)

Dans toutes ses interventions, le ministre de l’éducation nationale utilise le même argument pour justifier son projet de nouveau programme pour l’école primaire : la baisse des performances des élèves français dans les évaluations internationales. Selon Xavier Darcos, elle doit nous conduire à réviser entièrement les programmes de l’école primaire, principaux responsables de ce désastreux bilan. Concernant plus précisément les performances des élèves français, dans un 7-10 de France-Inter à la mi-avril, il a ainsi affirmé sans être contredit, que nous nous trouvions dans le « tout bas du classement », tandis que, sur d’autres médias, il a indiqué que les résultats de nos élèves « se sont effondrés dans les dernières années ». Dans le magazine télévisé Ripostes du 20 avril dernier sur France 5, il a évoqué sans être vraiment contredit, là non plus, « la chute continuelle depuis 2002 du niveau de performances en compréhension écrite et orale des élèves français ». Et lors de la présentation de la mouture prétendument nouvelle du projet de programme, le 29 avril, il a répété que son projet s’imposait face au « recul de notre système éducatif dans les classements internationaux, notamment dans l'enquête PIRLS qui évalue les compétences en lecture des élèves âgés de 10 ans », ajoutant que « la France ne se situe, parmi les pays de l'Union européenne, qu'en fin de classement, devant la Slovénie, la Pologne, l'Espagne, la Belgique francophone et la Roumanie. »
Visiblement, cette argumentation a été concertée au plus haut niveau. C’est ce que suggèrent les propos du chef de l’État lors de son entretien télévisé du 24 avril dernier, dans lesquels il a repris presque mot pour mot ceux de Xavier Darcos, jugeant aussi que celui-ci est « un excellent ministre ».
On attend du Président de la République et de tout ministre, tout particulièrement du ministre de l’éducation nationale, une argumentation au plus près des faits. Or, à moins que M. Sarkozy et le gouvernement ne disposent d’informations qu’eux seuls auraient en leur possession, on se demande quelles études ou données objectives fondent ces appréciations très négatives portées sur l’école française. On nous dit que ce bilan est celui que peignent les évaluations internationales. Commençons donc par examiner les résultats de ces enquêtes¹^.
Les évaluations internationales en lecture
Concernant la lecture, on dispose des résultats publics de plusieurs enquêtes internationales, dont certaines sont assez récentes. Liliane Sprenger-Charolles, directeur de recherche au CNRS, Université René Descartes (Paris), en a fait une analyse détaillée lors d’un séminaire à l’Institut National de la Recherche Pédagogique² . Cette analyse donne une vision très différente des résultats des élèves français et de leur évolution au cours de ces 15 dernières années.
Liliane Sprenger-Charolles explore les résultats d’enquêtes réalisées en 1992, 2000, 2003 et 2006 qui donnent un recul d’une quinzaine d’années, suffisant pour dégager une tendance. Il s’agit en fait de deux séries d’enquêtes a priori difficilement comparables, d’une part les enquêtes PISA réalisées par l’OCDE en 2000 puis en 2003 auprès d’élèves de 15 ans (scolarisés en 2nde), d’autre part les enquêtes PIRLS réalisées par l’IEA en 1992 auprès d’élèves de 9-10 ans et de 14-15 ans, puis en 2006 auprès d’élèves de 10-11 ans. Toutefois, même ainsi, les résultats permettent de répondre aux deux questions principales : quelle est l’efficacité de l’école française en lecture et comment a-t-elle évolué ? De son analyse, ressortent les points suivants.
a)   Si les résultats français à PISA ont très légèrement baissé entre 2000 et 2003, comme aussi ceux des élèves finlandais, notons-le, cette baisse n’est pas statistiquement significative (quelques points sur un score total voisin de 500). Rien à voir avec un « effondrement».
b)   En 2003, s’il n’y a pas de quoi fanfaronner, les élèves français de 15 ans se situent dans la moyenne OCDE, aux côtés de pays comme l’Allemagne, l’Autriche, la Norvège, la Suisse, les USA… bien au-dessus donc du « tout bas du classement ».
c)   Si l’on ne prend pas en compte les élèves redoublants (rappelons que le taux d’élèves en retard d’un an ou deux en France au collège se situe autour de 12 %), qui ont été inclus dans les enquêtes PISA 2000 et 2003 et PIRLS 2006 (mais non dans PIRLS 1992), le score moyen des élèves français est très élevé. Par exemple, d’après les résultats de PISA (2000), la moitié de nos élèves ont des scores égaux ou supérieurs à 560 points, soit 60 points au-dessus de la moyenne internationale (= 500), ce qui les situe à peu près au même niveau que les élèves finlandais, considérés comme les « champions ». De plus, 75 % des élèves « à l’heure » ont des scores supérieurs ou égaux à 520, la proportion de ces élèves ayant des scores inférieurs à la moyenne internationale étant très faible.
d)   Concernant la dernière enquête PIRLS (2006), il existe divers biais qui perturbent sérieusement les comparaisons entre pays. Ainsi, l’échantillon d’élèves n’a pas été construit partout de la même façon : les élèves français avaient huit mois de moins que ceux du Luxembourg, de Suède, du Danemark, de la Bulgarie et des USA, pays classés devant la France. Ce même biais affecte aussi la position relative des élèves d’autres pays comme l’Espagne, la Norvège, Israël et la Belgique (francophone).
De plus, 2/3 des élèves français ne parlent à la maison que le français, ce qui signifie qu’un tiers parle plus ou moins systématiquement une autre langue et laisse donc penser que près d’un tiers des élèves de l’échantillon français est d’origine étrangère. Or, pour plusieurs pays dont les résultats sont situés au-dessus des résultats français (Belgique néerlandophone, Pays-Bas, Danemark, Angleterre…), il y a plus des 3/4 des enfants qui sont dans cette situation (usage exclusif de la langue du test en famille). Certes, le fait d’être bilingue n’est pas en soi un handicap, au contraire. Mais comme, en France, les enfants d’origine étrangère appartiennent le plus souvent à des CSP dites défavorisées ou très défavorisées, on peut avoir de sérieux doutes sur la comparabilité des échantillons quant à leur composition sociale. Il faut noter aussi que, de PIRLS 1992 à PIRLS 2006, le taux d’élèves de l’échantillon français qui ne parlent que le français à la maison est étrangement passé de 91 % (proportion assez proche de la réalité) à 66 % !
Enfin, dans PIRLS 2006, plus de 6 % des élèves ont été exclus des évaluations dans divers pays classés devant la France, comme la Bulgarie, la Belgique néerlandophone, les Pays-Bas et le Danemark, contre moins de 4 % pour la France (on retire toujours des sujets dont les caractéristiques « brouillent » les comparaisons, comme une longue maladie dans l’année, une arrivée récente de l’étranger, une déficience, etc.).
Au total, ces trois biais dans la construction de l’échantillon (âge, langue maternelle, taux d’exclus) se cumulent pour pénaliser le score des élèves français. Dans ses analyses, Liliane Sprenger-Charolles ne va pas jusque-là, mais il ne serait pas absurde de penser que, dans ces conditions, la valeur réelle exprimée par les résultats des élèves français à PIRLS 2006 les met plusieurs rangs plus haut dans le classement international et en progrès sensible sur PIRLS 1992.
Un curieux support d’évaluation…
Liliane Sprenger-Charolles a également pris soin de donner l’intégralité d’un des textes qui ont servi de support à l’enquête PIRLS 2006 (voir annexe 1). Pour l’observateur avisé, il est frappant de constater que ce texte est un hybride de narration et d’écrit documentaire. Or, il se trouve qu’en France, l’un des axes forts de la pédagogie de la lecture se marque plutôt dans une exposition à deux types d’écrits de plus en plus explicitement distingués tout au long de l’école primaire : les récits et les écrits scientifiques (lesquels peuvent, localement, comporter un récit). En revanche, qui connaît bien la pédagogie de la lecture dans les divers pays comparés dans cette enquête, sait aussi que le type de texte qui a servi pour cette évaluation est habituellement utilisé à l’école dans les pays scandinaves et anglo-saxons, qu’il s’inscrit dans leur tradition pédagogique.
De plus, l’univers de référence de ce texte est familier à de nombreux élèves des pays du Nord de l’Europe. Pour apprécier l’intérêt de la comparaison effectuée par les enquêteurs de PIRLS 2006, il faut savoir qu’un élève ordinaire de 10-11 ans des pays scandinaves, des pays riverains de la Baltique, d’Écosse, d’Irlande ou d’Islande ne découvre pas ici les macareux. C’est un oiseau qu’il a déjà vu plusieurs fois dans des reportages télévisés, dans les pages de magazines pour la jeunesse, sur son manuel de SVT ou dans des vidéos projetées en classe, voire au cours de promenades le long de la côte. De plus, de nombreux élèves de ces pays, avant de lire le texte, connaissaient déjà son thème principal (le premier envol des jeunes et ses risques), si bien que, pour plusieurs questions posées à la suite du texte, il leur suffisait de mobiliser leurs connaissances et leurs souvenirs sans même avoir à lire le texte.
Il aurait été normal que l’on choisisse un univers de référence plus neutre. Que dirait-on si, pour une prochaine enquête, les organisateurs utilisaient par exemple un texte portant sur la culture de l’olivier et la fabrication de l’huile d’olive et si, au bout du compte, on s’apercevait que les élèves espagnols, italiens et grecs de 10-11 ans ont des résultats bien supérieurs à ceux de tous les autres pays ?
Enfin, pour les élèves francophones de 10-11 ans, l’emploi de certains termes utilisés dans la traduction française (scrute, désorienté, aux aguets, ressac…) pouvait rendre la lecture du texte difficile ici ou là, alors que ses versions dans plusieurs autres langues utilisent peut-être un vocabulaire plus accessible. Mais, surtout, il y a de quoi être intrigué par diverses particularités de construction du texte :
• Le premier mot du récit (après le chapeau) est Halla. Il peut créer un trouble chez certains élèves français qui pourraient le rapprocher du nom du dieu des musulmans…
• Halla murmure le mot lundi, qui veut dire macareux en islandais. Et mardi, se demandent peut-être nos élèves, qu’est-ce que cela veut dire en islandais ? Ils auraient sans doute été moins perplexes s’ils avaient lu que Halla murmure le mot loundi, ce qui, en outre, aurait constitué une transcription plus pertinente de la prononciation islandaise.
• Pour comprendre le troisième paragraphe, les lecteurs doivent inférer que deux individus se sont d’abord accouplés, que la femelle a pondu un œuf et que le couple a couvé cet œuf un certain temps (le mot couver n’est d’ailleurs pas utilisé)… Mais cet œuf sert ensuite de point de départ à une superbe série de substituts, presque idéale pour une séquence d’enseignement sur les problèmes de compréhension en lecture : les petits des macareux s’appellent d’abord des poussins (que les élèves francophones considèrent habituellement comme les petits de la poule), puis des oisillons, des jeunes, des petits, des oiseaux… Vers la fin, le texte parle aussi des protégés d’Halla.
• Le texte dit, dans le 3e paragraphe, que « les parents rapporteront du poisson au nid pour nourrir les oisillons », mais les traducteurs ont aussi laissé dans l’implicite qu’il s’agit des parents des oisillons alors que ce terme parents, sans complément, est le plus souvent interprété autrement par les élèves de CM français. Quelques uns auront peut-être hésité : s’agit-il des parents d’Halla et de ses amis ? Il faut attendre la phrase : « Pendant tout l’été, les macareux adultes vont à la pêche … »³, qui vient un peu plus loin, pour inférer ce que savent dès le départ la plupart des enfants de l’Europe du Nord : les macareux sont des oiseaux pêcheurs. En fait, ils plongent assez profondément dans la mer et, un peu comme les manchots, chassent en nageant en groupe, parvenant ainsi à attraper une grande quantité de petits poissons, avec lesquels ils nourrissent leurs petits.
• Le nid dans lequel se développent les macareux s’appelle d’abord un terrier (plutôt utilisé d’ordinaire pour désigner l’habitat d’animaux terrestres comme les renards), puis un nid, un abri, etc. On peut faire ici, à propos de cette autre chaîne de substituts, la même remarque que ci-dessus.
On le voit, surtout dans son début, ce récit est parsemé de chausse-trappes pour élèves francophones, pas si faciles à repérer pour les moins assurés d’entre eux dans la compréhension en lecture. Or, le début d’un texte est crucial pour sa compréhension.
En somme, qu’il s’agisse de l’échantillon d’élèves, du type de texte, de son univers de référence ou de sa construction, rien ne pouvait favoriser un bon score des enfants français. Et pourtant, les résultats ne s’effondrent pas… Et pourtant, les élèves français ne sont pas « dans le tout bas du classement ». Et pourtant, ils lisent ! Qu’ils obtiennent dans de telles conditions les résultats que PIRLS 2006 leur attribue, il n’y a pas de quoi se couvrir de cendres…
Il ne serait pas difficile, hélas, de montrer que, trop souvent, les supports franco-français pour les évaluations en lecture souffrent d’imperfections similaires. Ainsi, pour l’évaluation des élèves de CE1 en septembre 2007, les livrets fournis par le ministère proposent une épreuve présentée comme discriminante : sur une page comportant une vingtaine de mots illustrés (voir annexe 2), on demande aux enfants de barrer « les mots qui sont mal écrits ». Ce cas est exemplifié avec le mot douche associé à l’image d’une bouche. Admettons que les auteurs auraient pu, plus judicieusement, proposer un exemple tel que pouche, vouche ou bonche pour faire comprendre ce qu’est « un mot mal écrit ». De plus, parmi les items proposés, il y a le mot cassette, que de nombreux enfants ont barré parce qu’ils ne le connaissaient pas. Beaucoup ont également barré le mot voilier, expliquant ensuite : « parce que ce n’est pas écrit bateau ». De même, beaucoup ont barré, à tort, le mot fruit, « parce que c’est du raisin » et le mot lampe « parce que c’est une pile ». Pour une grande part, on a donc évalué ici le lexique des élèves et non leur capacité à lire des mots isolés. On se demande comment ce qui semble évident aux enseignants de CP et de CE1 n’a pas été perçu par les auteurs de ces supports, ni par les cadres du ministère qui les ont validés avant leur impression à 850 000 exemplaires…
Si les protocoles d’évaluation des traitements médicaux étaient réalisés aussi peu scrupuleusement que les évaluations nationales ou internationales de la lecture, chacun sait bien que cela pourrait avoir des conséquences graves sur la santé. Mais en matière d’évaluation de la lecture, il semble qu’on puisse se permettre des légèretés qui frisent l’amateurisme.
En maths et en sciences, est-ce « l’effondrement » ?
Dans ces deux domaines, des comparaisons internationales ont été réalisées à travers les enquêtes PISA en 2000, 2003 et 2006 avec des élèves de 15 ans, mais avec des épreuves de conception très différentes dans ces trois vagues, qui rendent difficiles les comparaisons d’une vague à l’autre. Les résultats de PISA 2006 sont présentés dans la Note d’information de la Direction de l’évaluation, de la prospective et de la performance du ministère de l’éducation nationale (DEPP), en date du 8 janvier 2008. La DEPP montre que les résultats français ont un peu fléchi, comme ceux de pays aussi différents sur le plan pédagogique que les USA, les Pays-Bas, la Slovaquie, la République Tchèque, la Suède ou l’Espagne (les scores moyens de la plupart des autres pays se tassent aussi, quoique de façon moins marquée). Mais ces résultats continuent à situer les performances de l’école française dans la moyenne de l’OCDE, autour de laquelle se concentrent les deux tiers des pays. Il faut noter aussi que le fléchissement moyen des résultats français n’est pas principalement dû à une baisse générale des performances, mais à une augmentation sensible et préoccupante du pourcentage des élèves les plus faibles. Cet aspect des résultats a été notamment souligné par Bruno Suchaut, directeur de l’IRÉDU (Institut de Recherche en Économie de l’Éducation).
Toutefois, rien n’est précisé sur la façon dont les échantillons ont été formés et la note de la DEPP ne fournit pas les supports d’évaluation. Or, comme nous venons de le voir avec les évaluations PIRLS et les analyses de Liliane Sprenger-Charolles, « le diable gît dans les détails ». Ainsi, il y a de quoi s’interroger sur les brutaux changements de position de divers pays qui, de 2003 à 2006, gagnent ou perdent un grand nombre de places en gagnant ou en perdant… une vingtaine de points (pour un score total voisin de 500).
En tout cas, là non plus, s’il n’y a pas de quoi fanfaronner, on ne peut pas parler de « tout bas du classement », là non plus on ne peut pas parler de « chute continuelle depuis 2002 », encore moins « d’effondrement ». Et quoi qu’il en soit, si on veut expliquer l’augmentation, entre 2000 et 2006, de la proportion des élèves les plus faibles dans les domaines de la culture scientifique et mathématique dans ces évaluations PISA, on ne peut pas incriminer les programmes de 2002 de l’école primaire. Comme le rappelle Philippe Joutard, le recteur qui a présidé à la rédaction des programmes de 2002, les élèves de PISA 2006, qui avaient 15 ans au moment de l’enquête, ont fait toute leur scolarité primaire avec les programmes antérieurs.
Il faut relativiser les performances finlandaises
Toujours en prétendant s’appuyer sur les évaluations internationales, M. Darcos compare souvent la Finlande et la France, notamment pour dire que nous pourrions aisément diminuer le nombre d’heures d’enseignement sans grand dommage, puisque les élèves finlandais ont de bien meilleurs résultats avec moins d’heures d’école. On sait en effet que, dans les évaluations internationales, depuis une quinzaine d’années, les élèves finlandais sont constamment situés « dans le haut du tableau », tant en lecture qu’en mathématiques. Mais peu de commentateurs soulignent certaines spécificités qui expliquent une grande part de ces résultats. Concernant la lecture, une spécificité bien connue des linguistes est la régularité du système d’écriture du finnois : il y a 26 phonèmes dans cette langue, dont 8 voyelles (contre 37 phonèmes dont 16 voyelles en français) ; il y a 26 lettres dans l’alphabet finnois courant ; chaque phonème est toujours représenté par une même lettre et une seule⁴. Si on écrivait le français sur ce modèle, les mots auraient cette allure : bato (et non bateau), méri (et non mairie), kok (et non coque ou coq), jigo (et non gigot), etc. Pour ainsi dire, le finnois ne connaît donc pas d’autre orthographe que la graphophonologie. On ne peut guère rencontrer système d’écriture plus transparent. Et pratiquement, il suffit aux enfants de connaître les lettres de l’alphabet pour savoir déchiffrer. C’est si vrai que 75 % des élèves savent déchiffrer avant d’entrer à l’école élémentaire (ils y entrent à 7 ans et non à 6 ans comme en France). La plupart des autres y parviennent lors du premier mois d’école, à travers un module adapté. Très vite, dès le début de la scolarité élémentaire, l’enseignant peut donc se concentrer sur la compréhension des textes⁵.
En outre, deux disciplines sont inconnues à l’école primaire finlandaise : l’orthographe (on vient de voir pourquoi) et la grammaire (la langue marque dès l’oral les cas, les genres et les nombres) et l’on peut donc économiser le temps que l’on emploie à étudier ces aspects de la langue écrite dans des écritures plus morphémiques comme le français (133 graphèmes + une morphosyntaxe purement visuelle) ou l’anglais (plus de 1 000 graphèmes !).
Mais ce n’est pas tout. Les élèves finlandais sont aussi avantagés par la façon dont se disent les nombres dans leur langue. Si on traduisait littéralement en français la suite des mots-nombres finnois de 11 à 19, on dirait « dix-un, dix-deux, dix-trois… » jusqu’à « dix-neuf » (en français cette régularité ne commence qu’à « dix-sept »). Et si on traduisait littéralement la série des mots-nombres qui disent 20, 30, 40 … 90, on dirait « deux dix, trois dix, quatre dix … neuf dix ». Traduisons maintenant de façon littérale le nombre finnois qui dit 35 : « trois dix cinq » ; … celui qui dit 71 : « sept dix un » ; … celui qui dit 80 : « huit dix ». Il n’est guère étonnant, dès lors, que les enfants finlandais entrent à l’école élémentaire en sachant pour la plupart compter, lire et écrire les nombres jusqu’à 99 : la régularité de la comptine la rend facile à engendrer et le couplage entre numération orale et écriture chiffrée est quasi immédiat.
Des études interculturelles ont montré que les enfants des pays d’Asie (Japon, Corée, Chine, etc.), où l’on dit les nombres de cette façon très régulière, voyaient leurs apprentissages considérablement facilités dans trois domaines essentiels : la compréhension de la numération décimale de position, le calcul mental de l’addition et de la soustraction sur les petits nombres, le calcul mental de l’addition sur les nombres à deux chiffres. L’avance que procure cette transparence aux enfants de ces pays, par comparaison avec les enfants états-uniens anglophones, a même été estimée assez précisément : si on prend pour référence le niveau de performance que les enfants des pays d’Asie atteignent dans ces domaines en fin de CP, les enfants états-uniens n’y accèdent qu’entre la fin du CE2 et le milieu du CM1⁶ ! Il apparaît aussi que cette facilité dans l’apprentissage du calcul mental donne un avantage important dans la résolution de problèmes numériques. Il n’y a aucune raison de penser que ce phénomène n’existe pas dans les autres pays comme la Finlande, où les enfants peuvent s’appuyer sur une même régularité et une même transparence.
À niveaux de développement économique et de scolarisation équivalents, ces facteurs (transparence de la langue écrite, régularité de la numération orale) sont probablement plus importants que d’autres habituellement invoqués (homogénéité sociale, taille des groupes, conception de l’enfant en développement, relation maîtres-élèves, équipement matériel, etc.), pour rendre compte des meilleurs résultats en lecture ou en arithmétique élémentaire. C’est bien ce que semble montrer la forte stabilité des classements internationaux en lecture et en mathématiques pour « le haut du tableau » où l’on retrouve régulièrement des pays aussi différents sur le plan des traditions pédagogiques : la Finlande, le Japon, la Corée, la Hongrie, …
N’en déduisons pas que l’homogénéité sociale, la taille des groupes, la conception de l’enfant, la relation maîtres-élèves, l’équipement matériel ou d’autres facteurs plus spécifiques soient sans importance. Nathalie Mons, maître de conférences en sciences de l’éducation à l’Université de Grenoble II a pu montrer⁷ par exemple, que, toutes choses égales par ailleurs, les pays dans lesquels les choix majeurs sont guidés par l’idéal d’une éducation démocratique et d’un service public de qualité (plutôt que par le pari sur la concurrence et la mise en place préc