Par François Jarraud
Le système éducatif français est-il gouvernable ? Coup sur coup, en un mois, les querelles sur l’évaluation de l’Ecole ont pris une ampleur telle qu’elles interrogent profondément le système éducatif. Elles sont pour beaucoup dans les blocages constatés dans l’enseignement scolaire. Et on voit que la même querelle agite maintenant aussi l’enseignement supérieur.
Restons-en au premier. Il y a d’abord eu la forte opposition spontanée des professeurs des écoles à l’évaluation de CM2 élaborée par la Direction de l’enseignement scolaire du ministère (Dgesco). Maintenue dans un profond secret, dévoilée au dernier moment, alors que les relations étaient déjà exécrables entre le ministre et les enseignants du primaire, elle a été tout de suite perçue comme un instrument politique et non comme un outil de gouvernance du système éducatif.
Il y a eu ensuite une évaluation de la Depp, réalisée en CM2, montrant une sérieuse baisse des performances. Le politique était là aussi de la partie : le ministère en retenait, semble-t-il, la publication depuis des mois…
Dans les deux cas, ces enquêtes sont accueillies avec suspicion. Du coté des enseignants, si tous reconnaissent que les évaluations sont nécessaires, y compris pour le professeur de base, nombreux sont ceux qui les reçoivent comme une menace. Quelle utilisation va en faire le ministre ? Comment seront-elles exploitées dans l’opinion ? Du coté des évaluateurs eux-mêmes, on sent une forte tension pour savoir quel service en établira les protocoles et avec quelle liberté.
La querelle de l’évaluation pose évidemment la question de la recherche de l’efficacité du système éducatif. Pourquoi mesurer l’efficacité d’un service d’enseignement ? Comment le faire ? Qui décidera des suites données aux évaluations ?
Mais constatons-le. L’évaluation est aussi un enjeu de pouvoir à l’intérieur de l’Ecole. Les enseignants sont mis devant la perspective d’une nouvelle forme de gouvernance : le pilotage par l’évaluation. Leur réponse est de plaider la liberté pédagogique. Pourra-t-elle s’opposer au raz de marée qui s’annonce ?
Pour éclairer les enjeux de cette évolution, le Café a interrogé les meilleurs spécialistes et de grands acteurs.
CM2 : L’étude cachée du ministère
En 20 ans, le niveau des élèves de CM2 a changé, établit une étude non-publiée de la Depp. Las de voir leurs travaux interdits de publication sur Internet, des chercheurs de la Depp, division des études et de la prospective du ministère, ont décidé, le 28 janvier 2009, de vous en faire bénéficier par l’intermédiaire du Café pédagogique. « Mes collègues et moi, membres de la DEPP, supportons de plus en plus mal le blocage de nos publications » nous écrit un chercheur.
L’étude compare les résultats en calcul et français d’écoliers de CM2 de 1987 à 2007. Elle a été terminée en mai 2008. « Les résultats sont contrastés selon les domaines et les périodes. En lecture, les résultats sont stables de 1987 à 1997 ; en revanche, on observe une baisse significative du score moyen entre 1997 et 2007, plus prononcée pour les élèves les plus faibles » précise l’étude « La situation est différente en calcul : une baisse importante des performances, touchant tous les niveaux de compétences, est observée de 1987 à 1999 ; puis, de 1999 à 2007, les résultats stagnent. Concernant l’orthographe, le nombre d’erreurs, essentiellement grammaticales, constatées à la même dictée a significativement augmenté de 1987 à 2007 ».
Ces résultats montrent donc une baisse de niveau plus marquée que dans l’enquête PISA, particulièrement sur le plan de l’orthographe.
Lire la note
http://cafepedagogique.net/lexpresso/Documents/docsjoints/NI-0838.pdf
Blocage levé pour les publications de la Depp
L’Expresso signalait le 28 janvier que la publication de nombreuses Notes de la Depp était bloquée par le ministère et en diffusait une à titre d’exemple. Le jour même, le ministère éditait d’un coup trois nouvelles Notes, y compris celle concernant l’évaluation en CM2 que nous avions diffusée. A notre connaissance, un peu moins d’une dizaine d’études est encore en attente. Toutes sont indispensables à une meilleure connaissance du système éducatif et donc à son pilotage éclairé.
Dans un article publié récemment par le Café, X Pons, auteur d’une thèse sur l’évaluation des politiques éducatives, soulignait les difficultés rencontrées par les organes officiels d’évaluation du système éducatif. « L’histoire des statisticiens du ministère est plutôt en dents de scie : à des périodes de forte autonomie (comme entre 1972 et 1997) succèdent des périodes de remise en cause explicite de leur mandat (ministère de Claude Allègre), de reconstruction (2000-2006) et de contrôle politique (2006-2008). Par conséquent, il y a bien un risque d’instrumentalisation gouvernementale mais l’histoire montre qu’il vient moins des statisticiens eux-mêmes, œuvrant constamment à la préservation de leurs marges d’autonomie et de leur objectivité, que des cabinets ministériels ».
Notes d’information
http://www.education.gouv.fr/pid269/note-d-information.html
Sans évaluation on prive les familles d’une politique éducative nationale
http://cafepedagogique.net/lemensuel/lesysteme/Pages/2009/99_XavierPons.aspx
Une autre étude conforte celle de la Depp : 12% des jeunes sont en difficulté de lecture
L’enquête annuelle menée auprès des jeunes des deux sexes qui suivent la Journée d’appel de préparation à la défense (JAPD) montre que 78% d’entre eux sont des lecteurs efficaces, 10% des lecteurs médiocres, 12% des personnes en difficulté de lecture parmi lesquels 5% sont en grave difficulté.
Ces chiffres sont sensiblement identiques à ceux des années précédentes , tout au plus constate-on une augmentation très légère des jeunes en très grande difficulté (4,3% en 2005, 4,9% en 2008).
La Depp, le service des études ministériel, conclue en parlant » d’augmentation » : « ces résultats doivent alerter sur l’augmentation du nombre de jeunes en difficulté de lecture ». Pour la Depp ce ne sont pas tant ces chiffres qui justifient le terme augmentation (elle est tellement infime) que d’autres travaux et surtout une autre évaluation réalisée par… la Depp ».
La Note
Denis Meuret : La baisse des performances scolaires des jeunes français : deux hypothèses
Auteur de « Gouverner l »école », un des meilleurs livres sur le système éducatif français, père de quelques uns des outils d’évaluation utilisés par l’Education nationale, Denis Meuret réfléchit à l’évaluation du système éducatif depuis 20 ans. Il analyse les résultats alarmants de l’école française et les lie à un défaut de gouvernance. « En France, les formes traditionnelles de régulation de l’enseignement, comme l’inspection des enseignants, se sont affaiblies, tandis que (des) formes nouvelles n’ont pas été mises en place ».
Bousculé par le Café Pédagogique, le ministère de l’Education Nationale a publié récemment les résultats alarmants d’une étude de la DEP, une comparaison des performances des élèves de CM2 public à vingt ans de distance, de 1987 à 2007 (NI 0838). Les premiers ont été à l’école primaire de 1982 à 1987, les seconds de 2002 à 2007. Rappelons ces résultats, ils en valent la peine. En lecture, 66% des élèves de 2007 ont un score inférieur au score de l’élève moyen de 1987 ; par ailleurs, 21 % des élèves de 2007 sont au dessous du score au dessous duquel se situaient seulement 10% des élèves de 1987. Par ailleurs encore, 8% seulement des élèves de 2007 se situent au dessus du score au dessus duquel se situaient 10% des élèves en 1987. En bref, s’agissant de la capacité de comprendre un texte, le niveau de l’élite baisse, le niveau moyen baisse davantage et le niveau des élèves les plus faibles baisse davantage encore. L’évolution est pire en mathématiques : Le score moyen a baissé de sorte que 80 % des élèves de 2007 ont un score inférieur au score de l’élève moyen de 1987 ; par ailleurs, 32 % des élèves sont au dessous du score au dessous duquel se situaient seulement 10% des élèves en 1987 et 4% seulement des élèves se situent au dessus du score au dessus duquel se situaient 10% des élèves en 1987. En dictée, le nombre moyen de fautes passe de 10,7 à 14,7, il augmente pour toutes les catégories sociales, davantage pour les enfants d’ouvriers que de cadres ou de professions intellectuelles.
Le sentiment d’être inégaux va augmenter…
Naturellement, certains vont se draper dans leur dignité d’éleveurs d’âmes pour récuser ce genre de résultats. Parler de « performances », de « scores », quelle trahison de la noble mission du professeur ! Malheureusement, les économistes savent que ces résultats annoncent une qualité moindre de la main d’œuvre française. Pour un démocrate, ils signifient que le sentiment d’être inégaux va augmenter parmi les citoyens, alors que nous savons depuis Tocqueville que le sentiment d’être égaux est une des caractéristiques de la démocratie.
L’évolution diagnostiquée par la DEP est d’autant plus grave que l’évolution des performances des élèves français à 15 ans entre 2000 et 2006, donc entre deux populations dont la première a été scolarisée au collège entre 1995 et 2000 et la seconde entre 2001 et 2006, selon l’évaluation internationale PISA, est, elle aussi, alarmante. Grossièrement, en mathématiques et en compréhension de l’écrit, la performance moyenne et la performance des meilleurs élèves est stable pour les pays de l’OCDE pris ensemble, tandis que, en France, la performance des meilleurs baisse de 10 points et la performance moyenne baisse de 20 points (sur une échelle de moyenne 500 et d’écart-type 100). Plus grave, pour les pays de l’OCDE pris ensemble, le score des plus faibles s’améliore de 20 points tandis qu’il baisse en France de 30 points. Une part de cette évolution s’explique par celle des élèves de CM2 : Les collèges recevaient en 2002 des élèves moins bien formés qu’en 1995. L’évolution des scores de PISA montre que les collèges n’ont certainement pas réussi à inverser la tendance.
Sauf pour l’orthographe, ces évolutions ne sont pas la
poursuite d’un processus ancien de dégradation…
Eliminons quelques explications possibles :
– La situation sociale ne s’est pas dégradée. Entre le milieu des périodes de scolarisation primaire des élèves des CM2 1987 et 2007 (1983 et 2003) d’une part et le milieu des périodes de scolarisation des élèves de PISA 2000 et PISA 2007 d’autre part (1996 et 2002), le revenu moyen des français a augmenté, le chômage a plutôt baissé et les inégalités sociales, contrairement à la légende, n’ont commencé d’augmenter qu’en 2002. Ajoutons que la proportion d’élèves issus de l’immigration, pour autant que ces élèves soient plus difficiles à enseigner que les autres, n’a pas évolué de façon significative.
– Les ressources de l’école n’ont pas baissé. Entre 1980 et 2004, la dépense moyenne par élève dans le premier degré est passée, en en monnaie constante, de 2600 € à 4600€. Une des raisons de cette augmentation est, il faut bien le rappeler, l’élévation du niveau de formation et du salaire des enseignants du primaire. Invoquer la baisse des ressources pour expliquer cette évolution ne tient donc pas, non plus d’ailleurs que pour expliquer la baisse des scores de PISA (la dépense par élève du second degré a, elle aussi, augmentée, quoique faiblement, entre 1996 et 2002).
– On n’a pas « accueilli n’importe qui » à l’école. Aux contempteurs de la « massification », de la « démographisation», rappelons que l’école primaire est ouverte à tous depuis Jules Ferry et que, entre, disons 1996 et 2003, les collèges avaient depuis longtemps cessé de s’ouvrir à davantage d’élèves, qu’au contraire la période 2002/ 2006 fut celle où les ministres (Ferry, Fillon, Robien) avaient décidé d’offrir aux plus faibles collégiens la « possibilité » d’un apprentissage à 14 ans.
– Sauf pour l’orthographe, ces évolutions ne sont pas la poursuite d’un processus ancien de dégradation, que l’on pourrait faire remonter, selon le choix de ses nostalgies, à mai 68, à l’ouverture de l’enseignement secondaire ou, pour remonter plus loin encore, à l’abandon du certificat d’études ou de la plume sergent-major. De précédentes études de la DEP fondées elles aussi sur la reprise des mêmes épreuves à plusieurs années de distance témoignaient plutôt d’une certaine stabilité (en troisième générale de 84 à 95, alors même que cette classe s’était ouverte entre ces deux dates à une plus grande proportion d’élèves ; pour l’élite scolaire de 1950 à 1990 (NI 96-29)) parfois d’une amélioration sensible (au CE2, entre 1973 et 1992, NI 97-12). Les contempteurs des pédagogies modernistes auront sans doute déjà remarqué que ces dégradations se sont produites à une époque (depuis 2002) où les ministres rivalisaient d’appels au retour de l’autorité, des « savoirs solides», et rivalisaient dans le pathos à propos de l’apprentissage de la lecture.
Les formes traditionnelles de régulation de l’enseignement
se sont affaiblies, tandis que des formes nouvelles
n’ont pas été mises en place…
Que faut-il incriminer ? Quoiqu’on pense des IUFM, il est difficile de penser que la qualité des enseignants français ait pu baisser en si peu de temps. Rien n’est simple en matière d’éducation et les causes rarement uniques. L’évolution des scores au CM2 pourrait par exemple s’expliquer par le fait qu’une partie des meilleurs élèves du public serait, entre ces deux périodes, passés dans le privé, une évolution qui signalerait une tiers-mondisation de l’enseignement public en France, hypothèse dont il devrait être possible de vérifier la pertinence s’il n’était si difficile d’obtenir des données pour comparer dans ce pays l’enseignement public et l’enseignement catholique. On peut aussi signaler au PS qu’il pourrait se vanter d’avoir obtenu entre 82 et 87 des résultats particulièrement bons, qui sait ?
Toutefois, je voudrais proposer une autre hypothèse, que suggèrent les comparaisons internationales. Au cours des années 90, les pays non-latins de l’OCDE ont avancé rapidement vers des formes diverses de dispositifs évaluant les progressions des élèves dans chaque école et permettant à l’autorité responsable d’en tirer les conséquences, en général sous forme d’autonomie supplémentaire pour les écoles où ces progressions sont satisfaisantes et de mise sous tutelle de celles où elles sont insuffisantes, ceci en terme d’efficacité (progressions moyennes) ou d’équité (progression des plus faibles, écart de progressions entre catégories d’élèves).
A l’inverse, en France, les formes traditionnelles de régulation de l’enseignement, comme l’inspection des enseignants, se sont affaiblies, tandis que ces formes nouvelles n’ont pas été mises en place. D’où une plus grande latitude laissée aux enseignants, non pas de ne rien faire, mais de poursuivre d’autres objectifs que ceux que mesurent les évaluations dans les disciplines fondamentales.
Autre explication possible, valable surtout pour expliquer l’effondrement du résultat des élèves faibles à PISA : Depuis 2002, un gouvernement moderniste de l’école, qui datait de l’après guerre, a été remplacé par un improbable mélange d’appels nostalgiques à l’autorité et au respect des professeurs, qui attribuent les difficultés de l’école à la décadence de la société et des élèves, et de politiques, plus souvent formulées que véritablement implantées, qui vont au contraire dans le sens d’une plus grande responsabilité des enseignants et des établissement (le socle commun, ou la lettre de mission du chef d’établissement, par exemple), politiques que bien peu prennent encore au sérieux.
Denis Meuret
(IUF, Université de Bourgogne (IREDU))
Dernier ouvrage de D. Meuret :
Denis Meuret « Gouverner l’école, une comparaison France/Etats-Unis » (PUF).
Sur cet ouvrage :
Derniers articles de D.Meuret sur le Café pédagogique :
Obama et les systèmes scolaires américains
http://cafepedagogique.net/lexpresso/Pages/2009/01/Obama_Meuret.aspx
L’école française n’est pas gouvernée
Le lycée aux Etats-Unis
http://cafepedagogique.net/lemensuel/lesysteme/Pages/2008/LelyceeauxUS_DenisMeuret.aspx
Bruno Suchaut : « Le recours à un organisme indépendant permettrait certainement de lever les doutes sur des intentions politiques des outils d’évaluation »
Directeur de l’IREDU, Bruno Suchaut a une longue pratique de l’évaluation des systèmes éducatifs. Il explique ici pourquoi l’évaluation est nécessaire et comment elle devrait être faite.
Il y a quelques jours le Café a publié une étude de la DEPP qui restait sous le boisseau. Elle concerne le niveau des élèves en CM2 et elle est très critique : elle montre que sur certaines compétences, comme en orthographe, le niveau a baissé. Cette étude vous semble-t-elle sérieuse ?
Oui, on peut réellement penser que cette étude est sérieuse sur le plan scientifique. Elle utilise des techniques statistiques sophistiquées (les modèles de réponse à l’item notamment) tout à fait adaptés à la problématique et des échantillons corrects. Cette étude de la D.E.P.P. ne fait que confirmer les tendances mises en évidence dans les dernières enquêtes internationales, à savoir une baisse du niveau moyen des élèves français dans certains domaines de compétences. Mais ce qui est le plus important à retenir dans cette étude est, d’une part la baisse plus prononcée pour les élèves les plus faibles et, d’autre part, l’augmentation des inégalités sociales de réussite.
Peut-on vraiment comparer les mêmes exercices à 20 ans de distance ? N’est ce pas un leurre ?
La comparaison temporelle est toujours une activité délicate car on ne peut prendre en compte tous les changements qui peuvent affecter des mesures prises sur plusieurs années. Néanmoins, des précautions méthodologiques ont été prises pour cette comparaison par rapport à la sélection des items et plusieurs biais de mesure ont été évités. En outre, les écarts relevés sur la période sont suffisamment importants pour être considérés comme significatifs d’une réelle tendance à la baisse.
Comment peut-on expliquer cette baisse de niveau ?
C’est une question difficile car il y a potentiellement beaucoup de facteurs susceptibles d’expliquer ce constat sans que l’on connaisse précisément leur degré d’influence. Il y a tout d’abord une responsabilité réelle de la politique éducative conduite ces dernières années : manque de cohérence et des discours en contradiction, une faible volonté d’un pilotage pédagogique effectif au niveau déconcentré etc… en fait, un environnement globalement défavorable pour instaurer la confiance chez les enseignants et donner du sens à l’exercice de leur métier. Le contexte socio-économique général qui se dégrade est aussi un facteur explicatif de l’accroissement des inégalités sociales et de l’augmentation de la proportion d’élèves en difficulté scolaire. Enfin, au niveau pédagogique, le traitement de la difficulté scolaire n’a pas donné lieu à une politique énergique et vraiment ciblée sur l’acte pédagogique. Le choix a plutôt consisté à multiplier les dispositifs d’aide et de soutien sous des formes très variées. Dans un même temps, les activités scolaires se sont diversifiées à la fois dans leur contenu et dans leur encadrement.
Que pourrait on faire pour aider précisément ces enfants qui sont en difficulté ? La politique des ZEP ou des RAR ne semble pas suffisante.
Cette politique n’est pas suffisante car elle touche une population de plus en plus en difficulté sur le plan social et économique. La logique qui consiste à donner davantage de moyens trouve ses limites quand on est face à des contextes scolaires extrêmement défavorisés. La recherche d’une plus grande mixité sociale et académique dans les établissements scolaires peut à déjà contribuer à limiter l’échec scolaire. Mais, plus largement, et cela ne concerne pas seulement les écoles situées dans des zones défavorisées, il faut développer d’autres stratégies pour réduire la difficulté scolaire.
Cela passe déjà par une organisation du temps scolaire plus favorable aux élèves avec un temps d’apprentissage utilisé de manière plus efficace et une répartition plus équilibrée dans la semaine. L’aide aux élèves en difficulté doit être un souci pédagogique permanent en permettant déjà des rythmes d’acquisitions variables au cours de la scolarité primaire tout en aidant les élèves de façon systématique au sein de la classe.
Il est tout à fait possible d’imaginer, avec les mêmes contraintes budgétaires, une autre organisation de l’école qui proposerait une réponse immédiate à l’émergence de la difficulté scolaire. Certains élèves ont besoin de davantage de temps et d’accompagnement pédagogique pour apprendre. C’est au cours des séquences d’enseignement que l’aide est la plus efficace. L’action doit se centrer sur deux dimensions : l’efficacité pédagogique différenciée des enseignants et les modalités de l’aide. Pour la première dimension, il faut jouer sur le fait que certains enseignants ont des compétences plus développées pour agir efficacement avec les élèves faibles. Cela doit donc être un facteur à prendre en compte lors de la composition des classes dans les écoles. Quant à la seconde dimension, il faut veiller à ce que le temps d’apprentissage soit efficace pour les élèves faibles en mobilisant, à certains moments, un adulte supplémentaire dans la classe qui cible les élèves qui ont besoin d’être aidés.
L’évaluation qui a lieu actuellement avec beaucoup de confusion en CM2 vous semble -t-elle utile pour mieux cerner les élèves en difficulté ?
Il y a en effet une grande confusion sur la question de cette évaluation CM2 et celle-ci prend place dans un contexte de revendications multiples de la part du monde enseignant, ce qui n’a pas été un atout pour un débat serein. L’objectif principal de cette évaluation est de dresser un bilan des acquis des élèves en fin d’école primaire et elle devrait être considérée avant tout comme un outil d’information au niveau national et local. Rappelons que les évaluations diagnostiques existent depuis près de vingt ans alors que les évaluations bilan n’ont jamais été généralisées et il est important pour le pilotage du système que de tels outils existent. La finalité de cette évaluation CM2 n’a toutefois pas été suffisamment exposée par le Ministère et des ambiguïtés dans les modalités de transmissions des résultats (aux familles notamment) ont déclenché de vives réactions redoutant un classement possible des écoles, ce qui bien sûr n’est pas possible à partir des résultats bruts. Il est difficile de savoir si cette ambiguïté est involontaire ou si elle a été entretenue pour inciter progressivement les acteurs à se familiariser à un nouveau mode de régulation de l’école.
La publication du travail de la DEPP a fait du bruit. Et on accuse parfois les enseignants de résister à la mise en place des évaluations pour garder une « liberté pédagogique » qui va à l’encontre du progrès éducatif. Comment voyez vous les choses ?
Il est difficile d’avoir une réponse unique à cette question, la liberté pédagogique peut être un ingrédient à l’amélioration de la qualité mais avec certaines limites. Il existe des pratiques efficaces qui devraient être généralisées et d’autres qui devraient ne plus exister car on connaît leur inefficacité. Les évaluations nationales ne doivent être perçues comme une contrainte mais comme un élément d’information utile au fonctionnement de l’école.
L’Ecole peut elle se passer d’évaluation ? Qui est le mieux placé pour la faire dans l’institution : l’IG ? La DEPP ? Un organisme extérieur comme l’Irédu ?
L’évaluation est évidemment utile au niveau de la politique éducative, toute la question réside dans l’utilisation de ces évaluations et de son instrumentalisation éventuelle. Le recours à un organisme indépendant permettrait certainement de lever les doutes sur des intentions politiques des outils d’évaluation.
Finalement celui qui fera l’évaluation aura le pouvoir sur le système. Il semble qu’on assiste à une sorte de relève sur ce terrain là avec un transfert des enseignants vers qui ?
Après tout, ce pouvoir c’est déjà l’enseignant qui, d’une certaine manière, l’exerce sur ses élèves par des évaluations régulières et fréquentes. Il ne faut pas oublier que les pratiques d’évaluation formative sont encore minoritaires dans les classes. Au niveau de la politique éducative, l’évaluation ne doit pas être perçue comme un instrument de pouvoir, elle doit être uniquement un outil d’information et de pilotage dans le but d’améliorer le système.
Cette évolution est-elle incontournable et universelle ?
La culture de l’évaluation s’est en effet développée rapidement dans tous les pays et elle concerne l’ensemble des secteurs. La crainte est effectivement une harmonisation des pratiques de régulation des structures publiques avec l’utilisation d’indicateurs non adaptés et caricaturaux. C’est pourquoi il est important que chacun puisse apporter sa contribution à l’élaboration d’outils fiables, utiles et pertinents.
Qu’est ce qui rend en France la discussion si difficile sur ces sujets ?
Encore une fois, le contexte politique actuel rend les acteurs très méfiants à l’égard des mesures récentes concernant l’école. En ce qui concerne l’évaluation dans le domaine de l’éducation, mais c’est vrai aussi pour d’autres dimensions, il y a dans notre pays un déficit d’information et de formation auprès des enseignants sur les outils eux-mêmes, leur construction, leur utilisation, leur utilité, mais aussi leurs limites en matière d’interprétation des résultats.
Bruno Suchaut
Derniers articles dans le Café :
A qui profite l’impossibilité des réformes ?
http://cafepedagogique.net/lemensuel/lesysteme/Pages/2009/99_BrunoSuchaut.aspx
Primaire : les réformes s’accommodent des inégalités
http://cafepedagogique.net/lemensuel/lesysteme/Pages/2008/98_PrimaireBSuchaut.aspx
Jean-Claude Emin : les responsables politiques ne retiennent des résultats des évaluations que ce qui peut servir leur politique
Ancien secrétaire général du Haut Conseil à l’évaluation de l’école et sous directeur à l’évaluation au Ministère de l’éducation nationale, Jean-Claude Emin décrypte l’enjeu de l’évaluation pour l’éducation nationale et pose les conditions pour une évaluation scientifique.
La publication un peu mouvementée de l’étude sur les CM2 suscite pas mal de bruit. Peut-on vraiment comparer les mêmes exercices à 20 ans de distance ?
Ce « un peu mouvementée » est un délicat euphémisme. Si la « note d’information » de la DEPP qui rend compte de cette étude n’avait pas été mise en ligne par le Café pédagogique qui avait réussi à se la procurer, elle n’aurait peut-être – ou sans doute ? – toujours pas, été publiée par le Ministère, et l’étude n’aurait pas d’existence publique.
En effet, la DEPP, qui est l’instance chargée des statistiques et de l’évaluation au Ministère de l’Éducation nationale, ne peut plus publier de programme de travail depuis maintenant trois ans, les cabinets des ministres successifs ayant chaque année refusé de le rendre public. Ce programme de travail ne peut donc plus être connu des partenaires sociaux, des usagers de l’École, de la communauté scientifique et des médias ; il ne peut plus y avoir – tout au moins de façon transparente – de discussion sur la contribution que la DEPP peut apporter à la connaissance du fonctionnement et des résultats de notre système éducatif. Et il ne peut plus y avoir de publication systématique des données collectées et des résultats des études et recherches réalisées. … sauf s’il y a « un peu de mouvement ».Ceci est assez cyniquement résumé par un membre du cabinet de Xavier Darcos, cité par un journaliste de La Croix : « la DEPP fournit des instruments au service du ministre qui reste le dernier garant de leur diffusion » .
Empêcher la DEPP de publier les résultats de ses travaux a sans doute pour objectif de permettre aux responsables politiques de ne retenir, parmi les travaux de la DEPP, que ce qui peut étayer leurs orientations. La DEPP est d’autant plus remise en cause que, dans le même temps, le cabinet du ministre a confié la réalisation d’une évaluation – celle mise en place en CM2 en janvier – non plus à la DEPP mais à une direction politique du ministère, qui se trouve ainsi être juge et partie.
Je tenais à le dire avant de répondre à vos questions à propos de l’étude sur l’évolution des performances en « lire, écrire, compter » des élèves de CM2 entre 1987 et 2007.
Peut-on comparer les performances des élèves à vingt ans de distance ? C’est une question délicate qui a fait l’objet de nombreux travaux de recherche et de progrès méthodologiques au cours des dernières décennies, recherches et progrès auxquels la DEPP a apporté sa contribution. Avoir des épreuves et une procédure de passation identiques aux divers moments de l’enquête n’est pas suffisant pour garantir la comparabilité des résultats ; d’autres conditions sont nécessaires : il faut notamment vérifier que la difficulté des exercices proposés est la même à ces divers moments compte tenu, par exemple, du fait qu’ils sont plus ou moins familiers aux élèves étant donné l’évolution des programmes. Ceci a conduit à éliminer de la comparaison des exercices qui ne remplissaient pas cette condition. Il faut aussi que les consignes de correction soient toujours appliquées de la même manière et que les échantillons d’élèves soient représentatifs. Ils le sont, sachant que la comparaison effectuée ici porte sur le seul secteur public, le secteur privé n’ayant pas été compris dans les enquêtes les plus anciennes.
Les caractéristiques des enquêtes qui étayent cette comparaison et les méthodologies d’analyse de leurs résultats sont les mêmes que celles utilisées dans les enquêtes internationales les plus récentes. Les experts de la DEPP participent d’ailleurs aux comités qui arrêtent les méthodologies utilisées dans ces enquêtes et qui attestent qu’elles sont effectivement mises en œuvre.
Comment expliquez-vous les baisses de niveau constatées ?
Un des intérêts de ce travail est qu’il ne compare pas seulement les performances des élèves à vingt ans de distance, mais qu’il s’est aussi intéressé à des années intermédiaires, ce qui permet de moduler l’analyse des baisses de niveau, qui ne sont pas de même ampleur et de même nature selon les domaines :
En lecture, ce n’est que sur la dernière décennie 1997-2007 que l’on constate une baisse de la performance moyenne. Mais il faut préciser que cette baisse ne touche pas également tous les élèves. Elle est particulièrement marquée pour les élèves les plus faibles, qui sont en proportion deux fois plus importante en 2007 qu’en 1987 et 1997, alors que les meilleurs sont en proportion à peu près équivalente. On ne sera donc pas surpris de constater que la baisse des performances en lecture ne concerne pratiquement pas les cadres et les « professions intellectuelles supérieures » alors qu’elle touche toutes les autres catégories socioprofessionnelles, ce qui conduit à une aggravation des inégalités sociales en la matière. On retrouve ici un constat déjà fait par ailleurs, notamment avec les résultats de l’enquête PISA.
Notre système éducatif semble avoir de plus en plus de mal à conduire à de bonnes performances en lecture, les élèves de milieu populaire. Et en particulier les garçons, ce que confirment d’autres évaluations, notamment celle de la JAPD (la Journée d’Appel de Préparation à la Défense). On retrouve également, avec les résultats de cette enquête, un autre constat qui questionne fortement notre système éducatif : lorsque les élèves doivent donner des réponses qui exigent une rédaction, ils sont de plus en plus nombreux à s’abstenir. La DEP avait déjà signalé ce fait, notamment lors de la présentation des résultats de la première enquête PISA (en 2000) en demandant si ceci n’était pas dû à la place – insuffisante – que la pratique de l’écrit a, de fait, dans notre enseignement.
Les résultats des élèves à la même dictée proposée en 1987 et 2007 font apparaître une augmentation sensible (40%) du nombre moyen d’erreurs, ce qui ne constitue pas un constat nouveau. Il doit être mis en perspective avec un autre constat : le fait que la correction orthographique est sans doute jugée moins importante aujourd’hui dans notre société – et corrélativement dans notre enseignement – qu’autrefois.
En calcul, on constate également une baisse du score moyen, mais elle est plus accentuée qu’en lecture, elle touche tous les élèves des plus forts aux plus faibles, et enfin, elle est nettement moins accentuée au cours de la deuxième décennie de la période, ce qui « est peut-être à mettre au compte de la remise à l’ordre du jour du calcul dans les programmes de 2002 », comme le suggère la DEPP. Il s’agit évidemment là d’une hypothèse qui doit être confirmée.
En tout cas, il me semble que ce type de travail n’est pas assez exploité par les responsables de la politique éducative qui devraient s’attacher à cerner plus avant les raisons de ces évolutions, afin de proposer des réorientations de la politique suivie. Je pense notamment à l’Inspection générale et à la direction générale de l’enseignement scolaire. Cette dernière devrait se consacrer à de telles analyses et à la recherche et à la diffusion des moyens de remédier aux difficultés constatées, plutôt que de construire des outils d’évaluation comme elle le fait actuellement pour l’évaluation de CM2, évaluation qui déclenche, à juste titre, nombre de vagues.
Justement, cette publication arrive au moment où une autre évaluation est prévue en CM2. Celle-ci permettra t elle de mieux cerner les élèves en difficulté et de les aider à progresser ?
Je crains fort que non. En effet, les finalités de cette évaluation ne sont – volontairement ou non ? – absolument pas claires. Elle a été confiée, comme je l’ai dit, non pas à la DEPP, mais à la Direction générale de l’enseignement scolaire qui est normalement en charge de la définition et de la mise en œuvre de la politique de l’enseignement scolaire. Beaucoup de gens ignorent ce fait qui est totalement contraire au partage normal des compétences au sein du ministère. La Direction générale de l’enseignement scolaire prétend donner à cette évaluation deux finalités qui ne sont pas vraiment conciliables. Elle confond en effet l’évaluation-bilan, qui permet de faire un point sur les performances des élèves et sur leur évolution, et l’évaluation diagnostique, dont l’objectif est d’aider les enseignants à repérer les difficultés des élèves pour leur permettre de mettre en place des remédiations et des progressions adaptées. Vouloir courir ces deux lièvres à la fois – ou dire que l’on court l’un ou l’autre selon les moments et les interlocuteurs – ne peut conduire à rien d’efficace ni de juste, et fait fi de tous les progrès accomplis en matière de méthodologie par la DEPP au cours des dernières années. Je comprends que cette « évaluation » soulève des réactions et que l’on se puisse se demander ce qu’elle cache.
Ces deux évaluations, qui concernent le CM2, suscitent des réactions chez les enseignants. Certains y voient des instruments politiques pour dénigrer leur travail et imposer des réformes. Comment voyez-vous les choses ?
Ne confondons pas ces deux évaluations.
Celle de la DEPP est une évaluation-bilan dont l’objectif est d’apprécier de façon globale, l’évolution des performances des élèves en fin d’école élémentaire à vingt ans d’intervalle. Elle est réalisée sur des échantillons représentatifs avec une méthodologie explicite correspondant à ce qu’est aujourd’hui l’état de l’art en la matière. Elle n’a pas pour objectif de dénigrer qui que ce soit, mais de contribuer à faire ressortir des points faibles de notre système éducatif ; points faibles qui, pour certains, nécessitent des réformes, de nouvelles orientations et/ou la mise à disposition des établissements et des enseignants de nouveaux moyens d’exercer leur métier. Elle ne saurait dire automatiquement ce que doivent être ces réformes, ces nouvelles orientations ou ces moyens nouveaux.
Pour ne citer qu’un exemple, puisque vous évoquez des réformes imposées, on peut à juste titre conclure d’une analyse des résultats de cette évaluation que des améliorations sont à apporter à la formation des enseignants pour qu’ils soient mieux à même de faire progresser les élèves qui rencontrent des difficultés en début d’apprentissage de la lecture. Au moment où il est question de réformer très sensiblement la formation des enseignants, on peut se demander si une formation qui risque de ne pas comprendre un véritable apprentissage de la pratique professionnelle permettra ces améliorations ? Je vous laisse, comme à ceux qui liront ces lignes, le soin de répondre, mais si, comme je le pense la réponse est négative, ce n’est pas l’évaluation qu’il faut incriminer. Elle a permis de faire ressortir une vraie faiblesse de notre système et ses résultats incitent à renforcer la formation professionnelle des enseignants et à leur fournir des outils qui les aident à cerner les difficultés rencontrées par leurs élèves à des moments où il est encore temps d’y remédier, c’est-à-dire avant la fin d’une année scolaire, ou mieux, d’un cycle.
L’autre évaluation, celle confiée à la Direction générale de l’enseignement scolaire, se donne l’apparence de répondre à ce dernier besoin, puisqu’elle est proposée en janvier, six mois avant la fin du cycle III. Mais vouloir se servir d’une telle évaluation pour apprécier les acquis des élèves au regard des objectifs de la fin du cycle n’est pas sérieux. Cela ne peut qu’inquiéter à juste titre les enseignants qui pourraient ainsi voir dénigrer un travail … qu’ils n’auront même pas eu le temps de faire. En même temps, cette évaluation ne peut même pas servir au diagnostic des difficultés des élèves puisque le mode de correction proposé est binaire, sans nuance : c’est juste ou c’est faux. Les enseignants sauront que x% de leurs élèves rencontrent des difficultés, mais ils ne sauront pas lesquelles. Voilà comment on vide de son sens l’évaluation diagnostique que la DEPP a créé en 1989 et que le Haut Conseil de l’évaluation de l’école a considéré en son temps comme une originalité positive du système éducatif français .
L’Ecole peut-elle se passer d’évaluation ? Qui est le mieux placé pour le faire ?
Je ne pense évidemment pas qu’elle puisse s’en passer. Comme tout autre service public, le système éducatif doit rendre compte à ses « usagers » et aux citoyens de l’atteinte des objectifs qui lui sont fixés. Ses responsables ont besoin d’apprécier ses points forts et ses points faibles, ils ont besoin d’outils qui leur permettent d’envisager des mesures qui permettent d’améliorer ses résultats (et non de justifier des « réformes imposées » pour reprendre le terme utilisé plus haut). Les enseignants ont, eux, besoin d’outils qui les aident à aider leurs élèves à progresser dans leurs apprentissages.
Qui doit la réaliser ? La statistique appliquée à la mesure en éducation ne s’improvise pas. Par exemple, construire des évaluations qui apprécient correctement la même performance à plusieurs années d’intervalle, ou tout simplement d’une année sur l’autre, exige des compétences techniques qu’il faut entretenir et améliorer. La DEPP ne saurait en avoir l’exclusivité, mais si l’on ne peut plus être sûr que l’instance qui réalise les évaluations a les compétences techniques nécessaires et dispose d’une véritable autonomie scientifique garantie par la publication de ses travaux, on ne pourra plus lui faire confiance et s’appuyer sur ses évaluations pour envisager les évolutions de notre système éducatif. C’est là l’enjeu majeur des remises en cause qui pèsent actuellement sur la DEPP.
A travers l’évaluation peut-on dire que c’est le pouvoir sur l’Ecole qui change de mains ? Cette évolution est-elle incontournable ?
Je ne vois pas quelle réponse donner à la question. J’ai envie de répondre par deux autres questions : qui avait le pouvoir avant les évaluations ? qui l’aurait aujourd’hui ?
En tout cas, s’il faut parler d’évolution incontournable, je crois que, qui que ce soit qui ait le pouvoir, il ne peut sérieusement envisager de se passer d’évaluation ou, en d’autres termes, de ne pas se donner les moyens d’apprécier les résultats de ses actions pour les réguler. Si l’on ne dispose pas d’informations aussi objectives que possible sur le fonctionnement et les résultats du système, on ne peut se fier qu’à sa seule idéologie ou à son expérience immédiate, ce qui serait insensé et dangereux.
Qu’est ce qui rend en France la discussion si difficile sur ces questions ?
Est-elle vraiment plus difficile qu’ailleurs ou dans d’autres domaines ? Une bonne partie des difficultés proviennent sans doute d’une part, de ce que les résultats des travaux d’évaluation ne sont pas suffisamment expliqués, mis en perspective, qu’on ne prend pas le temps suffisant pour en rendre compte et montrer en quoi ils informent sur notre système éducatif, ses points forts, ses points faibles et ses besoins, et, d’autre part, de ce que nombre d’enseignants craignent – à tort à mon sens –de perdre leur autonomie pédagogique lorsqu’on met à leur disposition des outils destinés à les aider à réaliser les objectifs qui leur sont fixés ou que l’on attire leur attention sur des points faibles. Un autre problème, qui n’est pas non plus spécifiquement français, est qu’il arrive que les responsables politiques ne retiennent des résultats des évaluations que ce qui peut servir leur politique, ce qui dessert les évaluations et ne sert pas le système éducatif.
Jean-Claude Emin
Sylvain Grandserre : Baisse des performances : » quel rapport une société, jamais à satiété, de consommation entretient-elle avec des apprentissages complexes ? »
Professeur des écoles, Sylvain Grandserre est aussi un des « désobéisseurs » qui s’opposent à X. Darcos. Il a d’ailleurs baptisé le site ouvert avec ses amis : « Darcos démission » Il répond ici aux questions du Café sur la baisse de niveau constatée en CM2 et le rôle dévolu aux évaluations.
Quand on va sur votre site, au titre si explicite, on a l’impression d’un acharnement personnel contre Xavier Darcos. Ce n’est pas gênant pour un mouvement d’enseignants ?
Certes, on peut, comme le fait également, mais plus élégamment, Claude Lelièvre, estimer qu’à » l’égard des enseignants du primaire, seul un nouveau ministre peut permettre une réconciliation ». Mais notre radicalité n’est en rien violente, surtout comparée à la brutalité des décisions qui sont prises, par exemple à l’égard des « désobéisseurs ». On peut même penser que Xavier Darcos n’est finalement qu’une sorte de Karl Lagerfeld de l’éducation, chargé d’habiller pédagogiquement le mieux possible des mesures comptables et idéologiques prises depuis l’Élysée. Mais il semble désormais que rien ne puisse se faire de constructif avec le ministre actuel, lui qui a assumé froidement toutes les suppressions, de postes, de programmes, de RASED, de formation ou de temps de classe. Si un autre ministre doit arriver, qu’il sache que la continuité de cette politique n’est absolument pas désirée.
D’après ce que vous savez , où en est l’évaluation de CM2 lancée par le ministère ?
C’est un cafouillage sans précédent, une confusion incroyable ! Mis subitement devant leurs responsabilités, nombreux sont les enseignants qui ont improvisé une réponse qui va du refus de transmettre les résultats jusqu’au boycott pur et simple d’une procédure qui visait moins à évaluer les élèves qu’à dévaluer l’école ! Mieux, on a même vu des conseillers pédagogiques et des inspecteurs manifester publiquement leur opposition à cette mascarade, au moment même où certaines circonscriptions ne recevront aucun résultat. Car enfin, qui pouvait défendre sérieusement des évaluations secrètes, inadaptées, mal placées, dont la correction aberrante allait fabriquer mécaniquement de l’échec scolaire ? Depuis quand propose-t-on des exercices aux élèves en leur disant qu’il est normal de ne pas savoir les faire ? On a tout de même le droit de préférer la pédagogie de la réussite à celle de l’échec. Le comble, c’est qu’au moment où il aurait fallu saisir les résultats, on apprenait que la CNIL n’avait toujours pas donné son feu vert ! Bref, nous nous serions mis hors-la-loi en obéissant !
Il y a eu récemment la publication de plusieurs évaluations dont celle de la Depp sur le niveau en CM2. Quelle lecture en faites vous ?
Ces évaluations, qui rappelons-le, ne portent que sur une partie des enseignements effectués au primaire et sortent subitement des tiroirs, ont confirmé le ressenti des enseignants, notamment dans la perte d’une certaine maîtrise de l’expression écrite et des règles orthographiques. Elle rappelle aussi douloureusement le poids considérable des déterminismes sociaux dans l’échec scolaire. Ce n’est d’ailleurs pas une surprise véritable puisque dans « Orthographe : à qui la faute ? », D. Manesse et D. Cogis constataient la même dérive mais en apportant des éléments de compréhension autrement plus instructifs.
Ainsi, qu’en est-il de la répartition des rôles pour ces apprentissages, notamment entre le primaire et le secondaire ? Quelles priorités faut-il donner dans nos classes à l’heure où l’on demande tout à l’école, du B2i aux langues vivantes, en passant par la prévention routière, l’éducation au goût ou à l’image ? Surtout, quel rapport une société, jamais à satiété, de consommation entretient-elle avec des apprentissages complexes qui réclament autre chose que la satisfaction immédiate des désirs et des caprices ? Voilà des questions bien plus fécondes que les querelles stériles sur la baisse du niveau.
La pétition que vous avez lancée n’a qu’une seule proposition en positif c’est : « Nous demandons la mise en place d’un Conseil national de l’évaluation à l’école comprenant des praticiens, des formateurs et des chercheurs pour mettre au point une politique de l’évaluation et élaborer des outils pour les équipes d’écoles et de cycle, au service des apprentissages des élèves définis par le Socle commun de connaissances et de compétences. » Est ce a dire que vous acceptez l’idée d’une évaluation de l’Ecole ?
Tout d’abord, on demande rarement à celui qui est en légitime défense de se justifier en proposant mieux que l’agression qu’il subit ! D’ailleurs, il y a énormément de points positifs exprimés dans notre appel puisque nous nous opposons à toutes les formes de suppressions dont je parlais tout à l’heure (emplois, formation, programmes, temps scolaire, RASED). Mais s’agissant de l’évaluation, elle nous semble non seulement possible mais souhaitable. A condition d’être un outil interne, formatif, au bénéfice des élèves, des enseignants et des apprentissages. Et non pas comme cela a été demandé, pour être un outil externe, sommatif, servant éventuellement pour les parents à faire leur choix d’établissement au moment où l’on supprime la carte scolaire.
A titre personnel, je travaille avec des CM1/CM2 dans une école à une classe, ce qui offre d’énormes avantages en termes d’organisation et de liberté pédagogique mais peut provoquer un isolement dommageable. Des évaluations nationales permettent alors de se situer un peu mieux, de rectifier le tir, même si les faibles cohortes d’élèves faussent tout de même la lecture statistique. Et puis, ne l’oublions pas, les enseignants du primaire sont évalués régulièrement : implicitement par leurs élèves, les parents, les collègues ou les élus, et de manière officielle par les inspecteurs.
Si oui par qui devrait-elle être faite ?
En ce qui concerne des évaluations nationales, il semble essentiel que leurs préparations se fassent en jouant de la richesse des concepteurs : enseignants, formateurs, inspecteurs, chercheurs, etc. Tout plutôt qu’une décision qui semble sortir d’un bureau de l’ombre. Souvenez-vous des paroles de Nicolas Sarkozy qui expliquait que pour savoir comment s’y prendre en classe, l’enseignant était mieux placé qu’un « bureaucrate parisien enfermé dans son bureau qui ne voit pas un enfant de la journée ». Il faut de plus que ces outils servent non seulement à prendre la température, mais également de remède au travers des pistes qu’ils explorent.
Et dans quel but ? Piloter le système ?
On le sait bien, le pilotage par l’évaluation et les pourcentages est une catastrophe. Il entraîne une baisse de niveau en obligeant les enseignants à ne se focaliser que sur les éléments évalués et évaluables. Il n’offre qu’une vision étroite des apprentissages et même des missions de l’éducation. Que deviennent la citoyenneté, la coopération, la recherche, le tâtonnement, l’expression, l’autonomie ou la responsabilité ? Ce qui s’applique à la production industrielle ne fonctionne pas dans le domaine éducatif. Nous sommes nombreux à avoir choisi l’éducation justement parce que l’on n’y appliquait pas encore ce qui s’avère si désastreux en dehors : la concurrence sauvage, l’égoïsme régressif, la compétition déshumanisante. Finalement, au travers du combat que nous menons, nous assistons à l’expression de vrais choix de société. C’est sans doute la raison de notre détermination.
Sylvain Grandserre
Dernier ouvrage de S Grandserre :
Sylvain Grandserre, Ecole : Droit de réponses, Paris, Hachette, 2007, 224 pages
Sur ce livre :
http://cafepedagogique.net/lexpresso/Pages/2007/08/14082007Accueil.aspx
Derniers articles de S Grandserre dans le Café :
Sur le rapport du HCE
http://cafepedagogique.net/lesdossiers/Pages/2007/Hce_Grandserre.aspx
Toilettes scolaires une question d’urgence
http://cafepedagogique.net/lesdossiers/Pages/2008/Toilettesscolaires.aspx
Jamais deux sans trois
http://cafepedagogique.net/lesdossiers/Pages/maths06_8.aspx
Xavier Pons : La « culture d’évaluation » est moins une réalité institutionnelle qu’un discours politique
Auteur d’une thèse tout à fait remarquable sur « L’évaluation des politiques éducatives et ses professionnels. Les discours et les méthodes (1958-2008) », Xavier Pons met en évidence ici les questions que les évaluations posent au système éducatif.
Ce mois-ci, deux enquêtes en CM2 font beaucoup de bruit. Elles émanent toutes deux du ministère mais de deux directions différentes : la DGESCO et la Depp. Quelles differences voyez-vous entre ces deux évaluations ?
Il y a des différences méthodologiques et politiques. L’évaluation de la Depp vise à comparer dans le temps quelques compétences de base des élèves. Elle repose sur un modèle classique en psychométrie (le modèle de réponse à l’item) qui est utilisé dans certaines comparaisons internationales, notamment Pisa. Elle fait écho à plusieurs enquêtes qui posent la question de l’éventuelle baisse de niveau des élèves français consécutive à la massification de l’enseignement. L’objectif de ce type d’évaluation est plus scientifique que politique. Il s’agit plus d’améliorer les connaissances générales sur le fonctionnement du système éducatif que de contribuer à sa gestion immédiate.
L’évaluation des acquis des élèves de CM2 coordonnée par la DGESCO, à l’inverse, vise explicitement à fournir aux décideurs un outil de pilotage du système éducatif et aux familles un outil d’information. Elle repose apparemment sur une méthodologie moins soucieuse des acquis de la psychométrie. Aucun spécialiste de ce champ ne fait partie du groupe d’experts ayant conçu les épreuves. Les livrets à destination des enseignants mis en ligne clandestinement au début du mois de janvier montrent par exemple que des compétences complexes et multiples sont parfois évaluées sur la base d’un seul item, ce qui a peu de sens pour un psychométricien. L’essentiel est moins dans le strict respect des canons de la science que dans la construction d’un outil de gestion simple, crédible et utile à tous pour fonder une meilleure communication entre les partenaires du système éducatif.
Ces deux administrations sont-elles habituées à faire des évaluations ?
Elles ont très souvent travaillé ensemble depuis 1989 et la systématisation des évaluations à l’entrée en CE2 et en sixième. Toutefois jusqu’à récemment, la pratique voulait que les tâches techniques et statistiques soient assurées par la Depp (coordination du comité d’experts concevant les épreuves, gestion des remontées d’information, correction des bases de données et exploitations statistiques) et les tâches liées à la conception des actions de remédiation dans les établissements ou à la formation des enseignants à l’usage de ce type d’outils par la Dgesco.
Avec ces nouvelles évaluations en CE1 et CM2, la donne est différente. La Dgesco fait les deux en consultant, dans le meilleur des cas, les statisticiens de la Depp à titre d’experts. La remontée des données n’est plus contrôlée par la Depp mais assurée par un Service des technologies et des systèmes d’information rattaché au Secrétariat général. Ce choix correspond en partie à une évolution des technologies disponibles. Plutôt que d’organiser une nouvelle remontée de données sur le niveau scolaire et le milieu social des élèves pour chaque enquête nouvelle, le ministère profite des avancées de la technologie et récolte les données par le croisement de ces fichiers informatiques de gestion.
Mais en procédant ainsi, le ministère se prive du contrôle des données recueillies par des professionnels de la statistique, comme si l’essentiel était plus d’obtenir et de publier rapidement un chiffre que de s’assurer de sa validité scientifique. En outre, ce changement de donne arrive au moment où la Depp, après avoir beaucoup appris des évaluations internationales depuis 2000 et relancé les évaluations bilans dans plusieurs disciplines en 2003, participe plus activement à la conception de l’enquête Pisa de l’OCDE, dont les prochaines épreuves seront administrées en France en avril et mai prochains. C’est donc au moment où les statisticiens de la Depp sont peut-être les plus sensibles et formés à la psychométrie que les décideurs se privent de leurs compétences. On peut dès lors s’interroger sur l’écart entre des discours politiques insistant volontiers sur les vertus des comparaisons internationales et des pratiques nationales qui mobilisent peu les compétences sur lesquelles reposent ces enquêtes…
Certains enseignants voient dans ces évaluations une manœuvre politique visant à discréditer leur travail. Qu’en pensez vous ?
Je pense que ces réactions sont liées à une conjoncture politique particulière. Si l’on s’en tient aux objectifs généraux assignés à ces évaluations, ceux-ci semblent guère contestables : qui ne voudrait pas améliorer l’information disponible, mieux communiquer avec les parents, fonder des actions de soutien ou doter les responsables locaux d’un outil de pilotage ? Si l’on regarde la publication des résultats, des garanties sont données aux différents acteurs du système éducatif, notamment les enseignants (les résultats individuels des écoles ne seront pas publiés).
Mais ces évaluations sont menées sous le mandat d’un ministre qui a explicitement refusé de se prononcer sur les grands débats pédagogiques et didactiques (comme sur les méthodes d’apprentissage de la lecture) pour mieux se concentrer sur les résultats obtenus par les enseignants. Le raisonnement politique, conséquentialiste, était adroit : on ne relance pas des grands débats qui risqueraient de figer les positions de chacun et on affiche au passage sa confiance aux enseignants dont on souligne le professionnalisme. Mais il supposait de s’attaquer en parallèle à l’épineux problème de l’évaluation des enseignants. Or de ce point de vue, on a peu entendu ces derniers temps dans les discours politiques les conclusions de la Commission Pochard par exemple. On ne s’est pas non plus attaqué à la remise en cause du système de la double notation. Non, on a commencé par ces évaluations CE1-CM2, sous la pression d’autres dossiers en cours que celui de l’évaluation des enseignants d’ailleurs (socle commun, refonte des programmes et abandon de la carte scolaire). Comment les enseignants, sachant par ailleurs très bien défendre leurs intérêts professionnels, pouvaient-ils interpréter autrement la situation ?
J’ajoute que ces évaluations se superposent à des questions de fond qui n’ont pas été tranchées, comme le statut des enseignants directeurs d’école. Si je devais chercher une manœuvre politique, sans doute insisterais-je sur ce point. Depuis 1999, la grève des directeurs d’école, qui veulent obtenir de la part du ministère la reconnaissance d’un statut équivalent à celui du chef d’établissement dans le second degré, rend plus que problématique la construction d’indicateurs statistiques sur l’enseignement primaire. Les indicateurs Inpec sur la performance des écoles (équivalents des indicateurs Ipes du second degré) créés en 1998 n’ont jamais pu être renseignés. La création récente d’une base élèves du premier degré devait en partie permettre de contourner le problème, mais elle a suscité des réserves de la part de la Cnil et des oppositions de la part des enseignants et de certaines collectivités locales. Or en parallèle, la pression est forte pour obtenir des indicateurs à ce niveau d’enseignement, notamment dans le cadre de la Lolf. Rappelons que le directeur de la DGESCO est responsable du programme 140 de la Lolf portant sur l’enseignement primaire et que des financements à terme dépendent de la qualité des données disponibles. Les évaluations CE1-CM2 sont aussi un moyen pour le ministère d’obtenir rapidement un indice de l’efficacité des enseignements à l’école, donc de contourner le mouvement des directeurs d’école.
Récemment La revue de l’inspection générale a publié un texte assez critique sur ses propres évaluations. Il semble que pour tous les services du MEN l’évaluation soit devenue un objet de réflexion. Comment expliquez vous cela ?
Ce type d’auto-critique n’est pas nouveau. Depuis mai 1968 et la contestation politique des inspections individuelles, les inspections générales réfléchissent de façon récurrente à leur positionnement au sein du ministère, leur organisation et leurs méthodes. L’octroi d’une mission d’évaluation à l’IGAEN en 1984 et à l’Igen en 1989 a accentué cette tendance. Regardez par exemple les réflexions de l’Association française des administrateurs de l’éducation (AFAE) qui a publié dans sa revue plusieurs numéros thématiques sur le devenir des corps d’inspection dans les années 1990. C’est même devenu un mode de fonctionnement du corps à part entière, qui permet à ses membres de fréquemment adopter une position réflexive sur leurs pratiques.
Ces réflexions apparaissent en outre à un moment où le corps est mis en retrait par le ministre (non publication de sa lettre de mission en 2007-2008, faible consultation du groupe de l’Igen consacré à l’enseignement primaire lors de la réforme des programmes, non publication des rapports). Les inspections générales profitent de ce relâchement de la commande politique pour réfléchir à leurs pratiques. C’est exactement ce qu’elles ont fait en 1998, sous le ministère de Claude Allègre, quand elles ont expérimenté, sans l’aval officiel du ministre, l’évaluation de l’enseignement dans les académies de Bordeaux et Rouen. C’est ce qu’elles ont fait en 1982 quand elles ont tiré profit du moratoire sur les inspections individuelles décidé par Alain Savary pour expérimenter des « inspections paysages » visant à analyser les établissements dans leur globalité (en opposition aux « inspections portraits » de chaque enseignant). Elles ont ensuite approfondi ce savoir-faire dans les années 1980 et 1990.
De manière générale, depuis le début des années 1970, le débat politique sur l’évaluation du système éducatif en France consiste à s’alarmer des dérives de cet instrument d’action publique (le tout quantitatif, les palmarès, la marchandisation) et à en appeler à une meilleure évaluation possible. Ce débat transcende les clivages traditionnels, qu’ils soient politiques (droite-gauche) ou professionnels (tous les enseignants ne sont pas hostiles à l’évaluation, tous les inspecteurs généraux ne partagent pas la même conception de l’évaluation etc.). Par conséquent, la « culture d’évaluation » est moins une réalité institutionnelle qu’un discours politique sans cesse réactivé. Ce discours illustre l’incapacité des évaluateurs à faire partager leurs impératifs par le reste des acteurs du système éducatif, mais aussi le refus des décideurs de trancher le débat en affichant clairement une conception particulière de l’évaluation. En l’état du débat politique, ces derniers n’ont tout simplement pas intérêt à le faire ! Puisque personne ne s’accorde sur ce que doit être une évaluation juste et efficace, maintenir le flou autour de la notion est plus rentable politiquement : on utilise le terme dans différentes procédures en espérant que les acteurs s’accordent d’eux-mêmes sur les formes concrètes à leur donner.
Est-il possible de faire une évaluation du système éducatif qui échappe au contrôle politique ? Cela s’est-il déjà fait ? À qui faudrait-il aujourd’hui la confier ?
Tout dépend de ce que vous entendez par contrôle politique. Le choix qui a été fait en France ces trente dernières années a été de toujours privilégier une évaluation « en interne », menée presque exclusivement par des acteurs du système éducatif (corps d’inspection, statisticiens du ministère, enseignants-chercheurs de laboratoires sous la tutelle du ministère). Les arguments en faveur d’un tel modèle, énoncés le plus souvent par les évaluateurs eux-mêmes, sont multiples : seul ce type d’évaluation serait légitime aux yeux des destinataires de l’évaluation (notamment des enseignants), seul ce type d’évaluation permettrait une collecte fiable des données, il faudrait « forcément » un regard averti et expérimenté sur l’école française etc. Le seul ministre à avoir remis en cause publiquement ce compromis fut Claude Allègre, qui voulait externaliser la mission d’évaluation vers une agence autonome de chercheurs. Toutefois le projet avorta rapidement, faute d’avoir été exposé de façon pédagogique et d’avoir convaincu les acteurs du ministère, y compris les plus proches collaborateurs du ministre.
Il est possible de concevoir une évaluation du système éducatif qui soit menée par des acteurs extérieurs, non étatiques ou indépendants du gouvernement, par exemple sur le modèle anglo-saxon des agences non gouvernementales à mandat public. Mais dans ce cas, le contrôle politique emprunte d’autres voies (nomination des membres, engagement plus ou moins explicite des décideurs à mettre en place des actions de remédiation, fixation d’objectifs contraignants, audit d’audits). Plusieurs acteurs participent aujourd’hui de fait à l’évaluation du système éducatif français sans être sous l’autorité directe du gouvernement (chercheurs, magistrats de la Cour des comptes, experts internationaux). Le contrôle politique se fait différemment (financement plus ou moins soutenu des recherches, nomination de magistrats au tour extérieur, affiliations politiques des uns et des autres, faible relais dans les médias des conclusions des enquêtes internationales etc.).
Quel rôle vont jouer ces évaluations à l’avenir dans notre système éducatif ?
Tout d’abord, il n’est pas certain que ces évaluations perdurent. Historiquement, les évaluations bilans de la Depp ont été menées de façon très irrégulière depuis 1975, les décideurs accordant un intérêt et des moyens inégaux selon les périodes. Elles font l’actualité aujourd’hui, mais il est possible qu’elles ne résistent pas à un remaniement ministériel ou à un changement de majorité demain, et ce d’autant plus qu’elles sont mises en œuvre par une direction d’administration centrale très politisée (la Dgesco est en lien direct avec le cabinet, elle est responsable de trois des six programmes Lolf de la mission « enseignement scolaire », ses directeurs ont souvent été liés à la majorité en place).
Si elles perdurent, se poseront au moins quatre questions aux décideurs. Premièrement, va-t-on assortir ces évaluations de sanctions et d’actions de remédiation explicites en fonction des résultats qu’elles mettront en évidence ou va-t-on en rester, comme par le passé, à une simple production d’informations, les acteurs restant libres d’en tenir compte ou non ? Les signes actuels vont plutôt dans la première direction : en principe, ces évaluations doivent permettre d’identifier les élèves dits « en grande difficulté » (ceux qui réussissent à moins d’un tiers des items) et de leur proposer un soutien individualisé.
Deuxièmement, comment va-t-on articuler ces évaluations avec les évaluations requises par la Lolf et le socle commun ? Parmi les indicateurs retenus dans la Lolf figurent en effet les proportions d’élèves qui maîtrisent les compétences de base en français et en mathématiques en fin d’école et en fin de collège. En principe, les évaluations du socle commun alimenteront ces indicateurs. En attendant que ces évaluations soient conçues, la Depp procèdent temporairement à des évaluations en fin de CM2 et de troisième sur la base d’échantillons. Or comme personne ne sait encore comment évaluer le socle commun, il est possible que ces évaluations temporaires persistent. Au niveau du CM2, nous aurions alors des évaluations systématiques menées en janvier par la DGESCO et des évaluations sur échantillons menées fin juin par la Depp. Cette superposition ne va-t-elle pas semer la confusion ? Les décideurs, globalement peu sensibles à la raison statistique, ne vont-ils pas être tentés de faire des évaluations de la Dgesco des indicateurs Lolf alors qu’elles ne sont pas conçues pour cela ?
Troisièmement, va-t-on intégrer les résultats des élèves à ces évaluations dans l’évaluation des enseignants en général ? Et si c’est le cas, quelle sera la pondération entre les différents critères d’évaluation possibles ?
Quatrièmement, la position du ministère en termes de publication des résultats est-elle tenable ? Peut-on vraiment abandonner la carte scolaire sans rendre publics à terme les résultats de chaque établissement comme on le prétend actuellement ? Tout l’enjeu est de savoir si les décideurs préfèreront une régulation du système éducatif sur la base d’un quasi-marché ou d’un Etat évaluateur.
Xavier Pons
X Pons prépare un ouvrage à paraître aux PUF en 2010 : Xavier Pons, Evaluer l’action éducative, Paris, PUF, Coll. Education et sociétés, 2010.
Dernier article sur le Café :
Sans évaluation on prive les familles d’une politique éducative nationale
http://cafepedagogique.net/lemensuel/lesysteme/Pages/2009/99_XavierPons.aspx
L’école et son contrôle
« Force est de constater que la confiance qu’accordent la société civile et les milieux politiques à la professionnalité enseignante se lézarde ». Ce constat pousse à la multiplication des évaluations et des contrôles, expliquent Alain Bouvier et Philippe Duval, dans l’introduction au n°48 de la Revue internationale d’éducation de Sèvres qui est dédié à « l’école et son contrôle ». Un numéro particulièrement bienvenu alors que l’on annonce la mise en place en France de nouveaux modes d’évaluation.
L’évaluation s’est généralisée, notent-ils, « mais dans une diversité considérable de pratiques ». Et la revue nous emmène visiter de près 7 systèmes éducatifs : l’Angleterre, le Chili, la Pologne, la Chine, le Pays basque, la Suisse et la France.
En Angleterre les lois de 1988 et 1997 ont abouti à un système multi contrôlé ce qui n’est pas sans poser la question de la transparence et de la démocratie. En Suisse, la montée des contrôles amène Matthis Behrens à poser la question de leur efficacité : on contrôle ce qui est facile mais peu utile. « Les tests basés sur les standards finissent par conditionner les curricula et l’enseignement » ce qui fait craindre leur diminution, selon un phénomène observé aussi aux Etats-Unis. Nathalie Mons, au terme d’une étude comparative sur 29 pays montre qu’un « accroissement du contrôle du travail enseignant se dessine progressivement sur les deux dernières décennies ». Ces évaluations portent plus sur les résultats que sur les processus aussi bien au niveau de l’école (how good is my school ?) que des enseignants. Au total, ce New Public Management « a fait progresser la reddition des comptes qui s’impose désormais aux enseignants » avec de forts enjeux de promotion à la clé. L’établissement scolaire devient donc un élément clé du pilotage et de son évaluation.
Pour Alain Bouvier, la question des modes et des acteurs de l’évaluation ne saurait faire oublier ce qui devrait être la préoccupation principale : celle des finalités de l’éducation. Ainsi en Suisse, note M Behrens « le contrôle du système se réduit à évaluer le rapport de conformité en termes d’efficacité et d’efficience des performances, Il n’est plus besoin de redéfinir le mandat sociétal de l’école. L’institution est immuable ». Est-ce l’objectif recherché ?
Revue internationale d’éducation de Sèvres, n°48, septembre 2008, CIEP.
|
Sur le site du Café
|
