Par François Jarraud
Que font les statisticiens de l'éducation nationale ? Comment les inspecteurs généraux évaluent-ils le système éducatif ? Quelle influence ont les évaluateurs internes et externes de l'école ? Alors que partout se mettent en place des systèmes d'évaluation du système éducatif et que, souvent, on leur confie une tâche déterminante dans leur pilotage, Xavier Pons, maître de conférences à Paris-Créteil, s'est attaqué à la spécificité française et à sa genèse.
Spécificité. La LOLF (la loi qui fonde les finances publiques) impose une évaluation de l'action publique et donc celle de l'école. Pour cela elle a fixé des indicateurs que le ministre chaque année doit fournir. Pour autant, ceux-ci n'ont pas le statut qu'ont les standards dans d'autres pays comme aux Etats-Unis. La France évalue, mais ne sait pas trop pourquoi faire…
Genèse. L'éducation nationale a ses propres organes d'évaluation, la DEPP, une direction du ministère, et l'Inspection générale. Mais il y a aussi d'autres organes d'évaluation, internes comme l'INRP, ou externes ,comme l'OCDE ou l'IREDU. Comment s'est construite l'évaluation entre tous ces acteurs ? Xavier Pons remonte à la naissance de la 5ème République et montre comment la Depp a construit sa suprématie en construisant un modèle d'évaluation, "le constat chiffré".
Particularité. Pour autant la France n'a pas de pilotage par l'évaluation. D'une part parce que les objectifs politiques restent "flous". D'autre part parce que les rapports entre la Depp, organe interne mais scientifique, et les ministres sont souvent orageux. Au moment même où s'écrivent ces lignes, plusieurs études de la Depp sont bloquées. Même si la censure officielle n'atteint plus le paroxysme des années Darcos, cette situation atteint le crédit international de la Depp.
C'est un travail pionnier qu'a effectué Xavier Pons. Son ouvrage éclaire un organe essentiel du fonctionnement de l'éducation nationale et met l'animal à nu. En France moins qu'ailleurs, et contrairement aux discours officiel, la régulation de l'Ecole a peu de rapports avec son évaluation.
Xavier Pons, Evaluer l'action éducative, Des professionnels en concurrence, PUF, Paris, 2010, 194 pages.
Le sommaire
http://www.puf.com/wiki/Autres_Collections:%C3%89valuer_l%27a[...]
Entretien avec Xavier Pons : Evaluation quelle cohérence ?
Quand on pense à l'évaluation de l'école, on pense à quelque chose de scientifique, monolithique, un peu froid. Et vous nous parlez, pour les années 1958-2008, "d'institutionnalisation du flou" ! L'évaluation de l'École en France n'est pas toujours scientifique ?
Il y a deux éléments qui sont pour moi différents dans votre question. Le flou dont je parle concerne la définition de l'évaluation dans les textes officiels (lois, décrets, programmes de travail des évaluateurs) ainsi que dans les discours des ministres sur ce thème. Pour le dire simplement, on emploie toujours le mot, mais on précise rarement quelles doivent être les finalités ou les démarches d'évaluation. C'est une façon de gouverner à l'œuvre depuis plusieurs décennies : comme il n'y a pas dans le débat public de consensus stable sur ce que doit être l'évaluation, on entretient le flou pour laisser les acteurs se coordonner d'eux-mêmes (ou non).
Mais ça ne veut pas dire que les travaux effectués par les évaluateurs sont flous ! Ce que je montre c'est qu'ils sont très cohérents avec les identités professionnelles de ces derniers. Les membres de la DEPP que j'ai pu interroger insistent tous par exemple sur leur responsabilité sociale, en tant que professionnels de la statistique, en matière de collecte et de mise à disposition du public de données objectives. Très peu d'évaluations publiées par la DEPP s'autorisent ainsi un jugement de valeur et pratiquement aucune ne formule de recommandations.
Les travaux des évaluateurs sont-ils tous scientifiques ? Si vous entendez par science une science académique, distante, froide et objective, la réponse est non. Certains évaluateurs, comme les inspecteurs généraux, assument la part de jugement professionnel inhérente à leur modèle d'évaluation. Ils développent ce que j'appelle un « art de l'extrapolation empirique », c'est-à-dire la capacité, sur la base d'expériences personnelles, professionnelles et institutionnelles multiples, à produire un constat significatif de tendances générales à partir de l’observation d’un nombre limité de phénomènes dans un temps court. Leurs travaux ne sont pas scientifiques au sens strict du terme -ce n'est pas l'ambition des inspecteurs généraux- mais ils n'en demeurent pas moins fondés et utiles à la décision. C'est ce que certains chercheurs appellent une science de gouvernement.
Vous évoquez le conflit entre les inspections générales et la Depp. Est-ce seulement un conflit bureaucratique ou traduit-il aussi des finalités différentes dans l'évaluation ?
Je parle plus volontiers de concurrence que de conflit, même s'il y a eu en effet quelques conflits ouverts de territoire au sein du ministère entre les inspecteurs généraux et les statisticiens, notamment lors du lancement par ces derniers des premières évaluations de masse des élèves dans les années 1970. C'est une concurrence entre différentes approches de l'évaluation qui a pour but de faire triompher et reconnaître par les décideurs une conception particulière du type d'évaluation à privilégier. C'est ainsi qu'en entretien, chacun reconnaît l'utilité des travaux de l'autre mais s'attache aussi à expliquer la nécessité de les compléter par sa propre expertise. Pour les inspecteurs généraux, il faut compléter les statistiques par des visites de terrain. Pour les statisticiens, il faut systématiser les observations localisées des inspecteurs généraux.
La Depp a été fortement censurée sous Darcos et encore aujourd'hui il semble que de nombreuses études soient "en attente de parution". Finalement le rattachement de la Depp au ministère, qui a été un élément de force, n'est-il pas une faiblesse ? Peut-on avoir une évaluation de qualité scientifique qui soit interne à l'éducation nationale ?
Ce n'est pas en soi le caractère interne de l'évaluation qui est en cause. Les membres de la Depp sont des professionnels de la statistique. Certains d'entre eux jouissent d'une réputation internationale. Faire reposer l'évaluation sur une direction d'administration centrale qui est aussi service statistique ministériel permet de garantir une remontée fiable des données etc.
Ce qui est problématique aujourd'hui à mes yeux, ce sont les blocages politiques et institutionnels qui empêchent la publicité et la mise en débat de travaux utiles à tous. Il me paraît particulièrement important d'arriver à faire vivre un pluralisme des évaluations. Il ne s'agit pas de supprimer l'évaluation interne au profit d'une évaluation externe (celle menée par la Cour des comptes, par des chercheurs ou une éventuelle agence indépendante par exemple), mais bien d'institutionnaliser un dialogue entre elles, donc de créer des espaces de partage et de confrontation qui manquent aujourd'hui. En jouant progressivement le rôle d'interface entre décideurs, administrations, experts et chercheurs, la DEP a réussi à constituer cet espace en interne entre 1990 et 1997 puis, dans une moindre mesure, entre 2000 et 2005. Mais cette solution dépend fortement de l'aval politique des ministres successifs.
Comment s'équilibrent les rapports entre évaluation nationale et évaluations internationales ? Qui pilote ? Comment réagit la structure Éducation nationale ? A qui confie-t-elle la réalisation des évaluations ?
Je ne parlerai que des comparaisons internationales des résultats des élèves dont la première fut lancée en 1958. Au départ, ce type d'enquête est suivi et mis en œuvre en France par des chercheurs relativement isolés relevant de divers instituts (INETOP, INRP puis CIEP). En 1991, la DEP reprend le flambeau. Jusqu'à cette date, les comparaisons internationales ont un effet limité sur le débat public et restent une affaire d'initiés malgré quelques mentions parfois détaillées dans la presse écrite. À l'exception d'épisodes fortement médiatisés comme en 1995 lors du retrait de la France de l'enquête IALS, il en va de même grosso modo jusqu'en 2004-2005. Depuis ces années, le recours de plus en plus fréquent aux comparaisons internationales dans les discours des décideurs a invité divers acteurs (syndicats, fédérations de parents, chercheurs etc.) à se saisir de ce thème.
Finalement quel est l'objectif de l'évaluation ? Qui sert-elle, les professeurs ou les politiques ? L'amélioration du système éducatif au bénéfice des élèves ou la gestion financière ?
Il m'est difficile de répondre à cette question du fait du flou qui entoure les finalités de l'évaluation que j'ai évoqué plus haut, mais aussi parce qu'elle résume tout l'enjeu de la politique d'évaluation. Il n'y a donc pas « un » objectif de l'évaluation prise isolément mais des luttes perpétuelles pour imposer une conception particulière de l'évaluation. Vous répondre de manière tranchée, ce serait tordre l'histoire de ces luttes. Ce qui est sûr, c'est que tous les pays européens se posent cette question : comment articuler une évaluation qui sert au pilotage du système éducatif et une évaluation qui permet une professionnalisation des acteurs ou une progression des élèves. Il n'y a sans doute pas de one best way, chaque système ayant des marges de progrès.
On voit dans les pays pionniers en matière d'évaluation une vive contestation de l'efficacité du pilotage par l'évaluation. Finalement le "désordre" français n'a-t-il pas été une protection bénéfique ?
Je ne partage pas complètement votre constat de départ. La France fait partie de ces pays pionniers et pourtant l'idée qu'il existerait un pilotage par l'évaluation dans notre pays est très discutable. Il est vrai que certains pays anglo-saxons, comme l'Angleterre, prennent aujourd'hui plus volontiers en considération les limites d'une politique d'évaluation fondée principalement sur la mise en œuvre de tests à différentes étapes de la scolarité des élèves et l'évaluation périodique de la capacité des établissements scolaires à mener ces mêmes élèves au niveau attendu dans les standards nationaux. Mais, encore une fois, il s'agit d'un type d'évaluation particulier. D'autres modèles jouissent encore d'un consensus social relativement fort, comme en Écosse par exemple.
Cependant il est vrai que l'entre-deux dans lequel nous sommes restés depuis plusieurs décennies -qui se caractérise par exemple par la mise en œuvre d'évaluations standardisées sans la définition de standards en amont, l'absence d'obligation de tenir compte des résultats des évaluations ou une publication sélective et progressive des évaluations d'établissements- nous a permis d'éviter certains effets pervers. En revanche, la question de la cohérence dans le temps et dans l'espace de nos choix en matière d'évaluation reste entière, tout comme celle de son impact sur la décision.
Xavier Pons
Sur le Café :
Sans évaluation on prive les familles
http://www.cafepedagogique.net/lemensuel/lesyst[...]
La culture d'évaluation est moins une réalité institutionnelle qu'un discours politique
http://www.cafepedagogique.net/lemensuel/lesys[...]