La lettre grise Supplément à la lettre d'information de Pénombre association française régie par la loi du 1er juillet 1901 Fondée par Lucio Nero

Première série. Volume II. Automne 1999, numéro 4

Les lycées sous le feu de l'évaluation

actes de la sixième nocturne de Pénombre,
Conservatoire National des Arts et Métiers, 25 mars 1999

Sous la présidence de Jean-René Brunetière,
Ingénieur en chef des Ponts et Chaussées,
membre du Conseil d'administration de Pénombre

Jean-René Brunetière: Pour mettre les lycées sous le feu de l'évaluation, nous avons demandé à trois intervenants de lancer le débat. D'abord Monsieur Claude Thélot, que beaucoup d'entre vous connaissent, ancien directeur de l'évaluation et de la prospective au ministère de l'Éducation, qui a initié les démarches dont on va parler ce soir. Monsieur Thélot est actuellement conseiller maître à la Cour des comptes. Il ouvrira la série des petits exposés introductifs. Ensuite Monsieur Antoine Reverchon, qui est journaliste au Monde, que beaucoup d'entre vous ont lu, dira comment il a joué son rôle de journaliste au moment des premières sorties d'évaluations dans le public et donnera son point de vue sur l'ensemble de la question. Enfin Monsieur Thierry Saudejaud, que peu d'entre nous ont eu l'honneur d'avoir comme proviseur, puisqu'il est proviseur du lycée Jean-Perrin à Lyon, nous dira le point de vue d'un chef d'établissement, et même de deux, puisqu'il a dirigé deux établissements assez différents l'un de l'autre, ce qui pourra nous aider à mettre les choses en perspective. Et puis, sans transition, comme dirait PPDA, nous entamerons le débat. Il y a beaucoup d'experts dans la salle que je ne connais pas, ils se découvriront en cours de route. Nous souhaitons que ce soit un débat de tout le monde avec tout le monde, et que nous en sortions armés de tous les concepts pour interpréter les chiffres qui vont inévitablement paraître dans nos hebdomadaires favoris dès la semaine prochaine. Je passe donc la parole à Monsieur Thélot.

Claude Thélot: L'évaluation des lycées, ou plutôt l'évaluation des établissements scolaires en général, est un sujet à la fois difficile, et, je crois, important. C'est un sujet sur lequel l'ensemble des pays du monde essaient de progresser. À titre d'introduction, je voudrais resituer la publication des indicateurs de réussite (ils sont publiés depuis 1994) dans une perspective plus large d 'évaluation des établissements, en évoquant trois points successivement.

Premier point: pourquoi évaluer les lycées?

Je ne vais pas détailler, pour laisser la place à la discussion, mais c'est essentiellement pour deux raisons:

tout d'abord, répondre à une demande sociale d'évaluation extrêmement forte. Et ceci est une donnée: dans les démocraties aujourd'hui, la fonction d'éducation est devenue si centrale que l'ensemble du pays, l'ensemble des acteurs, publics et privés, les familles naturellement, mais aussi les collectivités territoriales, l'ensemble des pays demandent cette évaluation du système éducatif et des établissements scolaires en particulier. Et ce qu'il faut bien comprendre, c'est que cette demande est première dans cette affaire, et que si l'on n'y répond pas d'une façon plus ou moins adaptée, eh bien, de toute façon, il y sera répondu, et cette fois-ci d'une façon très peu adaptée.

Deuxième usage, à mon avis plus important que le premier, en dépit de la force de la demande sociale: être utile de façon interne au système éducatif. Cette utilité interne a elle-même deux modalités:

- évaluer les lycées, c'est être capable d'avoir des éléments qui permettent de construire un contrat entre le lycée comme établissement et le reste du système éducatif, d'aider à avoir une politique de distribution des moyens, qui s 'efforcerait d'être équitable et de tenir compte du projet du lycée, et qui permettrait, pour les responsables du système éducatif extérieurs au lycée, de mieux comprendre comment ce dernier fonctionne. La première modalité d'usage interne, est que cela doit servir de levier à une politique éducative conduite par la structure Éducation nationale.

- le deuxième type d'usage est interne cette fois-ci à l'établissement, et ceci est absolument central. Je crois qu'il faut que l'évaluation conduite sur un établissement soit conçue comme une occasion pour les acteurs de l'établissement de réfléchir à l'état dans lequel ils sont. Vous comprenez, un lycée est un organisme extrêmement complexe, qui peut avoir une grande variété d'objectifs et en tout cas une grande variété de fonctionnements, qui est dans une immense variété d'environnements, et qui essaye de répondre à une variété considérable d'attentes. Par conséquent, si vous essayez de l'évaluer de l'extérieur, à aucun titre, vous ne pouvez prétendre épuiser ce qu'il est. La seule chose qu'une évaluation extérieure peut prétendre faire, c'est entrer dans l'établissement, et servir d'occasion ou de catalyseur aux acteurs de l'établissement, (quand on réfléchit à l'évaluation d'un lycée, il faut que les acteurs soient là, et le proviseur nous en parlera certainement tout à l'heure) pour s'auto-évaluer et, à partir de cette auto-évaluation, pour améliorer le fonctionnement et hiérarchiser les priorités que l'établissement se donne. Et donc, évaluer le lycée c'est peut-être fournir des indicateurs, mais c'est d'abord remplir ces deux fonctions, externe et interne.

C'est avec ces idées-là qu'on a essayé d'élaborer le dispositif d'évaluation. Ce dispositif, qui a été développé depuis 5 ou 6 ans, répondait à 4 critères généraux que je donne pour nourrir la discussion tout à l'heure. Ces critères, un peu généraux, sont à la base de toute évaluation d'un établissement scolaire.

Le premier critère: il s'agit de fournir quelque chose à l'établissement pour que ça l'aide, pour que quelqu'un, extérieur à l'établissement, lui dise comment il le voit, quitte à ce que l'établissement réagisse en disant que ce sont des bêtises. Mais l'idée est de provoquer de l'extérieur une réflexion du proviseur, du conseil d'administration, des enseignants, des parents d'élèves etc.: venir de l'extérieur pour provoquer une réaction de l'intérieur. Et les éléments de réaction de l'intérieur sont évidemment provoqués par des éléments de comparaison que l'on peut faire entre le lycée auquel on donne des éléments et d'autres établissements du même type. La comparaison dans ce cadre n'est pas pour juger le lycée, mais pour nourrir sa réflexion sur lui-même.

Le deuxième critère: essayer que les éléments d'évaluation qu'on donne aux lycées marient des éléments généraux et des éléments spécifiques, et ceci est très très important. Vous ne pouvez pas dire que tous les lycées sont identiques, ni que toutes les écoles primaires ou tous les collèges sont identiques, tout cela est idiot naturellement: ce n'était pas vrai du temps de Jules Ferry, c'est encore moins vrai aujourd'hui. Cela ne l'est pas pour une infinité de raisons, et en plus, on demande à chaque établissement d'avoir un projet spécifique, c'est dans la loi d'orientation de 89. Puisque chaque établissement est spécifique, vous ne pouvez pas prétendre l'évaluer d'une façon standard, exclusivement générale. Il faut que dans votre évaluation, il y ait un élément de spécificité propre à cet établissement. Mais en même temps, vous ne pouvez pas dire, surtout dans un pays comme la France, où l'idée d'avoir un système éducatif national, (idée qui est très peu présente aux États-Unis ou au Royaume-Uni par exemple, mais qui est très forte chez nous), vous ne pouvez pas dire que ce lycée n'est pas dans le système éducatif national et n'a pas à satisfaire à des objectifs généraux. Il faut donc que l'évaluation repose en partie sur des éléments généraux. C'est donc le deuxième principe : marier du général et du spécifique.

Troisième principe: dans le système éducatif, il est assez simple, assez fréquent et même assez banal d'opposer le quantitatif au qualitatif. Alors là, le principe qu'il faut naturellement retenir, c'est de faire feu de tout bois, d'essayer d'être intelligent dans le dispositif d'évaluation, et de marier des indicateurs qualitatifs et des indicateurs quantitatifs.

Et le dernier principe (on pourrait naturellement développer chacun de ces points, mais je ne donne que les têtes de chapitre), c'est essayer de jouer à la fois l'interne et l'externe, je veux dire donner le dispositif aux établissements, le donner au système éducatif, mais aussi faire que pour une part, ce dispositif soit public. Une des raisons, c'est que les lois de décentralisation de 1985-1986 ont explicitement demandé que les établissements du second degré, collèges, lycées, qui devenaient "établissements publics locaux d'enseignement", envoient tous les ans un rapport d'activité à trois autorités, au recteur, au préfet et au président de la collectivité territoriale dont dépend l'établissement, c'est-à-dire soit le Conseil général pour les collèges, soit le Conseil régional pour les lycées. Ce rapport d'activité doit être publié, doit être public, et si l'on n'y prend pas garde, les destinataires, et notamment les collectivités territoriales monteront leurs propres systèmes d'évaluation. Les lois de décentralisation ont entraîné un immense effort des collectivités territoriales sur le système éducatif, et heureusement, car si cela avait été l'État qui avait continué à assurer ces responsabilités, on n'en serait pas où on en est aujourd'hui, s'agissant de la construction et de l'entretien des bâtiments et de l'aide aux dispositifs de soutiens scolaires, mais en contrepartie de cet immense effort, le souci d'évaluer, de la part des collectivités territoriales, s'est accru. Et si vous n'alimentez pas ce souci de la même façon que vous alimentez les acteurs de l'établissement, et en prenant, en partie, les mêmes indicateurs, vous prenez le risque d'un développement tout à fait anarchique de systèmes d'information et d'évaluation. Des systèmes, très divers, opposés, se contrediront, et coûteront au total cher à la collectivité.

Voilà donc les quatre principes. Nous avons essayé d'appliquer ces quatre principes dans un dispositif qui s'appelle IPES, "indicateurs pour le pilotage des établissements du second degré".

Dans l'assistance, il y a un des principaux auteurs de ce dispositif, et la discussion pourra donc être très riche. Le mot important dans ces initiales est naturellement "pilotage". L'évaluation que nous avons voulu faire n'a pas de légitimité en soi-même, mais c'est un instrument pour le pilotage externe et interne. Et les indicateurs que nous avons portaient, pour que le pilotage soit intelligent, sur quatre dimensions: d'abord l'environnement de l'établissement et les élèves qu'il a, je ne détaille pas, naturellement; ensuite les ressources que l'établissement a; troisièmement, comment il fonctionne, quel est son climat etc.; et quatrièmement quels sont ses résultats. Vous voyez qu'avec une conception de ce genre, on a une vision minimale du lycée. On ne préjuge pas comment fonctionne le lycée, on dit qu'il est dans un certain environnement, avec des élèves qui ne sont pas les mêmes partout. De tout temps, les lycées alsaciens ne sont pas les mêmes que les lycées toulousains, et ils ne doivent pas l'être, fût-ce dans un système centralisé comme le nôtre. Vous avez des élèves qui sont ce qu'ils sont, et dans un certain nombre de lycées parisiens dont on s'enorgueillit du taux de réussite au bac, eh bien les élèves sont reçus au bac presque en dépit des professeurs, parce que les élèves sont bons. Donc on ne peut pas ne pas en tenir compte et évaluer le lycée sans apprécier dans quel environnement il est. Ensuite, il faut donner une idée des ressources, évidemment, les ressources principales du lycée portant sur le type d'enseignants qu'il a, et du fonctionnement, je ne détaille pas. Et des résultats du lycée. Les résultats, c'est un point important puisqu'évidemment, il faut que les systèmes éducatifs, (c'est nouveau et c'est difficile), acceptent d'être jugés sur leurs résultats. Bien entendu, cela pose la question, que je donne pour la discussion, mais qui est centrale si vous voulez juger sur ses résultats un système éducatif en général ou un lycée en particulier, d'avoir dit auparavant quels en étaient les objectifs. On n'évalue pas des résultats sans objectifs.

Alors le point intéressant ici, c'est que, si vous avez d'une part les résultats, et d'autre part l'environnement du lycée, vous aboutissez assez naturellement sur le plan intellectuel, (après sur le plan technique c'est autre chose et c'est même assez compliqué), à l'idée de valeur ajoutée. L'idée de valeur ajoutée c'est de dire que ce qui compte pour un lycée, ce n'est pas tant ses résultats, que ses résultats rapportés à son environnement, rapportés à ses élèves. On peut appeler cela comme on veut, nous avons appelé cela valeur ajoutée, parce que l'idée était de dire: quelle valeur le lycée ajoute-t-il à ses élèves? Vous avez des lycéens qui rentrent en seconde, en seconde générale ou professionnelle, (en lycée général ou professionnel) et aujourd'hui deux tiers d'une génération rentre au lycée, deux gros tiers ( 68%). Qu'est-ce que le lycée, ou les lycées apportent à ces élèves? Répondre à cette question, c'est essayer d'apprécier la valeur ajoutée du lycée, en rapprochant les résultats qu'il obtient de l'environnement dans lequel il est, c'est-à-dire notamment des élèves qu'il a.

Sur ces domaines, on s'est efforcé d'avoir des indicateurs qui soient généraux, les mêmes d'un lycée à l'autre, pour permettre des comparaisons, et parce que chaque lycée concourt aux objectifs généraux. On s'est efforcé aussi d'avoir des boîtes à outils qu'on a transmises aux établissements pour qu'ils puissent eux-mêmes fabriquer leurs propres indicateurs, spécifiques et adaptés aux projets qu'ils ont. Tel lycée a tel projet, c'est au chef d'établissement, et à la communauté éducative d'apprécier, dans une démarche d'auto-évaluation, la façon de mesurer s'il obtient ou non ses résultats, et en fonction de cela, d'enclencher ensuite une discussion avec les autorités de l'État, qu'il s'agisse de l'Inspecteur d'Académie ou du Recteur, autorité régionale ou départementale, c'est-à-dire la collectivité territoriale. Le point central depuis douze ans, qu'il faut bien comprendre et qu'on n'a pas toujours compris, c'est qu'on est entré dans une autre ère, parce que les établissements scolaires sont sous double tutelle. Ce n'est plus seulement l'État qui s'occupe du développement du système éducatif comme il le faisait depuis deux cents ans, c'est toute la société et tout particulièrement les collectivités territoriales. Il faut arriver à conjuguer harmonieusement cette diversité des collectivités territoriales avec un système éducatif national. C'est plus facile d'ailleurs à dire qu'à faire...

Alors, les résultats du lycée peuvent être tout à fait spécifiques du lycée, c'est une première idée, mais il y a des résultats généraux du lycée qui tournent autour du bac.

C'est là où nous arrivons à ce qui est publié, c'est-à-dire à des indicateurs autour du baccalauréat. Le point important, c'est que l'objectif d'un lycée n'est naturellement pas exclusivement le baccalauréat, mais en même temps, on ne peut pas dire qu'il soit tout à fait orthogonal au baccalauréat. Réfléchir aux façons dont un lycée permet aux lycéens d'arriver au baccalauréat est tout à fait central. Dans certains lycées, cela peut être des projets plutôt littéraires, auquel cas on va réfléchir à la façon dont le lycée fait en sorte que les lycéens parcourent avec succès la filière littéraire, dans d'autres lycées, ce sera plutôt scientifique, ou des filières de sciences et technologies tertiaires, ce peut être ce projet-là aussi. Autrement dit, les indicateurs que nous donnons, et qui tournent autour du bac, sont des indicateurs par filières, puisqu'évidemment, c'est cela qui est central. À travers les indicateurs généraux, naturellement, votre projet à vous, communauté éducative, peut être différent. Nous avons construit trois indicateurs, et ce sont ces trois indicateurs qui sont publiés tous les ans, et qui sont disponibles sur Internet ou minitel sans difficultés.

Premier indicateur: le taux de réussite au bac. Autant ce n'est pas raisonnable d'utiliser le taux de réussite au bac tout seul, et c'est pour cela que j'étais en désaccord avec la publication du Monde de l'Éducation, autant, dès lors que cet indicateur n'est plus tout seul, il faut qu'il figure comme indicateur général des résultats du lycée. Il n'est plus tout seul, mais il est là. Taux de réussite au bac, en gros, c'est simple: le lycée présente x enfants au bac, et il y en a y% qui sont reçus.

Deuxième indicateur: le taux d'accès au bac. C'est un concept tout à fait différent, je prends cette fois-ci non pas les lycéens qui sont présentés au bac par le lycée, mais ceux qui sont entrés en seconde ou en première (c'est une innovation cette année) et je regarde la capacité du lycée à les mener jusqu'à l'obtention du baccalauréat, trois ans après, quatre ans après, cinq ans après. Démarche de taux d'accès et non de taux de réussite. Si le lycée se débrouille pour éliminer les mauvais élèves, le taux d'accès sera faible, et le taux de réussite sera élevé. Vous saisissez qu'à travers le couple taux de réussite/taux d'accès, on aborde, indirectement naturellement, les politiques d'établissement. Si j'ai un taux d'accès faible, c'est peut-être que j'élimine des tas d'élèves avant de les présenter au bac, et ceux que je garde sont les bons, et j'aurai un taux de réussite au bac élevé. Réciproquement, si j'ai un taux d'accès élevé, c'est que je me débrouille pour que presque tous les enfants qui sont entrés en seconde soient menés jusqu'au baccalauréat, mais comme ils sont presque tous là, il est possible qu'une année, le taux de réussite au bac soit faible, c'est-à-dire que peut-être beaucoup d'enfants doublent, ou même triplent.

Le troisième indicateur que nous utilisons est un peu de même nature que le second. Pour compléter le taux d'accès, vous êtes proviseur de lycée, et chaque année vous avez des tas de lycéens qui arrivent, le plus souvent en seconde ou en première, mais à l'inverse, vous avez des tas de lycéens qui vous quittent. Ils vous quittent pour une infinité de raisons, leurs parents déménagent, ou ils choisissent une option qui n'est pas dans votre établissement (peut-être même vous êtes-vous débrouillé pour les orienter dans cette voie-là pour ne plus les conserver dans votre lycée, parce que ce sont des mauvais lycéens), mais une des raisons pour lesquelles le lycéen quitte le lycée, c'est qu'il a le bac, évidemment. Ce n'est pas la seule raison, mais c'en est une. Le troisième indicateur est donc la proportion de lycéens qui quittent le lycée pour cette raison, c'est-à-dire parce qu'ils ont le bac.

Ce qui est intéressant dans ce que nous avons fait, c'est que ces trois indicateurs, sont donnés pour chaque lycée, pour chaque filière, etc. Ceci suppose un système d'information du feu de Dieu, parce que ce ne sont pas des statistiques, mais c'est sur chaque lycée, sur chaque filière, des gens qu'on compte un par un, et les proviseurs ont la possibilité de contester: c'est un système sans erreur, presque comptable. Il n'y a presque pas de pays au monde qui ait cela, c'est une des vertus d'un pays comme le nôtre qui a une tradition napoléonienne. On a une information de bonne qualité, que le ministère, à la DEP, centralisait. J'aime autant vous dire que les Espagnols, par exemple, bavaient d'envie devant cela, parce que les Espagnols de Madrid ne peuvent pas avoir des informations facilement lisibles sur ceux de Barcelone par exemple: les pays à structure fédérale sont des pays où le système d'information est très difficilement de bonne qualité. Qu'importe, même chez nous, ce n'est que vers 1994 qu'il est devenu de bonne qualité, et j'ai fait à François Bayrou la proposition de publier ces indicateurs au début de 1994 parce que je pensais qu'à ce moment-ci le système d'information allait à peu près tenir le coup.

Alors, des taux d'accès et de réussite, comme je vous l'ai dit, mais nous avons aussi calculé des "taux attendus". Ceci est un point central: si vous êtes un enfant de 16 ou 18 ans, si vous êtes fils d'ouvriers ou de cadres, vous n'avez pas la même chance d'être reçu au bac: c'est comme ça, dans notre système, comme dans tous les systèmes du monde. Par conséquent, le taux attendu essaye de rapprocher la réussite au bac du type d'élèves qu'a le lycée. Qu'est-ce que le lycée aurait comme taux de réussite au bac ou comme taux d'accès au bac s'il faisait exactement comme font les lycées qui ont les mêmes élèves que lui? Ça, c'est le taux attendu. Vous avez un lycée où il y a beaucoup d'enfants d'ouvriers, il est donc assez naturel, ("naturel", la discussion avec nos collègues britanniques a beaucoup porté sur ce point) que du coup, la réussite au bac de ce lycée soit plus faible que la réussite dans un lycée où il y aurait beaucoup d'enfants de cadres. Et comme c'est assez naturel, on s'attend à ce que le taux de réussite, ou le taux d'accès soit plus faible. Et par conséquent, ce qui est important n'est pas tant son taux observé d'accès ou de réussite, mais la comparaison entre le taux de réussite ou d'accès avec celui qu'on attend, compte tenu du type d'élèves qu'il a. Et cette comparaison va nous permettre d'approcher la valeur ajoutée, parce que si le lycée a un taux supérieur au taux attendu, c'est parce qu'il fait un peu mieux, par exemple dans la filière littéraire, ou STT, peut-être pas globalement, mais il fait un peu mieux que ce qu'on attend de lui compte tenu de ses élèves. En revanche, s'il a des taux observés un peu plus faibles que les taux attendus, globalement ou dans telle ou telle filière, alors il faut s'interroger car il fait plutôt moins bien que les autres lycées avec le même genre d'élèves.

La valeur ajoutée se déduit de la comparaison entre les taux attendus et les taux observés. D'ailleurs, si vous faites cela sur tous les lycées, et c'est possible encore une fois grâce au système d'information centralisé, alors la base de données (diffusée sur internet ou Minitel) permet de faire des analyses, et le résultat est alors d'un immense intérêt.

Quel est le résultat? Eh bien, en gros, sur les trois ou quatre mille lycées, les résultats des taux d'accès au bac sont très différents. Dans certains lycées, environ 50% des lycéens entrés en seconde arrivent au baccalauréat, et dans d'autres lycées ce peut être jusqu'à 90%. Cela fait une immense variété d'un lycée à l'autre. La moitié de cette variété d'un lycée à l'autre est due à la variété des élèves et l'autre moitié est due au fonctionnement même du lycée. Autrement dit, dans la diversité des lycées, on arrive à distinguer avec ces indicateurs, ce qui relève des élèves, du bassin de formation dans lequel se trouve le lycée (même si ce bassin n'est pas totalement étanche, et que les parents peuvent un peu choisir), c'est-à-dire de ce sur quoi le lycée n'a pas de prise, de ce qui relève du fonctionnement de l'établissement.

D'une année sur l'autre, et c'est un autre intérêt, les valeurs ajoutées d'un lycée sont assez stables mais ceci mériterait d'être discuté plus avant. La capacité d'un lycée, et peut-être encore plus un collège, à être un bon ou un mauvais établissement, peut varier du tout au tout en l'espace d'un an selon le chef d'établissement, selon l'équipe professorale, et même selon certains enseignants. L'idée d'un système éducatif ou d'un établissement comme un pétrolier qui avance sur son erre, et qu'on ne peut pas bouger, est profondément fausse. Le système éducatif est assez flexible, parce que sa réussite dépend essentiellement des personnes qui travaillent dedans. Ceci est vrai au niveau du système et c'est principalement vrai au niveau des établissements.

Je vais m'arrêter là pour laisser à la discussion le soin de se déployer sur les sujets que vous entendez, mais un des sujets principaux est évidemment l'usage de ces indicateurs, qu'ils soient ou non publiés. L'usage interne, l'usage externe, l'usage comme levier pour un Recteur par exemple pour arbitrer entre les moyens, l'usage pour un chef d'établissement ou pour une équipe de professeurs comme miroir. Se voyant comme dans un miroir, la communauté éducative peut mieux comprendre pourquoi il en est ainsi, peut s'auto-évaluer et rectifier le tir si elle le souhaite.

Ce qui est intéressant en deuxième ligne, outre la question des usages, c'est la question de la complexité. On ne peut pas évaluer des lycées de façon trop simple, j'ai essayé de vous le montrer à travers cette construction assez compliquée de la valeur ajoutée, j'ai essayé de vous le montrer à travers cette idée qu'il faut marier du général et du spécifique. En même temps, si vous l'évaluez de façon trop compliquée, d'une part, plus personne n'y comprend rien, d'autre part, le risque est encore plus élevé de renforcer ce qui est net dans notre système éducatif, c'est-à-dire qu'il y a des gens qui comprennent bien et d'autres qui comprennent moins bien; il y a des gens qui usent bien du système et d'autres qui usent mal du système. Si vous faites quelque chose de trop compliqué, vous risquez de renforcer cette inégalité d'accès à une information pertinente sur les différents établissements scolaires. La frontière à trouver entre "ne pas faire trop simple" et "ne pas faire trop compliqué", est une frontière mouvante, qui dépend d'ailleurs du niveau d'éducation des personnes auxquelles on s'adresse. Je ne suis pas sûr qu'on ait trouvé actuellement la frontière optimale, mais c'est un sujet très difficile et sur lequel j'avais longtemps réfléchi. Je ne suis pas certain que les Anglais, qui ont fait d'autres choix, s'y retrouvent mieux, même si les responsables des collectivités territoriales anglaises, eux, s'y retrouvent assez bien. Quel degré de complexité pour répondre à la demande sociale d'évaluation du système éducatif en général et des lycées en particulier? C'est une question difficile à résoudre.

J.-R. Brunetière: Merci bien. Donc, si je comprends bien, tout ce qui est simple est faux, tout ce qui ne l'est pas est inutilisable ou, peut-être, trop utilisable et un peu manipulable. Et comme premier manipulateur, sur la sellette, il y a le journaliste, représenté ici par Monsieur Reverchon. À vous la parole.

Antoine Reverchon: C'est précisément parce que le débat porte sur les usages sociaux et les usages observés des indicateurs de performance des lycées que je vais essayer de montrer qu'il y a eu des statistiques produites et exploitées sur le sujet parce qu'il y avait, antérieurement à la production de statistiques, des usages sociaux. Ce sont ces usages qui ont incité des journalistes comme nous à vouloir publier des statistiques qui, au départ, n'existaient pas. Je ne vais pas tenter de faire un catalogue des indicateurs, mais ce que je ferai simplement, c'est proposer quelques idées qui serviront au débat.

Il faut d'abord se replacer dans la situation qui était celle du Monde de l'Éducation, un journal spécialisé et l'un des seuls à l'époque dans ce domaine -je parle de 1981-, donc avant que les indicateurs de la DEP ne soient mis au point. Cette date correspond à la première année de publication des résultats du bac par le Monde de l'Éducation, mais je n'y étais pas encore à l'époque.

Des indicateurs ont été publiés à partir d'une enquête faite directement auprès des lycées. Or, la seule question à laquelle les lycées étaient capables de répondre était: quel est le taux de réussite au bac? Je réponds donc à Monsieur Thélot qui, à l'époque, s'opposait avec raison à cette publication, mais je ne sais pas si à cette date vous étiez déjà à la DEP...

C. Thélot: Non.

A. Reverchon: .. mais nous avions nous-mêmes montré les limites de cette publication, et nous le disions et nous l'expliquions, le journal l'expliquait à l'époque, en particulier Jean-Michel Croissandeau qui avait pris cette initiative.

L'idée était assez simple. 1981 correspondait à une date assez connue. Ce que nous observions, nous journalistes de l'éducation, c'est que la réalité de la réussite des lycées était extrêmement variable, qu'un certain nombre de personnes et de milieux sociaux étaient informés de cela, et que le mythe d'une réussite égale au bac, quels que soient les élèves, ne tenait pas. Encore fallait-il montrer que les résultats n'étaient pas les mêmes partout et pourquoi il en était ainsi: certains lycées avaient des stratégies de sélection, soit par l'orientation vers des filières qui n'existaient pas chez eux, comme le disait à l'instant Monsieur Thélot, soit une sélection par les notes, en dirigeant les mauvais élèves vers d'autres lycées.

Il y avait donc des pratiques sociales tout à fait établies, installées depuis parfois assez longtemps. Elles correspondaient grosso modo au fait que le lycée était alors en voie de démocratisation. Pour certaines catégories sociales en particulier intellectuelles, je pense aux enseignants, l'accès au lycée signifiait jusque-là la reproduction des positions sociales, par simple tri des élèves préalable au lycée. Au fur et à mesure que d'autres catégories accédaient au lycée, les premières devaient continuer la reproduction par d'autres moyens. Et ces autres moyens étaient effectivement le choix des filières et des établissements, sur des rumeurs, des critères, des réputations qui se faisaient et se défaisaient plus ou moins rapidement.

C'est dans ce contexte que Le Monde de l'Éducation de l'époque avait voulu éclairer le phénomène et consulter les lycées sur les résultats du bac. Dès l'origine, Le Monde de l'Éducation avait essayé de créer un indicateur autre que le seul résultat au bac et qui tenait compte de la structure des élèves: c'était le fameux taux d'accès des élèves de la seconde au bac. Par contre, on ne pouvait pas calculer les "valeurs ajoutées", car on n'avait pas alors les moyens de savoir quelles étaient les différentes catégories d'élèves. Du moins, en construisant un taux d'accès de la seconde au bac, espérait-on montrer les politiques de sélection qui pouvaient exister dans certains lycées.

La chose n'a pas pu être faite à grande échelle, car très peu de lycées nous ont donné l'information. Il y a eu une longue période durant laquelle on a continué comme cela et il s'est trouvé que ce travail statistique a eu un usage social nouveau. Cet usage n'était pas voulu. Il correspondait au fait que, dans les années 80, l'investissement dans les choix scolaires prenait une importance phénoménale dans les choix des familles, dans les stratégies sociales des familles. C'était aussi une époque où, au niveau politique, il fut décidé que l'investissement formation est une priorité pour la modernisation de l'économie, le rattrapage de la France par rapport aux autres pays etc. En fait, il y a convergence de cette volonté politique et de la volonté des familles. Pour ces dernières, l'idée que l'investissement éducatif est un moteur de l'ascenseur social s'est clarifiée, précisée et elle est devenue plus consciente.

À ce moment-là, la publication et la diffusion large des indicateurs de réussite au bac prennent une importance forte et deviennent un enjeu assez grave qui nous vaut des volées de bois vert de la part du milieu enseignant. Simultanément, est intervenue l'affaire de l'enseignement privé que l'on peut interpréter comme la défense de ses privilèges par une certaine catégorie sociale, mais également comme le fait que les familles, pour les choix qu'elles estiment stratégiques, veulent la liberté, dans la mesure où ces choix sont stratégiques, justement. C'est là qu'apparaît le phénomène de la consommation scolaire qui fait que ces résultats deviennent un enjeu et avec des usages dangereux et pervers.

Pendant toute cette période, Le Monde de l'Éducation n'a eu de cesse de vouloir affiner ses indicateurs, justement parce que des effets pervers étaient constatés. À une certaine époque, nous avons commencé à dire "attention, il n'y a pas que les indicateurs qui comptent" parce qu'on s'apercevait, par le retour des parents (par téléphone, lettres, courriers de lecteurs etc.) que, effectivement, l'opération prenait une ampleur assez colossale.

Nous avons voulu affiner, mais nous n'avions pas les moyens d'affiner. Lors, Monsieur Thélot survint. L'objectif était bien de tenir compte de la structure des élèves et de séparer ce qui est de la responsabilité de l'environnement d'une part et de la responsabilité de l'établissement de l'autre. Désormais, il était possible d'affiner les choses. Ensuite, toute la difficulté pour nous a été d'expliquer ce que Monsieur Thélot vient de vous expliquer très brillamment.

Quand on essaye de s'adresser non plus à un public averti mais à l'ensemble des lecteurs du Monde -vous direz que c'est déjà une certaine catégorie de personnes, mais le journal se trouve dans tous les kiosques et a priori tout le monde peut l'acheter - il n'est pas évident de faire comprendre cela, d'autant plus que, pendant très longtemps, nous n'avons pas disposé des indicateurs de la DEP. Entre le moment où ils ont été créés et le moment où nous avons eu la permission de les diffuser, il s'est écoulé encore quelques années. La première tentative que nous avons faite en 1997 sur les résultats de 1996 a donné des tableaux totalement illisibles, complexes; illisibles, sauf pour ceux qui prenaient la peine de lire des pages et des pages de tableaux, de mises en garde et de modes d'emploi. C'était très difficile.

Chaque fois qu'un usage social des données publiées s'avérait non-conforme à ce que nous espérions de cet usage, nous essayions de prendre une contre mesure. C'est ainsi qu'un cercle vicieux s'est mis en route. Au fur et à mesure que l'on constatait, simplement par les retours de lecteurs ou au travers de ce que l'on voyait chez les confrères, que certaines questions, certaines incompréhensions se manifestaient, nous nous disions qu'il fallait faire autrement, pour avancer dans la compréhension du chiffre, dans sa pédagogie, et dans la culture de l'évaluation, chère à Monsieur Thélot aussi.

L'étape suivante a été de passer sur support électronique, parce que le support papier devenait totalement ingérable et ne permettait pas cette pédagogie. Le support électronique s'y prête beaucoup mieux et c'est ce que nous faisons depuis deux ans, en publiant l'intégralité des indicateurs, avec des systèmes de navigation Minitel et bientôt, j'espère, Internet. Cela facilite les comparaisons entre les établissements et permet de montrer en quoi et pourquoi la structure d'un lycée fait que, dans une comparaison avec d'autres établissements, il n'aboutit pas à la même position selon les indicateurs choisis.

C'est un travail délicat, compliqué et qui n'est jamais terminé, ainsi que je vais l'illustrer d'un exemple.

Parallèlement à la publication des indicateurs de réussite au bac, on faisait chaque année un sondage auprès des proviseurs ou des responsables des classes préparatoires, là je parle des classes prépas et non des résultats du bac, sondage qui consistait à leur demander de dire quels étaient, selon eux, les meilleures prépas dans chaque catégorie. Nous publiions régulièrement le résultat de leurs réponses et cela permettait de classer les lycées en trois groupes: les bons, les moyens et les mauvais. On s'est aperçu que les parents, à partir du moment où étaient publiés des indicateurs de prépas nettement plus complexes, se reportaient plus volontiers vers ce classement, qui n'en était pas un puisque c'était un sondage, sans comprendre qu'il s'agissait seulement d'un sondage et non d'une évaluation objective basée sur les résultats aux concours, chiffres assez simples à collecter et à classer. À partir du moment où nous nous en sommes aperçus, nous avons supprimé la publication du sondage, provoquant ainsi des réactions fortes des parents qui disaient: pourquoi avez-vous supprimé cela, c'était bien commode? On est sans arrêt confronté à cette difficulté. Alors que faut-il faire?

Une conclusion possible, et on nous y pousse beaucoup, y compris à l'intérieur du journal, serait qu'il faut arrêter, tout simplement. "Vous voyez, ça ne crée que des ennuis, un doute idéologique sur les positions du Monde, sur la privatisation, sur les risques par rapport à l'égalité républicaine", tels sont les débats à l'intérieur de la rédaction sur ces sujets. Il se peut même que l'on arrête, je ne sais pas, je ne suis pas assez bien placé pour le savoir. Que se passe-t-il si on arrête? On retournera aux pratiques antérieures de sélection camouflée, dont Monsieur Thélot a parlé; si on ne publie pas de statistiques, les pratiques sociales demeurent, mais de façon cachée, et réservée à certaines catégories sociales. Une étude de l'INSEE réalisée par François Héran, tout à fait intéressante, est assez décisive sur le sujet. Elle a analysé quelles familles choisissaient et comment. Pour l'auteur, la minorité choisissante, les "familles choisissantes" sont celles qui choisissent le privé ou un lycée en dehors du secteur scolaire géographiquement proche et il explique les mécanismes de ces choix.

Notons en passant que les classements publiés dans la presse jouent un rôle très faible dans les choix des familles. Ce sont beaucoup plus la visite à l'établissement et la rumeur et la réputation qui jouent, ce qui fait dire deux choses:

1. les classements publiés par la presse n'ont pas tant de poids que cela,

2. il y a bien d'autres moyens que ces classements pour que ces choix se fassent malgré tout.

Si ces publications, qui essayent de conserver certains de nos objectifs, la transparence, l'acquisition d'informations par d'autres que ceux qui peuvent en disposer naturellement, venaient à s'arrêter, les choses redeviendraient comme avant.

J.-R. Brunetière: Si je comprends bien, votre problème serait en gros d'établir un guide Gault et Millau où ce que l'on mesure ce ne serait pas tant la qualité de l'assiette que celle des convives!

A. Reverchon: En fait, il s'agit bien des deux optiques, contenu de l'assiette et convives!

J.-R. Brunetière: Vous nous avez parlé d'opinion publique, de choix des parents… Monsieur Thélot, auparavant nous expliquait que ces données devaient servir à l'auto-évaluation et se proposait grâce à elles de mettre à disposition des établissements une boîte à outils. Après avoir évoqué le cuisinier, c'est maintenant le mécanicien qui nous parlera de la manière dont on utilise la boîte à outils dans le lycée qu'il dirige; la parole est à M. Saudejaud.

Thierry Saudejaud: Il m'appartient de vous apporter, en complément des interventions de Messieurs Claude Thélot et Antoine Reverchon, le témoignage d'un proviseur qui, comme tous ses collègues, est confronté chaque année, avec l'arrivée du printemps, au battage et aux dérives médiatiques qui accompagnent la publication des indicateurs de performance des lycées.

La question du choix du meilleur établissement scolaire pour ses propres enfants est une question qui préoccupe légitimement les parents d'élèves. Il n'est donc ni surprenant, ni anormal, que la publication de palmarès divers et variés rencontre un large écho dans l'opinion publique.

L'enjeu économique étant important pour les organes de presse, le traitement journalistique des indicateurs mis en place par la Direction des Études et de la Prospective du ministère de l'Éducation nationale a évolué. Les classements et palmarès se sont progressivement substitués à l'information plutôt objective des premières années, les "unes" des quotidiens et hebdomadaires se voulant plus accrocheuses les unes que les autres:

"Le palmarès des lycées"

"Choisir son lycée"

"Les vrais bons lycées".

Cette évolution, peut-être inévitable, ne serait ni gênante, ni critiquable, si ces indicateurs reflétaient effectivement l'efficacité pédagogique des établissements. Hélas, ils ne la traduisent trop souvent que partiellement ou imparfaitement. Aussi la qualification "d'indicateurs de performance" me paraît-elle excessive et les classements ou palmarès établis à partir de ces dits indicateurs dangereux.

Dangereux parce qu'ils peuvent conduire ici ou là à des stratégies de détours ou de fuites de nature à fragiliser, voire à déstabiliser certains établissements.

Dangereux aussi parce qu'ils peuvent générer des pratiques d'établissement ne s'inscrivant pas dans ce que nous pourrions appeler une logique de service public.

Avant de développer ces deux points, je tiens à préciser que mon propos n'est pas de critiquer l'existence de ces indicateurs dont l'intérêt est certain. Ils font partie d'une batterie de données qui permettent à chaque établissement de se situer tant par rapport aux autres établissements que par rapport aux attentes de l'institution scolaire et, ainsi, au travers de son projet d'établissement, d'infléchir son action, ses pratiques, son mode de fonctionnement en vue de la réussite du plus grand nombre.

Mon propos n'est pas non plus de regretter que ces données chiffrées, longtemps tenues pour confidentielles, soient tombées dans le domaine public. L'école relève de la sphère publique, son fonctionnement doit être transparent et les fonctionnaires que sont les personnels de direction et les enseignants doivent rendre compte de leur action. Les contribuables que sont les parents d'élèves ont le droit à l'information. Et puis, pourquoi le nier, cette diffusion joue un rôle d'aiguillon non négligeable susceptible d'inciter à la réflexion et aux remises en cause.

Mon propos vise simplement à montrer les limites de ces indicateurs et à inviter à une plus grande retenue quant à leur interprétation.

Intéressons-nous, si vous le voulez bien, aux deux indicateurs auxquels les médias prêtent une attention particulière:

- le taux de succès au baccalauréat,

- le taux d'accès de la seconde au baccalauréat.

Le taux de succès au baccalauréat a le mérite de la clarté. Pendant longtemps, il a été la seule référence, équipes d'établissement, parents, médias s'en satisfaisant.

Les acteurs de terrain savaient bien, cependant, que l'établissement le plus performant n'était pas forcément l'établissement affichant le taux de succès le plus élevé, un bon taux pouvant recouvrer deux réalités différentes se confondant parfois: la qualité du travail des équipes pédagogiques et une politique d'orientation ayant des allures de politique de sélection. Notons toutefois que la publication de taux attendus aux côtés de taux bruts a permis d'atténuer les effets de perception négatifs.

Le taux d'accès de la seconde au baccalauréat indique la probabilité pour qu'un élève de seconde obtienne le baccalauréat après avoir effectué toute sa scolarité dans l'établissement quel que soit le nombre d'années nécessaires. Examinons-le de plus près au travers de deux exemples.

Prenons le cas d'un lycée d'une petite ville de province, en situation de monopole et offrant une large palette de séries et d'options. Cet établissement, s'il fait son travail normalement, a toutes les chances de conserver ses élèves et d'en emmener la grande majorité au baccalauréat. En effet,

- en raison de sa situation de monopole, il n'est pas ou n'est que très peu soumis à ce que d'aucuns appellent le tourisme scolaire,

- sa large palette de filières peut permettre à chacun de trouver sa voie, les passerelles étant toujours plus faciles à emprunter au sein d'un même établissement.

On peut considérer que ce lycée est marqué du sceau de la fidélité, une fidélité qui pourrait d'ailleurs être qualifiée de contrainte, et qu'un bon taux traduit à coup sûr un bon indice de performance.

Prenons maintenant le cas d'un établissement d'une grande métropole de province qui se trouve de par sa situation géographique en situation de concurrence, qui offre une palette de filières plutôt restreinte et qui pratique une politique d'orientation qui vise, non à conserver ses propres élèves, mais à permettre à chacun d'emprunter la voie qui correspond le mieux à ses goûts, à ses aptitudes, à son projet.

Il perd donc chaque année des élèves, en particulier en fin de seconde. Son taux d'accès de la seconde au baccalauréat s'en ressent et, si son taux brut est inférieur au taux attendu, il peut être considéré comme peu performant, le jugement porté prenant généralement fond sur la différence entre le taux attendu et le taux brut.

Ces deux exemples ne sont pas anodins. Le premier correspond au lycée que je dirigeais précédemment. Le second correspond au lycée que je dirige aujourd'hui. Et je dois à l'honnêteté de dire que c'est la situation de ce deuxième établissement qui m'a amené à m'intéresser davantage à ces indicateurs, tant il est vrai que l'on se pose rarement de questions lorsque l'on se trouve en tête des palmarès…

Au printemps dernier, la publication dans la presse locale de ce taux d'accès de la seconde au baccalauréat a fait l'objet d'une véritable douche froide dans l'établissement :

Taux brut: 60% Taux attendu: 72%

Émotion chez les professeurs qui ont vécu cet affichage comme un véritable camouflet, interrogation du côté des parents d'élèves, en particulier des responsables des associations et de leurs représentants au conseil d'administration, gêne pour ne pas dire vexation du proviseur.

Ma première réaction a été de penser que le ministère s'était trompé dans ses calculs. La seconde a été d'appeler la Direction de l'Évaluation et de la Prospective pour me faire préciser le mode de calcul puis de refaire les comptes élève par élève. Contrairement à ce que j'espérais secrètement, le ministère ne s'était point trompé ce qui m'a à la fois déçu et impressionné.

D'où cette interrogation: voici un lycée plus que centenaire qui jouit d'une bonne réputation, dont les professeurs assurent leur service avec sérieux et engagement, qui conduit en classe de seconde des actions de soutien et d'aide à l'élaboration du projet personnel, et dont le taux d'accès de la seconde au baccalauréat n'est pas bon.

La réponse est dans la définition même de l'indicateur : seuls sont pris en compte par les services du ministère les élèves qui poursuivent leur scolarité dans l'établissement. Ont donc été considérés comme "perdus":

- les élèves étrangers que nous avions accueillis pour toute ou partie de l'année scolaire et que nous n'avions pas orientés,

- les élèves de seconde qui avaient émis le souhait d'intégrer une filière technologique n'existant pas dans l'établissement, soit dans le cadre d'un redoublement, soit au niveau de la classe de première,

- ceux qui avaient été affectés sur leur demande dans une classe de première "sciences et technologies tertiaires" dont la spécialité n'est pas proposée par l'établissement,

- les élèves des filières sportives de haut niveau qui, blessés ou atteints par la limite d'âge, s'étaient vus contraints de retourner dans leur établissement de secteur,

- les quelques doublants de terminale qui avaient souhaité redoubler dans un lycée voisin.

Pour avoir une idée plus précise de la situation, j'ai appliqué la formule du ministère aux décisions d'orientation acceptées par les familles. Et là, nous sommes passés d'un taux de 60% à un taux de 84 %.

Vous imaginez le soulagement général….

Cet exemple montre bien que ce taux d'accès de la seconde au baccalauréat, pour intéressant qu'il soit, ne peut être qualifié systématiquement d'indicateur de performance et doit être appréhendé avec retenue. Il n'a de sens, comme les autres, que rapporté à la réalité de l'établissement.

Cela étant, la relativisation à laquelle je me suis attaché, pour apaisante qu'elle ait été, ne m'a pas totalement satisfait.

L'objectif poursuivi, au travers de la communication de ces indicateurs, n'est pas de classer les établissements, encore moins d'attribuer des satisfecit aux uns et de jeter l'opprobre sur les autres. Il est d'amener les équipes d'établissement à porter un regard critique sur leur action dans le but de gagner en efficacité.

Relativiser peut avoir pour effet d'empêcher ou de gommer ce regard critique sans lequel il ne peut y avoir amélioration du vécu et des performances.

Ce n'est pas faire injure aux enseignants que de dire qu'ils sont peu enclins à porter un regard critique sur leur travail et à accepter les débats sur leurs pratiques et les résultats qu'ils obtiennent. Cela tient pour une part, me semble-t-il, à l'exercice tout à la fois solitaire et libéral de leur métier et au fait qu'ils sont en permanence ceux qui jugent et sanctionnent.

Il me paraît sain et salutaire de conduire au sein de chaque établissement une réflexion approfondie sur ce que l'on appelle les indicateurs de pilotage parmi lesquels les indicateurs dits de performance des lycées. Certes, il convient de procéder à l'analyse de ces différentes données avec prudence et objectivité afin qu'elle ne soit pas perçue comme un jugement de valeur porté sur le travail des équipes pédagogiques et que les échanges dépassent le champ de la responsabilité des seuls élèves dont le "niveau baisse d'année en année" et qui "veulent tous aller dans des filières qui ne sont pas faites pour eux". Je caricature à peine…

Il faut faire en sorte, et ce n'est pas chose aisée, que ce travail de réflexion induise des changements de pratiques individuelles et collectives, des modifications de structures, la mise en place de dispositifs visant à une plus grande efficacité.

Il faut enfin veiller à ce que cette transparence sur les chiffres génère un travail d'équipe associant tous les acteurs et partenaires de la communauté éducative.

C'est bien là l'intérêt de ces indicateurs.

Pour terminer mon propos, je voudrais revenir sur les dérives que peut induire la publication de palmarès aux titres accrocheurs.

La statistique ayant aux yeux de certains une valeur prédictive, les parents "informés" peuvent avoir tendance à délaisser leur établissement de secteur, s'il ne leur apparaît pas suffisamment bien classé, pour un établissement au palmarès plus élogieux. Ces mouvements limités à quelques éléments sont sans conséquence. En plus grand nombre, dans des établissements déjà fragilisés en raison de leur situation géographique et de la nature de leur recrutement, ils peuvent avoir un effet désastreux.

Et nous savons bien qu'il est des zones où ces stratégies de contournement peuvent être facilement mises en œuvre. Là où la demande a diminué, soit parce que la pression démographique est moins forte, soit parce que du fait de la création de nouveaux lycées les effectifs ont baissé, il est possible, par un choix judicieux d'options, et pour peu que l'on ait un bon dossier, d'éviter son établissement de secteur.

La deuxième dérive tient aux chefs d'établissement eux-mêmes qui sont attachés à l'image de leur lycée dans le grand public, lycée auquel ils s'identifient, en particulier lorsqu'il est reconnu et respecté. Quoi de plus naturel que tout cela?

Il ne faut pas cependant qu'ils oublient qu'ils sont agents du service public, qu'ils ont pour mission de scolariser l'ensemble des élèves et qu'ils sont tous, pour une part, responsables du bon fonctionnement du service public d'éducation. Chacun, bien sûr, veut scolariser les meilleurs élèves. Chacun, bien sûr, souhaite, à travers une carte d'options attractive, afficher une spécificité et donner une identité à son établissement. Mais chacun doit s'attacher à améliorer ses performances par une plus grande efficacité pédagogique et non par des pratiques qui auraient pour effet de se séparer des élèves les plus difficiles, les moins armés ou les plus démunis pour les envoyer dans d'autres établissements.

Ces dérives sont limitées mais elles existent. Il convient de les contenir, notamment par un pilotage départemental ou académique plus affirmé.

Pour conclure, j'insisterai sur un point que les débats sur les indicateurs pourraient faire oublier. Le bon lycée est certes celui dans lequel on réussit, mais il est aussi, et peut-être surtout, celui dans lequel on s'épanouit.

Je vous remercie de votre attention.

Lettre grise No 4, partie

1

2

3