Hors série, Février 1999

Les lycées sous le feu de l'évaluation

6ème nocturne de Pénombre, Jeudi 25 mars 1999
Document préparatoire

(les actes de ce débat ont été publiés dans la Lettre grise No 4)

Illustration du Monde de l'Education, Hors-série, Mars 1997.

UN PALMARES? VOUS AVEZ DIT UN PALMARES?

L'école note et classe les élèves à longueur de mois et d'année. De l'école au lycée, se distinguent de bons et de mauvais élèves. Classés, les élèves se font classeurs. Il y a de bons et de mauvais profs. Les classements individuels se prolongent vers des classements des écoles, collèges et lycées. La sélection commence à la maternelle: ce n'est plus vraiment une boutade.

Dans cet univers où la notation et le classement sont omniprésents, les statistiques administratives, comptage des opérations de scolarisation, de sélection, d'orientation, de réussite aux examens ou aux concours, deviennent elles-mêmes des outils de classement. Comment en est-on arrivé à ces palmarès?

LA NAISSANCE D'UN PALMARES

Des origines discutées

Mesurer un pourcentage de réussite au baccalauréat dans un groupe donné, dans une classe, dans un lycée est une opération élémentaire dans cette culture de la notation. Ce renseignement figure depuis sans doute assez longtemps parmi les indicateurs statistiques établis de façon interne par l' Education nationale. Le résultat national entre dans les réflexions à propos d'une réforme du baccalauréat ou dans les critiques portées à son égard. Le résultat observé pour chaque lycée devient au milieu des années 1980 un enjeu important. Il semble bien que ce soit l'équipe du Monde de l'éducation qui ait progressivement poussé le ministère de l'Education nationale à rendre ces chiffres publics.¹

L'initiative du Monde de l'éducation consistait bien à établir un palmarès. Le taux de réussite au baccalauréat, celui qu'on appelle maintenant le taux brut, avec sa simplicité de note unique (calculée sur 100), permet, aux ex-æquo près de classer deux lycées, un groupe de lycées dans une ville ou un département.

Pendant cette période durant laquelle la communication des résultats à la presse n'est pour le ministère qu'un pis-aller, les statisticiens de la DEP (la direction de l'évaluation et de la prospective, créée en 1987, a des compétences plus étendues que la seule production statistique) mènent des travaux sur l'évaluation du système scolaire. Comme on s'en doute, l'opération de classement selon un taux de réussite brut n'est pas pertinente pour fonder une évaluation des établissements. La réussite ou l'échec au bac sanctionne un cursus scolaire avec des sélections intermédiaires, ce qui impose techniquement de baser les observations sur des cohortes. L'inégalité des chances de réussite en fonction de critères sur lesquels les établissements n'ont pas d'action (origine sociale, retard scolaire…) doit être prise en compte pour comparer les établissements.

Alors que pour ces statisticiens et les responsables de la DEP, dont Claude Thélot directeur de 1990 à 1997, la mise au point d'indicateurs entre dans une démarche globale qui débouche en 1992 sur la publication de L'Etat de l'école et La Géographie de l'école et en 1994 sur la publication des "indicateurs de performance des lycées", les questions techniques entourant l'utilisation des taux de réussite au baccalauréat sont l'objet de controverses publiques. Le Monde de l'éducation semble y jouer un rôle important, mais d'autres organes de presse sont aussi en compétition pour l'usage médiatique de ces taux de réussite.

Durant une période où la politique de diffusion des trois indicateurs de réussite calculés par la DEP est encore laissée à l'appréciation des chefs d'établissements qui reçoivent annuellement leurs résultats, L'Express parvient, à la suite d'une fuite, à se procurer un listing informatique existant en très peu d'exemplaires. Le journal en extrait des données pour publier en décembre 1993 le "classement secret du ministère". Cet épisode pousse alors le ministre de l'époque (F. Bayrou) à accélérer un processus qui devait conduire à la diffusion officielle des résultats.

La première édition officielle sort donc en 1994 (résultats de 1993). Elle est renouvelée depuis, la 5ème édition datant de mars 1998 (résultats de 1997). La quatrième édition de 1997 a innové en rendant les résultats accessibles sur une base de données télématique (minitel puis internet). Dès la première édition, les indicateurs de performance sont accompagnés d'un mode d'emploi et de mises en garde contre une utilisation réductrice. Aujourd'hui encore, la plupart des commentateurs extérieurs à l'institution, dont bien sûr les journalistes, louent la démarche de ceux qui ont pris le parti de la transparence au moment où l'évaluation du système scolaire est devenue un enjeu politique important. Les commentaires sont beaucoup plus vagues en ce qui concerne les succès de la pédagogie de la DEP, puis de la DPD (direction de la programmation et du développement ²) quant à l'utilisation des outils d'analyse qu'elle diffuse.

En préalable au débat que Pénombre voudrait susciter sur cette question, il est utile de rassembler les éléments un peu techniques qui peuvent l'alimenter. Il s'agit d'une part du contenu des indicateurs de performance officiellement diffusés et, d'autre part, du contenu des dossiers que réalisent les journaux à partir de ces indicateurs.

Une construction statistique complexe

Les documents de présentation de la DEP-DPD, fruits d'une longue expérience en la matière, sont très bien faits. Pour le lecteur averti des questions plus statistiques, des notes et des références bibliographiques prolongent cette présentation par des développements concernant la méthodologie de la DPD et la réponse, en l'état des connaissances, aux questions qu'elle suscite.

Le dispositif de base dépasse donc la simple publication d'un indicateur brut de réussite au bac par établissement. Il comprend trois types d'indicateurs:

-le taux de réussite au bac (% de candidats admis au bac),

-le taux d'accès au bac depuis la seconde qui mesure la probabilité d'obtenir le bac dans un lycée donné en y entrant en seconde,

-la proportion de bacheliers sortants de terminale qui tient compte de la politique d'admission de redoublants, complétée par une proportion calculée sur le total des sortants (2^nde, 1^ère, terminale).

Cette batterie est la réponse à un problème de démographie et de mesure d'un phénomène de sélection. Le pourcentage de reçus au bac ne suffit pas car, dans un lycée, on peut faire en sorte de ne garder en terminale que ceux qui ont toutes chances de réussir ou bien au contraire essayer de conduire le plus possible d'élèves de 2^nde en terminale. A taux de réussite brut égal, un établissement ayant la première politique ne peut être considéré comme aussi "performant" qu'un établissement faisant le second choix. Pour une évaluation rigoureuse, tenant compte de ces sélections successives, il faudrait suivre des cohortes et relever, au bout de cinq ans environ, les résultats réels des lycéens. Lorsqu'on est confronté à cette difficulté, on procède en général à une reconstitution de cohortes "fictives" utilisant les proportions observées à chaque étape de processus de sélection pour une année donnée. Comme lorsqu'on évalue un taux de fécondité "conjoncturel", cette méthode peut donner des résultats s'éloignant de celui qu'on observerait pour une cohorte réelle si le "calendrier" de la sélection varie de façon notable dans un établissement. Mais à supposer que ce calendrier ne varie pas de trop, c'est-à-dire que les pratiques de sélection ne changent pas rapidement dans un établissement donné, les taux d'accès au bac et la proportion de bacheliers parmi les sortants permettent bien de moduler les comparaisons basées sur le seul taux de réussite au bac.

Une conséquence de la complexification des indicateurs est que le classement devient en principe impossible. On peut éventuellement donner plusieurs classements: le dispositif mis au point par la DEP s'éloigne encore de cette possibilité en introduisant des variables de contrôle qui prennent en compte les différences de recrutement entre les lycées.

On a depuis longtemps observé qu'en fonction de certains critères, les élèves n'avaient pas tous les mêmes chances de réussite au bac. Deux indicateurs sont particulièrement discriminants: l'origine socioprofessionnelle des élèves et leur âge qui se traduit en termes de retard scolaire.

La classification des élèves en quatre groupes selon la catégorie socioprofessionnelle des parents tient compte des résultats observés et non d'une hiérarchie a priori. Sont classés à un bout comme "très favorisés" les enfants de cadres supérieurs et d'enseignants, et à l'autre, comme "défavorisés", les enfants d'ouvriers et de chômeurs. On peut évidemment faire de nombreuses objections à ce classement: la réponse des techniciens peut se résumer en disant qu'à leurs yeux, la solution retenue n'est pas parfaite mais que c'est la moins mauvaise. Mieux vaut opérer ce contrôle reflétant l'effet d'un recrutement socialement sélectif plutôt que l'ignorer complètement.

La nature pragmatique du second critère est encore plus nette. L'âge traduit en retard scolaire n'est pas une caractéristique intrinsèque. C'est un indicateur très commode, résumant de façon statistiquement significative le passé scolaire d'un élève. C'est d'ailleurs un indicateur plus clivant, du point de vue des taux de réussite au bac, que l'origine sociale.

A partir de ces deux informations, dont le croisement est disponible pour chaque lycée, il est possible de calculer un "taux attendu" de réussite au bac pour un lycée donné. C'est, par définition, le taux qu'on observerait si le lycée se comportait comme la moyenne nationale compte tenu de la répartition des élèves dans ce lycée selon la catégorie socioprofessionnelle des parents et leur retard scolaire. Ces taux attendus peuvent être calculés au niveau national (on applique les résultats moyens pour l'ensemble des lycées) ou au niveau d'une académie. Le résultat observé d'un lycée est alors apprécié selon l'écart entre les taux de réussite observé et attendu. Cet écart est appelé "valeur ajoutée". Le choix de ce terme est le fruit d'une interprétation des résultats statistiques observés. On considère que si un lycée obtient, compte tenu de son recrutement en seconde, un résultat conforme au résultat attendu, il n'ajoute rien à ce que statistiquement on peut prévoir à partir des seules caractéristiques des élèves. Un lycée qui obtient un résultat plus élevé que le taux attendu "apporte" plus de chances de réussite à ses élèves. Cette procédure de calcul de taux attendus est appliquée pour les taux de réussite et les taux d'accès au bac depuis la seconde. En revanche, pour des raisons techniques, les proportions de bacheliers parmi les sortants ne peuvent être comparées qu'à des moyennes nationale ou académique. On arrive donc à un ensemble de douze indicateurs qui définissent un profil de lycée.

La complexification ne s'arrête pas là puisque les résultats d'un lycée sont variables selon les sections. Les taux de réussite au bac (mais pas les taux d'accès depuis la 2^nde ni les proportions de bacheliers parmi les sortants) sont alors ventilés par section et comparés aux taux attendus. Le tableau de bord de chaque lycée devient ainsi assez sophistiqué. Il est difficile, sans trahir la démarche qui préside à sa construction, d'en déduire un classement des lycées.

Il est à noter que le calcul de la "valeur ajoutée" est conçu pour donner le moyen d'une comparaison. Il n'est pas légitime pour les statisticiens de la DEP-DPD de s'en servir pour établir un classement: l'opération de calcul de la valeur ajoutée ne s'apparente pas à une opération de standardisation des notes (comme ce que l'on fait dans un jury avant classement pour rétablir l'égalité entre des notes attribuées par différents correcteurs ayant des échelles de notation différentes) mais à une opération de décomposition d'un effet global (écart entre le taux brut de réussite observé et le taux moyen national) entre un effet de "recrutement" et un effet "d'établissement".

Des améliorations encore possibles

Une tentative de classement est d'autant plus trompeuse que les indicateurs qui rendent compte des sorties d'élèves d'un établissement avant la terminale sont sous l'influence de caractéristiques liées à "l'offre scolaire". Les établissements les plus limités du point de vue des sections représentées sont a priori ceux dont la proportion la plus forte d'élèves vont le quitter à la fin de la seconde. Pour éviter cet artéfact, le taux attendu "base France" est établi après classification des lycées en cinq groupes: lycée d'enseignement général, polyvalent à dominante tertiaire, polyvalent à dominante industrielle, technologique à dominante tertiaire, technologique à dominante industrielle. En raison de la faiblesse des effectifs, ce procédé ne peut être appliqué pour le taux académique.

Cette précaution méthodologique soulève une question qui reste ouverte. Les taux attendus sont établis sur la base de moyennes nationale ou académique. Or sur un territoire donné, on peut imaginer qu'il existe une certaine polarisation. On trouvera d'un côté un ou quelques établissements "réputés", ayant la possibilité de pratiquer une sélection à l'entrée s'appuyant sur des éléments plus pertinents que l'origine sociale et le retard scolaire, ou sur des éléments qui les complètent pour évaluer le niveau scolaire des élèves et leur chance de réussite au bac et au-delà. De l'autre, des lycées accueillant les refusés des lycées sélectifs. Dans cette situation, on peut penser qu'à retard scolaire et recrutement social égaux, les lycées sélectifs auront un potentiel de réussite supérieur. Ce cas de figure est implicitement envisagé par l'ajout des taux d'accès au bac depuis la seconde pour compenser l'appréciation basée sur les seuls taux de réussite au bac: les lycées les plus sélectifs pour l'entrée en seconde sont aussi sans doute ceux qui introduisent le plus de sélection entre la seconde et le bac. Mais il n'est pas exclu d'envisager une situation où la sélection à l'entrée en seconde est suffisante pour obtenir les résultats recherchés, au moins en terme de réussite au bac.

Une grande part de ces détours et difficultés méthodologiques pour évaluer la part qui revient à l'établissement dans la réussite des élèves qui y accomplissent leur scolarité serait évitée si l'on basait les indicateurs sur les résultats d'une évaluation individuelle des élèves à l'entrée en seconde. Cette voie est pour le moment impraticable car le résultat des évaluations individuelles réalisées à l'entrée en seconde n'entre pas dans le dispositif statistique national. Cette observation met en relief la limite intrinsèque des indicateurs de performance dans leur version actuelle. La DEP avait souhaité mettre en place un dispositif offrant des garanties minimales de fiabilité par rapport aux taux de réussite "bruts" avant de diffuser les résultats. Mais il reste limité par les informations statistiques recueillies.

Les lacunes statistiques sont particulièrement criantes pour les établissements privés. Faute d'informations suffisantes, il n'est pas possible pour une bonne partie d'entre eux de calculer des taux d'accès depuis la seconde. Les comparaisons qui sont faites entre établissements privés et établissements publics ne reposent donc que sur les taux de réussite.

CECI N'EST PAS UN PALMARES

Transparence et profits: une certaine opacité

Depuis quelques années, certains journaux augmentent leur tirage de façon significative à la fin du mois de mars avec la publication de ces indicateurs de performance issus du ministère de l'Education nationale. Les recettes ne se limitent pas à la vente des journaux, les kiosques minitels d'accès payant permettant d'utiliser ces résultats avec des guides de conceptions diverses. L'opération n'est pas sans incidence financière pour le ministère lui-même puisqu'une partie importante de la base (en fait celle qui dépasse les taux de réussite bruts) est vendue aux journaux en question. En bout de course, l'aspect économique de toute cette opération serait à étudier: selon certains témoignages de source interne à Pénombre, le prix de l'immobilier dans un quartier donné serait influencé par les performances des lycées qui sur la carte scolaire sont supposés accueillir les élèves y habitant.

Mais si on laisse de côté la dimension économique qui pousse certains quotidiens ou hebdomadaires à participer à la diffusion d'indicateurs de performance sous forme de guide, de palmarès ou de banc d'essai, on observe que chacun remanie à sa manière la présentation suggérée par le ministère.

Le palmarès des palmarès

Quatre journaux ont été présents sur ce créneau en 1998: Le Monde, L'Express, Le Nouvel Observateur, Le Figaro. La différence entre eux est sensible dès la lecture des titres de couverture, du dossier de présentation ou du supplément listant les résultats mais ils ont tous en commun de proposer au lecteur, clairement institué comme utilisateur, le moyen de déterminer pour un secteur géographique donné, et éventuellement pour une filière donnée, le bon lycée.

Le Monde donne peut-être la présentation qui se tient le plus à distance d'un classement ³ en invitant l'utilisateur de son guide "choisir son lycée" à bien formuler sa demande et à tirer profit de l'ensemble de l'information qu'il n'obtiendra que sur minitel (résultats annoncés pour 3'799 lycées). C'est alors curieusement par l'effet de limitation de la partie imprimée du dossier que l'on voit revenir le palmarès: pour chaque indicateur (taux de réussite, taux d'accès, proportion de bachelier parmi les sortants) ne sont publiés que les trois meilleurs lycées de chaque académie. Finalement parmi les neuf listes données dans le supplément du Monde du 27 mars 1998, les trois premières donnent les taux bruts de réussite au bac pour les trois meilleurs lycées de chaque académie (toutes séries, série S et L). Pour le taux de réussite toutes séries confondues, Le Monde donne ainsi une liste d'environ 80 lycées dont près des trois quarts sont des établissements privés. Même si cette liste ne reçoit pas le nom de classement et n'est que la première d'une suite de 9 listes, on est loin de la philosophie de la DEP.

La version écrite du guide réalisé en 1997 par Le Monde de l'Education était visuellement plus proche de la présentation de la DEP, avec des résultats par section. L'aspect de classement n'était visible que par la couleur attribuée aux lycées selon leur appartenance à l'une des cinq classes de valeur ajoutée (deux pour les valeurs positives, deux pour les valeurs négatives, une pour lycées moyens). Mais dans une ville donnée, les lycées étaient, avec cet attribut de couleur, classés par ordre alphabétique. Le guide fournissait aussi pour chaque lycée d'autres renseignements que les indicateurs de performance: adresse et numéro de téléphone, langues vivantes enseignées, présence de classes préparatoires (par sections) et de préparations au BTS.

Pour le reste, le guide imprimé du Monde expose la méthodologie de la DEP en s'en tenant à la version "officielle", et fournit en contrepoint quelques pistes de réflexion sur l'intérêt des indicateurs de performance comme outil d'évaluation, essentiellement au travers de témoignages. C'est l'éditorial d'A. Reverchon qui donne finalement la position adoptée par le journal. Une position mitigée qui rappelle, en citant les enquêtes de l'INSEE ou de la DEP, l'importance du choix des établissements et déplore que beaucoup de familles soient handicapées par suite d'un déficit d'information. Les autres journaux étant accusés de réduire l'information disponible en choisissant l'un ou l'autre de ces ratios comme unique critère de classement des lycées, aboutissant à une vision réductrice, source d'erreur de jugement pour les familles, Le Monde participerait au contraire à la démocratisation de l'enseignement en choisissant la diffusion électronique qui rend les données accessibles au plus grand nombre, tout au long de l'année et à un moindre coût. Mais l'éditorialiste finit en se posant des questions sur la portée des indicateurs. Ils sont limités, et il est recommandé de se rendre sur place, de visiter l'établissement, de se renseigner auprès des professeurs, des parents d'élèves pour "sentir" un lycée et comprendre, en définitive, ce qu'il pourra apporter à un élève.

L'Express (numéro daté du 26 mars 1998) annonce en couverture (Lycées, le palmarès ville par ville) la présence d'un dossier, intitulé la vérité sur les bons et les mauvais lycées, et d'un supplément donnant le palmarès des lycées. Le titre principal de la couverture est consacré à l'euro (euro, mode d'emploi): il y a donc d'un côté le palmarès, de l'autre le mode d'emploi. Le supplément de 32 pages en forme de petit cahier détachable annonce les résultats pour 2'336 lycées généraux, technologiques et polyvalents, publics et privés sous contrat, de l'Hexagone et des DOM. Il annonce aussi la disponibilité des résultats complets sur internet (site de L'Express) pour les mêmes lycées auxquels s'ajoutent 1'803 lycées professionnels. Le nombre total de lycées concernés est donc de 4'139. Sont annoncés sur ce site les résultats exhaustifs, section par section, avec les indicateurs de réussite fournis par le ministère de l'Education nationale: une carte de visite complète pour chaque établissement. Le "dossier" lui-même tient sur six pages dont deux presque entièrement occupées par une photo floutée d'un groupe de lycéennes (ou de collégiennes). Cette image est soutenue par l'introduction de l'article qui met en scène des mères préoccupées par le choix du lycée de leur fille. Les développements ne s'éloignent guère des principes de base des indicateurs de performance: l'inégalité des chances est renforcée par l'inégalité de l'accès à l'information, la seule solution démocratique est donc d'informer tout le monde, le plus précisément possible. Les indicateurs sont présentés très sommairement (taux d'accès, valeur ajoutée) et les parents sont invités, comme dans Le Monde, à interroger les associations de parents d'élèves, rencontrer le proviseur, visiter les lieux. Puis l'article passe aux témoignages de façon tout aussi traditionnelle, en annonçant en intertitre que la discipline est la force principale des lycées qui réussissent, qu'il n'a pas de bon lycée sans bons profs, avec en sus le proviseur, personnage clef, pour terminer en évoquant les différentes stratégies de sélection ou d'orientation des établissements (à chacun son élitisme). Peu original, cet article ne fournit pratiquement aucune réflexion sur l'usage effectif des indicateurs. D'ailleurs les témoignages cités font presque uniquement référence au taux de réussite brut!

Le dossier de L'Express présente sous le titre Lycées: du meilleur au pire, un tableau classant les 15 meilleurs et les 15 plus mauvais lycées. Ce tableau donne le résultat au bac et la valeur ajoutée, le classement étant effectué selon cette dernière. On appréciera cette présentation: le meilleur lycée de France serait un lycée technologique du Nord, mais c'est un lycée privé, et sa forte valeur ajoutée va avec un taux de réussite brut de 97%. Le taux d'accès est absent du tableau. Le plus mauvais lycée de France est un lycée technologique à dominante tertiaire, lycée public de Seine-Saint-Denis, avec un taux de réussite brut de 16%. Le tableau n'indique pas que les résultats de ce lycée portent sur des effectifs très faibles (25 inscrits en seconde, chiffre non fourni par le journal, le taux d'accès étant de 19%, indication fournie par le supplément) et sans doute peu significatifs.

Le supplément donne les résultats en classant les lycées par ville et, pour chaque ville, selon la "valeur ajoutée", écart exprimé en valeur absolue. Pour chacun est donné en outre le taux de réussite brut au bac et le taux d'accès depuis la seconde (brut). Chaque établissement est marqué d'un signe indiquant s'il s'agit d'un lycée d'enseignement général, polyvalent ou technologique (sans distinction de dominante) avec une couleur indiquant son statut (public ou privé). Un court mode d'emploi ("comment lire les tableaux", mais en fait il n'y a qu'un tableau) insiste sur le complément d'information apporté par la valeur ajoutée et le taux d'accès par rapport au taux brut. Le taux d'accès est dit "mesurer, a contrario, la plus ou moins grande stratégie d'élimination des lycées", la valeur ajoutée "permet d'évaluer l'action propre du lycée". Les lecteurs sont invités à consulter le site internet pour connaître les résultats par section.

La science et la publicité en ménage

Le Nouvel Observateur (numéro daté du 26 mars), consacre sa couverture au sujet en titrant les vrais bons lycées (gros caractères), le banc d'essai 1998 des 2'334 lycées de France (sous-titre), supplément détachable de 32 pages le tout accompagné, comme le dossier, d'illustrations d'un dessinateur de BD connu. Le supplément détachable de 32 pages, d'un format légèrement inférieur à celui du journal, titre sa couverture le banc d'essai 98 des lycées, département par département les vraies performances des 2'334 lycées de France, tous les établissements publics et privés notés sur leur taux de réussite et leur aptitude à conduire le plus grand nombre d'élèves au baccalauréat. Ce supplément contient lui-même un encart publicitaire détachable: c'est le catalogue des offres d'un grand magasin parisien invitant à profiter d'une période de promotion du 27 mars au 11 avril.

Cet aspect visiblement commercial est balancé par la mise en avant du rôle de chercheurs dans la présentation des résultats. Le sommaire ajoute au titre du dossier cette indication: pour la troisième année consécutive " le Nouvel Observateur " a passé au crible les 2'334 lycées de France publics et privés. Grâce aux données très précises de l'Education nationale, voici, rassemblées et interprétées par les chercheurs Olivier Cousin et Georges Felouzis, les résultats de notre enquête. Un guide indispensable. Ce dossier est d'abord présenté sur deux pages par la rédaction (tous les lycées notés et évalués en fonction de leurs performances et de leur pédagogie, 1998: les lycées au banc d'essai). Il livre ensuite l'analyse des deux chercheurs qui signent l'article de cinq pages accompagné de graphiques (les lycées les plus défavorisés font mieux que prévu, lycée privé pour le meilleur et pour le pire) et de trois tableaux donnant les 10 meilleurs lycées généraux, les 10 meilleurs lycées technologiques et les 10 meilleurs lycées polyvalents, également signalés comme étant de leur responsabilité (source: Cousin/ Felanzis, sic). Couronnement de la caution académique: le dossier se termine par une tribune de Christian Baudelot et Roger Establet, le premier présenté comme professeur de sociologie à l'Université de Provence, le second comme professeur de sociologie à l'Ecole normale supérieure (sic, dans les couples qui marchent bien, on partage tout, même les titres). Le lecteur pressé retiendra le titre (Pourquoi il faut tout dire) et la présentation de ce texte: l'échec scolaire n'est pas une fatalité, parents angoissés par l'avenir de leurs enfants ou chefs d'établissement peu habitués à être notés réagissent souvent mal à la publication d'un palmarès des lycées. Malgré ses limites, pourtant, cette évaluation est indispensable car on ne peut améliorer que ce que l'on connaît.

La tribune de Roger Christian Baudelot Establet (mais leurs photos souriantes permettent de les distinguer, un seul des deux étant barbu) assume cette position délicate combinant une exigence de transparence allant jusqu'à justifier que le noteur soit à son tour noté, et ceci par une note unique (affecter une note est une forme de violence symbolique qu'il est toujours moins désagréable d'exercer que de subir) avec un appel à la prise de conscience des risques que comporte une telle opération: les mises en garde accompagnant les indicateurs sont de peu d'effet et les parents consuméristes ne s'embarrasseront pas, en lisant les classements, de ces précautions méthodologiques. Du coup, une sorte de cercle vicieux est dénoncée. Les défauts méthodologiques (établissements dont la performance est sur-estimée ou sous-estimée par suite d'une polarisation entre des établissements de plus en plus sélectifs et des établissements "refuges") sont renforcés par le comportement des acteurs (parents et hiérarchie administrative des académies). La transparence contribue alors à l'effet inverse de ce qui est recherché car de cette concurrence accrue entre lycées les principales victimes sont une fois de plus les établissements affrontés aux plus grandes difficultés.

Tout dire et tout comprendre

Tandis que Baudelot et Establet concluent en affirmant que la seule façon d'atténuer les effets négatifs [de l'évaluation] consiste à ne dramatiser ni la présentation ni la lecture des résultats, et relativisent la précision des indicateurs (les grandeurs statistiques ne sont que des estimations), le dossier et le banc d'essai du Nouvel Observateur fournissent probablement l'exemple le plus extrême d'une re-formulation des indicateurs fournis par la DEP. Ces indicateurs ne sont pas donnés. Ils sont traduits en deux notes et une répartition des lycées selon leur potentiel. La note 1 est présentée en référence au taux d'accès au bac depuis la seconde et comme une mesure de l'écart entre ce que l'on attend d'un lycée, au regard de son recrutement, et ce que l'on observe. Cette note prend des valeurs A à D selon l'écart à la moyenne (sans indication sur les bornes retenues ni la moyenne choisie, académique ou nationale). La note 2 est donnée selon le même principe à partir des taux de réussite au bac. Il faut souligner que la présentation ne dit rien de la méthodologie et des principes de calcul de la DEP. La présentation des deux notes conclut d'une façon bien étrange que l'une mesure la réussite des élèves (note 2), l'autre mesure la performance de l'établissement (note 1). Ce n'est donc pas seulement une divergence de présentation et le glissement prend des allures de dérapage lorsqu'on découvre que les lycées ne sont pas classés d'abord selon l'un des deux indicateurs mais selon le "potentiel" du lycée. Indiqué avec une couleur sur la base de trois classes (potentiel fort, moyen ou élevé), ce "critère" est dit dépendre de l'âge et de l'origine sociale des élèves. L'explication montre qu'il s'agit de la répartition des lycées en trois classes selon leur taux de réussite attendu au baccalauréat.

Si l'on compare cette méthode de classement des lycées avec celle des autres journaux, on voit donc que malgré le contenu général du "dossier" qui insiste sur les résultats à contre-courant que donnent les indicateurs DEP-DPD (la plus forte proportion des établissements d'excellence se trouve parmi les lycées au potentiel faible écrivent sans hésiter les deux chercheurs auteurs de l'article), ce que Le Nouvel Observateur privilégie est justement l'effet que la méthodologie DEP de l'évaluation cherche à éliminer. Pour chaque département, le banc d'essai classe les lycées selon un principe lexicographique avec en premier le taux attendu de réussite au bac, en second l'écart entre le taux attendu et le taux réel d'accès depuis la seconde et en troisième l'écart entre le taux de réussite attendu et le taux réel de réussite (valeur ajoutée). En complément sont indiqués pour chaque lycée l'évolution des résultats entre 96 et 97 (le commentaire parle d'évolution des performances sans précision), l'effectif d'élèves en seconde, son type (public ou privé) et son profil (classement de la DPD en 5 types, général, technologique, polyvalent…). On relève que pour les lycées privés seule figure la note 2: dans chaque département, ces lycées viennent en fin de liste après les lycées publics ayant un faible potentiel et sont donc classés selon leur "valeur ajoutée" au sens de la DPD.

L'usage suggéré de ce classement consiste donc à rechercher parmi les lycées ayant un potentiel fort, ceux qui obtiennent de bonnes "notes", donc une valeur ajoutée significativement positive sur le taux d'accès depuis la seconde et sur le taux de réussite. C'est sans doute ce que le journal appelle un vrai bon lycée. La seule concession faite à la démarche d'évaluation initiale du ministère de l'Education nationale consiste à rappeler que parmi les lycées au potentiel faible, il y a quelques établissements qui font mieux que la mauvaise moyenne de leur catégorie. Le classement du Nouvel Observateur présente ouvertement un résultat de l'opération: il y a des bons et des moins bons lycées parmi les lycées à fort potentiel, il y a des mauvais et de moins mauvais lycées parmi les lycées à potentiel faible. Comme il doit y avoir de plus ou moins bonnes voitures parmi les voitures à plus de 150'000 F (22'867,35 euros) et de plus ou moins mauvaises voitures parmi les voitures à moins de 60'000 F (9'146,84 euros). La présentation de ce croisement entre potentiel et performance au niveau général (les lycées les plus défavorisés font mieux que prévu) est donc contredite. A bien lire l'article et les résultats figurant sur le graphique correspondant on s'aperçoit que ce n'est pas le cas, et, en remettant les choses d'aplomb, on comprend qu'il y là un contresens: s'il s'agit d'une appréciation en moyenne, par construction les lycées ayant un potentiel donné ne peuvent faire, en moyenne, plus que ce qu'on peut attendre d'eux! Sur ce point, la note de présentation de la DEP est explicite mais force est de constater que les conseils de Christian Baudelot et Roger Establet n'ont pas été suivis d'effet au Nouvel Observateur. Pour en finir avec ce mauvais élève, il faut mentionner que les seuls résultats utilisés sont les indicateurs généraux et que nulle part le lecteur est invité à enrichir son jugement à partir d'indicateurs plus fins (résultats par séries). Ici pas de serveur internet ou minitel.

Beaucoup d'élus et peu d'appelés: transparence et sainteté

Le Figaro adopte une présentation atypique. Les résultats sont tronçonnés sur plusieurs éditions en débutant le jeudi 26 mars avec les lycées d'enseignement général et technique des académies de Paris, Créteil et Versailles. Le lendemain sont donnés les résultats en Île-de-France pour les lycées d'enseignement professionnel classés par filière (production, service), suivis des lycées de province répartis par académie (ordre alphabétique) en lycées d'enseignement général et technique, lycées professionnels filière production ou filière service. La liste s'arrête à la lettre M, avec la mention la suite du palmarès dans nos éditions de demain. Et de même jusqu'au mardi suivant.

Ces résultats sont publiés sous le titre Ce sont les meilleurs lycées et présentés comme un palmarès établi à partir des données du ministère de l'Education. En première page, le 26 mars, une très courte présentation indique que Le Figaro a sélectionné dans chaque académie les lycées ayant eu un taux de réussite brut égal ou supérieur à 80%. Les jours suivants, la suite de la liste est publiée avec le sous-titre 4'139 établissements publics et privés sous contrat ont été élus en fonction de leurs performances et selon des indices de l'Education nationale. Selon cette formulation, il y aurait beaucoup plus d'élus pour Le Figaro que pour les autres journaux. Le Figaro, champion de la démocratie ? De fait, ce journal, contrairement à L'Express et au Nouvel Observateur inclut dans ses éditions imprimées des résultats concernant les lycées professionnels. Mais comme pour L'Express, la base télématique concerne 2'336 lycées d'enseignement général et technologique et les 1'803 lycées professionnels. Pour Le Monde, ce total était de 3'799 seulement: la note du ministère annonçant bien 4'139 lycées, on suppose que la différence vient des établissements pour lesquels l'information est incomplète ou l'effectif trop faible. La publication de la DPD n'est systématique que pour les lycées publics ou privés sous contrat présentant au bac au moins 20 élèves (10 pour les lycées professionnels).

L'organisation géographique de la présentation du Figaro est confortée par la visualisation cartographique du hit-parade. Pour l'Île-de-France la carte sélectionne les 46 meilleurs lycées (dont 18 à Paris), pour la province, 62 lycées sont dits les meilleurs. Présentés en trois classes, ces lycées sont sélectionnés selon le taux de réussite brut au bac, toutes séries confondues. Si tous sont élus, peu parviennent à recevoir les honneurs du Figaro qui ne s'embarrasse guère de considérations méthodologiques. Sans explications les lycées professionnels ont disparu des 108 "meilleurs" qui ont des taux de réussite supérieurs à 95%. Comme pour le premier des classements donnés par Le Monde, ce sont en majorité des lycées privés et l'effet est renforcé puisque les académies sont inégalement représentées. La carte de province montre deux condensations d'établissements privés ayant des taux de réussite supérieurs à 95% dans le Nord et la région lyonnaise. Les cartes d'Île-de-France retiennent 10 lycées publics et 36 lycées privés. Rappelons que pour ces derniers, des informations cruciales manquent (taux d'accès depuis la seconde).

Dans les listes par académies les lycées sont classés selon le taux brut. Seule concession à la méthodologie du ministère, ce taux est complété par le taux attendu au niveau de l'académie. Il n'est pas dit combien de lycées sont sélectionnés avec le seuil de 80% pour le taux brut de réussite. Le lecteur sera peut-être satisfait en revanche par la quantité astronomique de Saints et Saintes mentionnés dans ce palmarès. Ce journal est donc le seul à refuser ouvertement l'étiquette de bon lycée à un établissement qui ne franchit pas cette barre, quelle que soit sa valeur ajoutée au sens de la DEP. Les témoignages sont réduits au minimum: une interview du "directeur des études" d'un lycée parisien vanté pour sa convivialité et la personnalisation de l'enseignement qu'il apporte. Le titre: les recettes du lycée Fénelon. Une photo: pas de doute, elle montre la charmante cour refaite à neuf du lycée Fénelon à Paris. Se pourrait-il que… non, bien sûr, c'est une erreur cocasse, le texte évoquant un établissement privé dont la liste des 46 premiers rétablit le nom: lycée Ste Fénelon- St Augustin.

Finalement dans tous les supports écrits des journaux participant à la diffusion des indicateurs de performance des lycées produits par le ministère de l'Education nationale, on trouve la présence plus ou moins assumée d'un palmarès. Dès que l'on sacrifie à cet exercice, il faut privilégier un indicateur ou un autre, hiérarchiser les principes de classement. Ce choix éloigne nécessairement de l'esprit des indicateurs de performance et conduit parfois à des jugements douteux. Il n'est pas étonnant dès lors que les lycées qui reçoivent les honneurs ne sont pas les mêmes d'un journal à un autre. Seuls deux établissements privés sont retenus dans leurs 10 ou 15 premiers par L'Express, Le Nouvel Observateur et Le Figaro. Il n'y a guère plus de cas si on recherche deux citations seulement et ce sont encore des établissements privés le plus souvent. Sauf Henri IV et Condorcet à Paris que Le Nouvel Observateur et Le Figaro s'accordent à considérer comme devant figurer dans le groupe de tête mais pas L'Express.

La tendance perceptible, en dehors du cas du Nouvel Observateur, d'inciter les lecteurs à consulter des sites internet ⁴ ou des serveurs minitel pourrait conduire à penser que cet aspect caricatural du palmarès des lycées tend à devenir résiduel. Il reste à savoir comment les parents se servent effectivement de ces outils et guides de choix et si le respect de la complexité des résultats statistiques apportés par leur intermédiaire est compatible avec l'objectif de les "rendre accessible et compréhensible au plus grand nombre" selon une formule qui reste officiellement l'une des priorités au moment de leur publication. En 1996, commentant certains résultats de l'enquête "Education" de l'INSEE, François Héran ⁵ soulignait que les inégalités quant au choix d'un lycée (existence réelle d'un choix, méthode de choix, affranchissement de la carte scolaire…) étaient intimement liées aux pratiques sociales et à la culture professionnelle des parents. Il serait opportun d'évaluer dans quelle mesure le développement des guides ou palmarès télématiques inverse cette tendance lourde.

Notes

¹ Ce journal présente son point de vue sur l'historique de cette affaire dans le dernier dossier publié en mars 1997 dans la collection des guides et palmarès (voir pages 9-12, 1981-1997: la longue marche vers la transparence).

² La DEP a été supprimée dans le cadre d'une réorganisation "administrative" du ministère de l'Education nationale. La DPD n'a pas les mêmes compétences mais c'est au sein de cette direction que se trouvent les services qui produisent les statistiques et les bases de données destinées à l'évaluation.

³ La dernière livraison de Guides et Palmarès, hors-série mars 1997 du Monde de l'Education consacré aux résultats des lycées, s'ouvrait par un éditorial titré la transparence est un danger d'Antoine Reverchon. L'auteur appelait, dès lors que la transparence était acquise (selon lui) à la suite d'une pression longuement entretenue par Le Monde de l'Education, à l'ouverture d'un débat public sur les missions du lycée afin que parents et enseignants comprennent qu'au-delà des chiffres qui guideront leurs choix ou leurs jugements, c'est aussi de notre société et de son fonctionnement dont il est ici question. L'année suivante, la publication des résultats a eu lieu dans le cadre du quotidien Le Monde.

⁴ La revue Phosphore qui publiait un palmarès des lycées avant 1997 s'en tient aujourd'hui à cette incitation. La rubrique "palmarès des lycées" du site internet de Phosphore n'est qu'un lien vers le site du ministère. Les conseils donnés visent à adapter les critères de sélection au profil de l'élève. On relève l'attention portée aux effectifs, un petit lycée étant fortement conseillé aux élèves recherchant un soutien pédagogique. Ce critère est présent dans les données du ministère; il n'est pas utilisé comme variable d'analyse de la performance des établissements et le clivage qu'il pourrait introduire entre lycées publics et privés reste dans l'ombre.

⁵ Héran (F.), Ecole publique, école privée: qui peut choisir?, Economie et statistique, n°293, 1996, pp. 17-39.

Pénombre vous en dit plus sur le Palmarès: Comment s'appellent les bons lycées? Vauban, Jeanne d'Arc, La Xavière, St-Paul, Pierre de Fermat, N.D. de Bellegarde (Le Figaro), Frédéric Ozanam, N.D. de la Providence, Saint-Charles, Lycée modèle électronique (L'Express), Carnot, Condorcet, François 1er, du Bois, Emmanuel Héré, Sainte Cécile, Pierre-Gilles de Gennes (Le Nouvel Observateur), et quelques autres noms de rois.   Et les mauvais? Jean Moulin (L'Express) C'est tout? Non! Après une minutieuse enquête, Pénombre révèle que ne sont pas très bons, voire franchement mauvais: Claudel (Paul), Condorcet (pas le très bon… l'autre!), Maurois (André) avec plusieurs mentions en des lieux différents, Carme (Arbez), Diderot (Denis), Cocteau (Jean), Rimbaud (Arthur), Zola (Emile), Saint-Exupéry plusieurs fois cité négativement, Clemenceau (Georges), Verne (Jules), Mauriac (François), Brassens (Georges) avec répétitions, Maupassant (Guy de), Jaurès (Jean), Montesquieu, Curie (les deux, ou bien l'un ou l'autre, chacun de son côté, plusieurs fois cités), idem pour les Joliot-Curie, Duplessis-Mornay, Jean Moulin (pas celui de L'express, un autre), Yourcenar (Marguerite), Vilar (Jean), Gouges (Olympe de), Jaurès (Jean) avec constance, Camus (Albert), Mallarmé (Stéphane) l'obscurité menant au pire, Valéry (Paul) par imitation peut-être. Se méfier tout particulièrement de Ferry (Jules), dit le proboscidien. Faire attention à Léonard de Vinci et Charles de Gaulle, capables du meilleur et du pire. Pascal (Blaise) reste finalement aussi assez incertain mais on peut parfois faire le pari. Parents, un conseil, si vous ne savez pas de qui il s'agit (par exemple si ce n'est pas un roi de France), regardez dans le dictionnaire. Un savant resté en marge des grands conflits ou de la politique est de bon augure; pour ceux qui y ont perdu la vie, c'est plus compliqué. Méfiez-vous des écrivains et surtout des poètes, des résistants, des féministes et des extrémistes en tout genre. Mais prudence, la sainteté n'est pas la panacée!

Dossier réalisé par B. Aubusson de Cavarlay à la suite du travail préparatoire de la 6ème nocturne de Pénombre (Karin van Effenterre, Olivier Martin, Bernard Sujobert). Texte n'engageant que l'auteur.