Pénombre, la vie publique du nombre

Statistiques au long cours

Le “ Débat national ” sur l’école qui s’est déroulé en fin d’année 2003 et en début d’année 2004 a été organisé à la demande des autorités politiques par Claude Thélot, spécialiste de l’évaluation, qui s’est entouré de personnalités et d’experts. Il a donné lieu à un rapport préliminaire¹ intitulé : “ Éléments pour un diagnostic sur l’école (EDE) ”. On y trouve ces paragraphes :
“ Les disparités s’accroissent lors du passage de l’école primaire au collège.
L’écart des performances entre enfants de cadres et enfants d’ouvriers est considérable en CE2. Ces performances sont en français de 79,8 % et 67,5 % respectivement ; elles ne sont que de 60,3 % pour les enfants d’inactifs. Le résultat des performances en mathématiques est semblable : 73,8 % et 63,4 % (54,4 % pour les enfants d’inactifs).
L’écart est encore plus grand à l’entrée en sixième : 78 % et 63 % en français (59,2 % pour les enfants d’inactifs) ; 74,9 % et 59,1 % en mathématiques (53,7 % pour les enfants d’inactifs) ”.

Les experts après avoir constaté, par exemple, qu’en français l’écart entre les performances des enfants de cadres et d’ouvriers est de 12,3 % au CE2 et de 15 % en sixième, concluent à un accroissement des écarts. Or, si l’on fait la même comparaison entre les enfants de cadres et d’inactifs, on constate une stabilité de ces écarts et, enfin, entre les enfants d’ouvriers et d’inactifs, une baisse. La conclusion d’un accroissement des écarts à l’entrée en sixième apparaît donc très peu fondée.

C’est une première “ curiosité ”. Il y en a une deuxième : le trajet parcouru par ces données. Les pourcentages cités sont extraits d’un rapport² du Conseil de l’emploi, des revenus et de la cohésion sociale (CERC). On les trouve page 13, dans un grand tableau où figurent bien d’autres catégories (enfants de professions intermédiaires, employés, artisans et commerçants, agriculteurs) que les trois retenues par les auteurs de EDE (enfants de cadres, d’ouvriers, d’inactifs). Dans le rapport du CERC le titre qui précède le tableau est “ Les disparités s’accumulent pendant le premier degré ” ; dans EDE, il est devenu “ Les disparités s’accroissent lors du passage de l’école primaire au collège ”. Or, les performances dont il est question étant mesurées à l’entrée en sixième, l’enseignement au collège n’est pas concerné.

Le choix d’un titre n’est pas neutre. Il influe sur la suite de la lecture et sur l’interprétation que le lecteur en fera. Introduire le mot collège dans le titre, c’est engager le lecteur sur une fausse piste. Il y a là une grande maladresse. Selon qu’on titre “ Les disparités de salaires s’accumulent pendant le gouvernement Dupont ” ou bien “ Les disparités de salaires s’accroissent lors du passage du gouvernement Dupont au gouvernement Durand ”, on n’envoie pas le même message.

Poursuivons notre voyage. Le CERC n’a pas produit ces chiffres. Mais, il fournit la référence permettant de remonter à leur source ; il faut plutôt écrire, leurs sources, car ce sont deux documents séparés³. L’un concerne des évaluations faites en CE2 en 2000, l’autre celles faites en début de sixième, également en 2000. Il ne s’agit pas d’une cohorte d’élèves suivie sur plusieurs années, mais d’élèves différents ! Il n’est pas question dans ces deux documents de comparer les résultats des évaluations faites la même année en CE2 et en sixième par des élèves différents ! Des précautions sont prises ; par exemple, “ les protocoles ne recouvrent pas tous les apprentissages prévus par les textes ”. On est très loin de l’idée de la mesure absolue d’une performance en français ou en mathématiques. Sans compter que “ en raison d’une grève administrative dans les écoles primaires ”, les résultats recueillis cette année-là ne concernent que “ 55 % de l’effectif prévu lors du tirage de l’échantillon. ” ⁴

Méthodologiquement, annoncer dans EDE un accroissement des disparités alors que l’on manipule des chiffres portant non seulement sur des épreuves différentes mais sur des populations différentes pose quelques problèmes… Le Bulletin officiel de l’Éducation nationale, pour dénoncer par avance toute utilisation abusive des résultats des évaluations, utilise des mots très clairs : “ Aussi, ces résultats ne peuvent-ils en aucun cas être utilisés à des fins de comparaisons d’une année sur l’autre et détournés de leur objet pédagogique ”.

Je ne tirerai aucune conclusion pour l’ensemble du rapport EDE. En revanche, les mécanismes mis au jour me semblent avoir une portée très générale. Chaque fois que l’on présente, utilise ou consulte des données chiffrées, il faut faire preuve d’une extrême vigilance. En particulier, lorsque les données sont utilisées en dehors et parfois très loin de leur contexte de production, les interprétations qui en sont faites ont plus de chance de traduire les conceptions des rédacteurs sur le sujet que ce qui peut être raisonnablement déduit des chiffres.

Le Débat sur l’école doit déboucher sur une réforme, en particulier celle du collège. Nous risquons de nous trouver dans la situation suivante : à partir d’un diagnostic mal posé, qui amène à des conclusions erronées, vont être proposés des remèdes dont on ignore les effets, et en particulier s’ils sont une réponse aux problèmes dont souffre actuellement le collège.

 
René Mulet-Marquis

1. J.-C. Hardouin, A. Hussenot, G. Septours, N. Bottani, Éléments pour un diagnostic sur l’école, document préparatoire au débat national sur l’école.

2. Rapport numéro 3 du Conseil de l’emploi, des revenus et de la cohésion sociale (CERC), mars 2003.

3. Andrieu, Brézillon, Chollet, Remvikos, Les élèves en début de CE2 : évaluation de septembre 2000, et, Andrieux, Dupé, Robin, Les élèves en début de sixième : évaluation de septembre 2000. Notes d’information 01.35 et 01.36 de la Direction de la programmation et du développement.

4. Évaluation à l’entrée en CE2 et sixième - Repères nationaux, septembre 2000.

 
Pénombre, Août 2004