Pénombre, la vie publique du nombre

--

Réactions de lecteurs

NOUS AVONS LU avec intérêt votre lettre d’information du mois de décembre 2003 - numéro 35bis, notamment la partie “ Repères ”. Votre travail est extrêmement bien documenté, mais nous aimerions apporter quelques corrections sur certains points avancés sur les travaux réalisés au sein de l’Institut de Veille Sanitaire (InVS).

Vous citez le chiffre de 11 435 décès “ en excédent ” page 12. Ce chiffre avancé était basé sur les données fournies par les Directions départementales aux Affaires sanitaires et sociales (DDASS) en date du 25 août 2003. Les DDASS se sont toutes mobilisées pour nous remonter en accéléré le nombre de décès quotidien observé dans leur département. Il n’y a donc eu aucune extrapolation de 63 départements aux 95 de la métropole contrairement à ce que vous mentionnez.

Une enquête préliminaire réalisée auprès des préfectures avait recensé, auprès des 63 départements ayant répondu, un certain nombre de décès. Mais les sources utilisées dans chacun des départements étaient trop hétérogènes pour être utilisées. Aucun chiffre n’a été communiqué sur la base de ces résultats partiels. Ceci est peut-être à l’origine de votre méprise.

Sans entrer dans un débat sur l’utilité, la pertinence d’encadrer ce nombre de décès, nous voudrions apporter quelques éléments ayant dicté notre choix. D’une part, pour fournir cette fourchette, il faut apprécier les incertitudes rencontrées au cours du recueil de données, des données prises comme référence (complétude des données de mortalité différente pour les années précédentes), du choix de la période et du modèle statistique utilisé.

Ainsi, le chiffre fourni en date du 25 août, de 11 435, est à rapprocher de celui obtenu fin septembre sur la même période mais avec des données supposées complètes toujours fournies par les DDASS, à savoir 13 432.

Les données de mortalité fournies par le CEPI-DC sont partielles sur les années 2001-2002, différemment sur ces deux années, par départements et même au sein d’un même département. La surmortalité a touché différemment les régions françaises et plus les zones urbaines que rurales. Il est donc difficile d’apprécier l’erreur induite.

La période définie comme surmortalité est extrêmement difficile à définir. Comme vous le faisiez remarquer dans votre lettre, la température s’est maintenue à un niveau plus élevé qu’habituellement de la fin du mois de mai au mois de septembre.

Faut-il prendre les trois mois de juin à août comme période caniculaire ou limiter à quelques jours au cours du mois d’août ? À titre d’exemple, analyser selon le même modèle le nombre de décès entre le 1^er et le 15 août ou entre le 4 et le 18 août engendre une différence de 817 décès supplémentaires.

Le modèle statistique utilisé est lui aussi source d’incertitude. Plusieurs approches ont été testées, certaines très simples comme un simple calcul de moyenne sur les 3 années précédentes, d’autres corrigeant d’un effet âge et sexe, d’autres essayant d’intégrer l’augmentation globale ou dans chaque tranche d’âge et par sexe de l’espérance de vie.

Toujours sur la base du chiffre de 11 435 décès, ces différentes approches auraient pu conduire à communiquer un chiffre de 12 233 décès (14 230 sur les données disponibles fin septembre).

Ces chiffres n’intègrent pas l’incertitude du modèle, uniquement l’incertitude quant aux choix du modèle.

Sur la base de ces incertitudes, il nous est apparu extrêmement difficile de donner un intervalle crédible. Même un intervalle d’expert, tel que votre proposition de “ entre 10 et 13 ”, était sous-estimé.

 D’autre part, fournir une “ fourchette ” conduit à laisser au lecteur (presse, particulier, décideur…) le choix “ du chiffre ”. L’expérience montre que “ le chiffre ” retenu est celui frappant le plus les esprits, dans ce cas la borne haute de l’intervalle.

Nous espérons que ces corrections et informations permettront à votre lectorat d’avoir une idée plus juste du travail que nous avons mené sur ce sujet. ”

Alain Le Tertre (InVS) 

 
 
Donnons bien volontiers acte à Alain Le Tertre de la confusion faite dans l’analyse du rapport de l’InVS. Que ce soit du reste ici l’occasion de renouveler nos compliments à cet institut pour la promptitude de sa réaction, en août dernier, et la qualité du travail fait en si peu de temps et sur des bases aussi improvisées. Les auteurs on en effet “ fait flèche de tous bois ” en mobilisant des remontées d’information par tous les canaux possibles. Je suis effectivement passé un peu vite de la tentative d’exploitation des réponses de 63 préfectures (p.42 du rapport) à l’utilisation précoce des certificats de l’état-civil (p.44), laquelle a conduit au fameux 11 435 largement repris alors par la presse.

En revanche, je ne partage pas la position d’Alain Le Tertre quant à la fourniture d’un résultat non significativement précis, faute de pouvoir en déterminer la plage d’imprécision. On peut d’abord poser le problème en forme de pari sur la confirmation ultérieure du chiffre avancé. Le résultat à l’unité près (11 435) avait toutes chances d’être démenti. Les auteurs en étaient du reste bien conscients. Selon les conventions prises pour le calcul, indiquaient-ils (et il était inévitable d’en prendre), on aurait pu donner un résultat différent : par exemple 12 233. Rien que cela suggérait que l’on pouvait au mieux cerner la réalité à quelques centaines près.

Lorsque le procédé de recueil des données permet d’appliquer le calcul des probabilités, les statisticiens fournissent ce qu’ils appellent un “ intervalle de confiance ”, et que l’on a popularisé sous le nom de “ fourchette ”. Or, même ainsi, on prend le pari que la vérité est dans cet intervalle et on accepte un certain risque. Classiquement, on encadre le résultat du calcul d’une plage de deux “ écarts-types ” de part et d’autre ; et l’on a quand même une chance sur vingt de se tromper : c’est-à-dire que la vraie valeur (inconnue) se trouve en dehors. On peut prendre moins de risque (une chance sur cent, ou moins encore) mais en élargissant la marge d’incertitude. Donc, même dans cette circonstance “ scientifique ”, on admet qu’on peut se tromper. À défaut de cela, le spécialiste peut (et, à mon avis, doit) “ se mouiller ” et dire, à l’estime, quelle est l’indétermination vraisemblable de son résultat. Dans le cas présent, on aurait dit “ de l’ordre de 12 000 ”. On prenait un risque incalculable mais raisonnable. Le fait que, un mois plus tard, un calcul plus précis ait donné presque 15 000 ne remet pas en cause l’annonce ainsi prise en défaut, à “ environ 12 000 ” : puisque cette formulation laissait attendre une indétermination de l’ordre du millier, voire de quelques milliers. Lorsque vous dites “ il y avait là une douzaine de personnes ”, nul ne vous traite de menteur s’il s’avère qu’il y en avait en réalité 15.

Mais, c’est surtout du point de vue de l’utilisateur du chiffre qu’il faut, je crois, se placer. Devant un chiffre apparemment précis à l’unité de deux choses l’une. Ou bien il croit que le résultat a bien cette précision (qui d’ailleurs ne lui est pas utile) et il est abusé ; ou bien il se rend compte qu’elle est illusoire (comme l’un des correspondants dont Pénombre a publié la réaction) et il ironise sur l’auteur du chiffre ou même le soupçonne de désinformation.

Certes, l’auteur premier de l’estimation a pu honnêtement mettre en garde sur toutes les conventions et approximations qu’il a dû faire. Mais, d’abord, les journaux colporteront le chiffre sans la mise en garde. Et, plus fondamentalement, il abandonne alors son lecteur : le chargeant de relativiser le résultat en en ayant probablement moins la capacité que le spécialiste. Le lecteur se trouve en quelque sorte dans la situation d’un malade à qui son médecin dirait : je ne sais pas exactement ce que vous avez, donc je ne vous soigne pas.

Lorsque j’étais à l’Insee, il y a quelques années, j’ai d’abord suivi la pratique maison, consistant à publier des résultats chiffrés tout en mettant dans le texte “ ces résultats sont à interpréter avec précaution ”. Puis, nous avons été plusieurs à combattre cette culture qui semblait héritée de Ponce Pilate : nous nous sommes rendus compte que nous étions incomparablement mieux placés que notre lecteur pour savoir quelles précautions il fallait prendre.

René Padieu

 
 
Je viens de lire votre excellent dossier sur les chiffres de la canicule. Cependant un argument simple n’a pas été évoqué (sauf un peu par P. Julien) quant à l’évaluation de cette canicule : elle durait, quasiment sans discontinuité, depuis début juin - prétendre la surprise est donc une sinistre mascarade. Quand un ministre de la Santé prétend ne pas s’être rendu compte d’une telle canicule - peut-être est-il sincère, la seule explication plausible dans ce cas est que nos classes dirigeantes vivent à l’écart de tels phénomènes : on va de sa maison à son lieu de travail (bureau / hôpital / ministère) en voiture et tous ces lieux sont climatisés (luxe et avantages en nature de la fonction...). En ce qui concerne le reste de la population, dont je fais partie, la principale surprise fut d’entendre les autorités se déclarer surprises ! De plus, notre ministre étant médecin, il devrait savoir que face à une telle canicule, le corps humain tente de s’adapter et “ compense ”, mais que cette admirable capacité n’est pas éternelle, et que le temps qui passe en vient inexorablement à bout. Ne pas en tenir compte, ou ne pas le savoir, à ce niveau de responsabilité, est donc du cynisme ou de l’incompétence caractérisés. ”

Denis Germain 

 
 
On sait, depuis des années, qu’une spécificité française est la mise en sommeil de pratiquement toutes les activités du pays pendant certaines périodes : août, mais aussi la semaine de fin d’année. Toute surcharge de travail dans un secteur pendant ces périodes ne peut que se transformer en problème grave.

Pour l’illustrer avec des chiffres, il serait intéressant, pour la canicule de 2003 de se pencher sur le pourcentage de membres du personnel médical et paramédical de ville et des hôpitaux en vacances et non remplacés pendant cette période. Ces chiffres doivent au moins exister pour ce qui est des hôpitaux mais ils risquent de choquer et il est plus facile de s’en prendre au ministre. ”

Jacques Barrault

 
Pénombre, Mars 2004