Pénombre, la vie publique du nombre

--

Le sondage à trois, est-ce bien sérieux ?

Benoît Riandey : Je ne représente que moi-même et j’espère ne pas choquer mes collègues de la Société Française de Statistique. Je vais chercher dans le genre raisonnable même si ça ne sera pas très drôle.

Les résultats du 21 avril ont surpris et engendré beaucoup de discussions. De nombreux citoyens se sont sentis trompés par les sondages. Plus précisément, par qui ?

La question n’est pas si simple : aucun sondage national ne peut mesurer une avance de 200 000 voix et de nombreux sondages ont indiqué le coude à coude des candidats Jospin et Le Pen. Leurs 18 % et 14 % d’intentions de vote respectives annoncés par plusieurs sondages préélectoraux ne diffèrent pas significativement de 16 % aux deux, estimés à partir de 700 réponses exprimées. L’outil n’a pas une telle précision. Les politologues et les politiques ont-ils écouté ces sondeurs pris d’incertitude ? Ont-ils accepté que les sondages remettent en cause leur pré-certitude qualitative du duel attendu Chirac-Jospin ?

Toutefois, en rassemblant tous les sondages en un seul, ces écarts, qui curieusement vont toujours dans le même sens, se confortent. Si aucun sondeur n’est pris en défaut, la profession collectivement, au sens des sondeurs pris comme un institut unique, s’est bien trompée.

D’ailleurs cette convergence des estimations de sondage surprend les probabilistes. Les échantillons sont certes indépendants. Les estimations le sont-elles ou sont-elles parfois téléphonées ? Un écho recueilli dans la profession disait qu’il y a des instituts indépendants et quelques suiveurs. Que croire ?

À qui peut-on imputer l’erreur collective de la profession ?

Un sondage politique fait appel à trois métiers : le sondeur (non au sens transmis par Jean Stoetzel d’un rédacteur et passeur de questionnaire, mais dans celui du praticien probabiliste, extracteur d’une sous-population désignée par le mot échantillon), le statisticien et le politologue.

Le sondeur, protégé par son droit à l’erreur - le fameux seuil de confiance - ne garantit les résultats que si la règle de l’art - le hasard statistique - est respectée. Ce n’est pas le cas des sondages politiques. Les conditions de réalisation du sondage politique sont très mauvaises, mais pas tant en raison de la méthode empirique d’échantillonnage, celle des quotas, que de l’attitude des enquêtés : beaucoup de Français détestent répondre aux sondages électoraux et s’en abstiennent. Ces mauvaises conditions de réalisation interdisent de déduire l’estimation de la seule loi des grands nombres.

Elles nécessitent donc l’élaboration d’un modèle statistique de correction d’erreur, le fameux redressement. En d’autres termes, l’art du statisticien consiste à tenter de produire de bonnes estimations à partir de mauvaises données, grâce à un modèle mathématique… tout en militant pour obtenir les meilleures données possibles. Ces modèles tiennent compte d’hypothèses sur le comportement d’acceptation différentielle de répondre à l’enquête, sur la sincérité de déclaration de l’intention éventuelle de vote, sur la qualité de reconstitution du vote antérieur.

La technique habituelle de redressement, très simple, ne différencie pas ces types d’erreur, ni leur mode de correction. Traiter de la même façon un biais d’échantillonnage (le refus de répondre d’un partisan de Le Pen) et la dissimulation de l’intention ou de la reconstitution d’un vote Le Pen est probablement une erreur de théorie statistique universelle dans la pratique des instituts. En tout cas le débat sur ce point est insuffisant.

La qualité du travail statistique est conditionnée par la qualité de ces hypothèses à l’instant même de l’enquête. Cependant les comportements et donc les bonnes hypothèses varient sans prévenir !

Malheureusement, un bon modèle statistique n’est pas presse-bouton. Les délais de production de bonnes estimations de sondages sont très probablement incompatibles avec la précipitation de production des sondages politiques. On peut penser qu’elles nécessiteraient une batterie de questions conséquentes sur les représentations politiques, plus significatives du vote futur que la réponse à la question sur l’intention de vote, mais lentes à analyser. La question directe n’est peut-être pas la meilleure question. C’est seulement la plus simple.

Ce modèle est alimenté par les hypothèses des politologues. Le statisticien n’est donc qu’un sous-traitant de l’estimation, seulement partiellement responsable de celle-ci.

La procédure fonctionne très bien pour un second tour d’une élection présidentielle, en raison de la solidité de la reconstitution du vote du premier tour. Les conditions de l’estimation sont là exceptionnelles et les résultats remarquablement précis.

Mais au premier tour d’une présidentielle, la panoplie des hypothèses concurrentes est pléthorique. À chaque jeu d’hypothèses correspond un redressement et donc une estimation préélectorale pour chaque candidat. Récemment des collègues politologues me disaient disposer de douze redressements concurrents. Or le choix du jeu d’hypothèses retenu engendre le résultat. Comme le sondeur, le statisticien dégage lui aussi sa responsabilité ! En particulier le statisticien ne détient pas de test d’indépendance politique du jeu d’hypothèses et du redressement retenu.

Dans bien des contextes, la précision des sondages politiques est donc incertaine, en particulier en présence d’outsiders perturbateurs, mais là, je sors de mon rôle de statisticien. Néanmoins, il est sûr que je ne ferais pas mieux que mes collègues statisticiens sondeurs, moins bien, faute d’expérience.

Alors, peut-on croire aux sondages ? Lesquels et quand ? La réponse n’est pas absolue. C’est une question à débattre avec les citoyens, les journalistes, les sondeurs, les politologues, tout simplement les adhérents de Pénombre.
(applaudissements)

J.-R. B. : Merci. Alors là, comme nous étions en passe de redevenir sérieux, il est temps d’aller boire de nouveau, et manger.

N. Meunier : Dans pas longtemps, on va refaire ça… Je ne sais pas si vous avez remarqué, mais en 2007, il y a à la fois des présidentielles, des législatives et des municipales.

J.-R. B. : On va se régaler…Merci à toutes et à tous.

 
 
Pénombre, spécial 10ans, Mars 2003