Pénombre, la vie publique du nombre

Biais de sondage et sondés biaiseurs

J. Goffredo : Mais quelle est la précision d’un sondage ?

F. Dixmier : Ça dépend... du vent...

A. T. : Il est beaucoup plus difficile quand vous vous trouvez dans une situation 50-50 d’avoir quelque chose de fiable, que quand vous êtes dans une situation 20-80.

J. G. : Mais quand on nous dit 16,5 est-ce qu’on a le droit d’indiquer le « ,5 » ?

J.-R. B. : Non sûrement pas !

A. T : Sur 1 000 interviews quand vous êtes à 50-50, c’est ± 3, donc quand on vous dit 49 % contre 51 % sur un sondage de 1 000 personnes, ça ne veut rien dire.

J.-R. B. : Les 16,5 %, si j’ai bien compris ce qui nous a été dit jusqu’à maintenant, doivent être interprétés comme : vous avez une chance sur vingt de vous tromper si vous dites que c’est entre 13,5 et 19,5.

A. T. : Voilà.

J.-R. B. : Ça relativise un peu, et ça n’est plus très consommable en matière journalistique.

R. Padieu : En faisant la moyenne de trois, cela devient plus solide (rires).

Un participant : Je n’ai jamais été sondé, et je voudrais savoir comment ça se passe. À la sortie des urnes, j’imagine que c’est un face-à-face direct avec le sondeur. Donc si j’ai voté Le Pen, je ne vais peut-être pas le dire. Si je suis sondé chez moi, au téléphone, je le dirais peut-être plus facilement. Et si, en plus, il y a un bulletin à remplir... Comment ça se passe, est-ce qu’on est face-à-face avec le sondeur ou pas ?

A. T. : Selon les instituts, ce n’est pas toujours la même méthode. Il y a de très nombreuses méthodes... Aujourd’hui on fait beaucoup de sondages par téléphone, alors qu’il y a une dizaine d’années on n’en faisait pas. Les sondages politiques qu’on faisait dans les règles de l’art à une époque, c’était des sondages à domicile, avec un questionnaire passé en face-à-face et on faisait même des vraies simulations de vote, c’est-à-dire que l’interviewé mettait un bulletin dans une enveloppe sans que l’enquêteur ne le voie, c’était un moyen d’essayer d’être le moins influençant possible. Tout ça a été abandonné depuis longtemps, et on travaille beaucoup aujourd’hui par téléphone. On devrait déjà en effet se poser une première question, au niveau du recueil de l’information : quand vous avez 16 candidats, et que l’enquêteur au téléphone lit la liste des 16, c’est un peu compliqué pour la personne qui répond. Sauf si elle se situe d’emblée dans les grandes formations politiques, ou si son choix est déjà fait. Mais on a bien vu, comme l’a dit Françoise, les votes contestataires ou protestataires ont fait jusqu’à 40 % des estimations de vote dans les sondages, donc il y avait en effet un pourcentage non négligeable des interviewés qui se « promenait » entre les 16 candidats, ce qui est extrêmement complexe quand on fait une interview téléphonique. Vous avez aussi un autre système, quand on fait du face-à-face, du sondage à domicile, on n’utilise plus aujourd’hui un questionnaire papier, mais un micro-ordinateur portable, c’est-à-dire qu’on arrive chez les gens, on s’installe chez eux, et pour peu que la batterie de l’ordinateur portable soit un peu faiblarde on demande aux gens en plus de pouvoir brancher la prise. C’est toute une gestuelle et une démarche très différente de celle qui existait auparavant, où les trois quarts du temps, l’enquêteur restait sur le pas de la porte et pour un certain nombre de personnes, là aussi on a un biais. Vous avez des personnes âgées ou des personnes craintives qui n’osent pas laisser entrer les gens chez eux. Donc l’enquêteur qui restait sur le pas de la porte, finalement, c’était peut-être moins mauvais pour les biais d’enquête, que l’ordinateur sous le bras, et de s’installer dans une chaise du salon. Donc déjà à ce niveau-là, selon le type d’élections dans lequel vous vous trouvez, ou selon que vous êtes au premier tour ou au deuxième tour, la fiabilité du recueil de l’information va changer du tout au tout.

J.-R. B. : Si je comprends bien, à nos 3 % en plus ou en moins qui ne sont dus qu’à l’échantillonnage statistique, qui est l’incertitude incompressible quoi qu’on fasse, il faut ajouter une incertitude née de la manière de déjouer les mensonges des gens...

J. Antoine : Je le disais tout à l’heure, il y a de plus en plus de raisons qui font qu’il y a et qu’il y aura des écarts entre ce que disent les gens même deux jours avant le vote et ce qu’ils feront le jour du vote. En plus les gens se décident de plus en plus tard. C’est vrai pour les vacances, c’est vrai pour les achats de consommation, et c’est vrai aussi pour les votes. Donc deux jours avant, la proportion de gens qui ne sont pas encore décidés est encore assez considérable, elle peut être de l’ordre d’un tiers des électeurs. Il y a également des phénomènes qui jouent aussi un peu sur les réponses aux votes antérieurs. Certains ont appelé ça les réactions de l’électeur stratège. Maintenant les gens interrogés avant le sondage savent que ça paraîtra dans les journaux, que les états-majors politiques auront connaissance de ça, est-ce que j’ai intérêt à dire vraiment ce que seront mes véritables intentions de vote ? etc. ça devient de plus en plus difficile...

Et puis alors les sondages sur le terrain en face-à-face deviennent de plus en plus difficiles avec les digicodes, les difficultés d’accès aux maisons. Pourquoi est-ce qu’on fait du téléphone aujourd’hui alors qu’on n’en faisait pas il y a dix ou vingt ans ? Parce qu’il y a dix ou vingt ans, le taux d’équipement en téléphone était insuffisant. Maintenant le taux d’équipement de toutes les catégories est supérieur à 80 ou 90 %. Le problème, maintenant, ce sont les portables. Les jeunes deviennent de plus en plus difficiles à joindre par le téléphone fixe, parce qu’ils ont tous les habitudes du portable. Et par téléphone il y a aussi d’autres difficultés. Par exemple pour trouver la bonne personne dans le foyer : il y a une tendance évidemment à ce que la personne qui décroche le téléphone la première soit le plus probablement la personne interrogée, et ça ce n’est pas ce qu’il faut. En Allemagne par exemple, on a trouvé ce qu’on a appelé un biais culturel c’est-à-dire que les gens les plus modestes même s’ils ont le téléphone ne sont pas à l’aise au téléphone. Historiquement d’ailleurs le succès de Gallup en 1936 par rapport au sondage qui s’appelait le vote de paille que faisait le Litterary Digest avec 2 millions de personnes interrogées, le succès de Gallup, c’est qu’il avait montré que les sondages par les magazines, les sondages postaux etc. et toutes les méthodes qui étaient employées favorisaient les gens culturellement aisés, donc dans la culture américaine, les républicains conservateurs, et en fait le succès de Gallup en 36, c’est que pour avoir la bonne représentativité de l’ensemble des électeurs, y compris des électeurs démocrates, il fallait rencontrer les gens de condition modeste, et la seule manière à l’époque de les rencontrer, c’était sur le terrain et chez eux. Il subsiste actuellement encore, même dans nos pays évolués modernes développés, ce que les professionnels appellent des biais, c’est-à-dire des espèces d’erreurs structurelles, de défauts structurels des échantillons de téléphone par rapport à l’enquête sur le terrain bien faite.

J.-R. B. : Merci.

F. Lehobey : Je crois qu’il y a au moins deux types de sondage qui existent. Il y a les sondages qui sont commandés par les journaux et qui sont effectivement publiés et sur lesquels un regard critique, que ce soit de Pénombre ou des lecteurs peut s’exercer, mais il y a aussi d’autres sondages, qui sont les sondages commandés par Matignon ou qui sont commandés par les états-majors de campagne. Je pense qu’ils ont existé, qu’ils sont très nombreux. Il n’y a qu’à regarder les comptes de campagne des différents candidats, pour voir qu’ils y ont effectivement eu recours. Sur ces sondages-là, il n’y a aucun critère démocratique, ce n’est pas une question assujettie aux règles de la commission dont on a parlé tout à l’heure…

J.-R. B. : Non, ils ne sont pas publiés, ceux-là...

F. L. : Ah voilà ! Et ces sondages de l’ombre ont eu beaucoup d’importance pour l’orientation de la communication, et la constitution du programme et des discours du candidat.

Un participant : Sans entrer dans les détails techniques, il me paraît indispensable de rappeler tout de même que j’ai appris à l’école, il y a longtemps c’est vrai, qu’il y a deux sortes de sondages : les sondages probabilistes, dans lesquels on peut fournir une fourchette d’incertitude, et les sondages par quota, dans lesquels on ne peut pas fournir une zone d’incertitude. Or les sondages politiques sont tous de la deuxième catégorie. Donc on ne peut donner aucune indication sur l’incertitude des résultats de ce sondage. Je parle sous le contrôle du maître Jacques Antoine.

J.-R. B. : C’est de pire en pire, on a vu la fourchette s’élargir, s’élargir, et maintenant elle s’évanouit... (rires) On ne sait même plus l’incertitude. C’est vraiment le crépuscule des sondages !

J. Antoine : Réponse : on le fait quand même (rires) ; on le fait quand même parce que l’expérience montre que c’est assez voisin, et que le quota bien fait (bien sûr il y a une façon de faire des quotas qui ne veut rien dire) est même quelquefois très compétitif par rapport à l’échantillon aléatoire. On ne peut pas entrer dans les détails techniques, mais la France est le pays où on ne peut pas faire de l’aléatoire, parce qu’on n’a pas de liste correcte qui soit accessible pour faire des échantillons. Il y a l’annuaire du téléphone, avec là aussi ses biais : le biais du téléphone, la liste rouge, les portables, etc.

J.-R. B. : EDF ? Les abonnés au gaz ?...

J. A. : Non, on ne le fait pas. Si on le faisait, EDF-GDF, c’est encore des foyers et non pas des individus. Il fut un temps où les sondeurs arrivaient à faire des échantillons sur les listes électorales en allant dans les préfectures, mais maintenant c’est devenu beaucoup plus serré, et c’est interdit et impossible.

Une participante : Excusez-moi, une petite question. J’ai pensé au trappeur quand Jacques Antoine a évoqué le fait que dans les redressements, on avait établi que les gens de gauche répondaient plus facilement aux sondages. Sans forcément entrer dans la technique que je ne comprendrais pas, comment on fait ça ? C’est le trappeur !

J. A. : On le sait précisément par des questions d’une part de préférence partisane, et, d’autre part, par des questions un peu plus précises sur comment vous avez voté à telles ou telles dernières élections législatives ou présidentielles. Et comme pour ces questions de souvenirs de vote on a par ailleurs des statistiques précises, les statistiques électorales du ministère de l’Intérieur ou du Conseil Constitutionnel et tout ce qu’on voudra, qu’on évoquait tout à l’heure, on compare ce qui revient du terrain comme structure politique avec ce qu’on a dans les statistiques exactes depuis 30 ou 40 ans. Pour tous les instituts c’est toujours comme ça, il y a toujours un peu trop de gens de gauche et pas assez de droite. (pour les instituts, n.d.l.r.)

J.-R. B. : Ce qui trouble particulièrement, c’est quand la manière de mentir évolue entre deux élections. Si les gens mentent toujours pareil, on sait comment redresser. Tout à l’heure je pensais qu’il y avait aussi des Indiens et des trappeurs qui votent, quand vous avez parlé de comportement stratégique de l’électeur. On se demande si on vote pour la personne qui vous plaît le plus ou si on vote pour faire en sorte que compte tenu de toute cette machine de Tinguely, ce soit la personne qui vous plaît le plus qui finisse par être élue. Du coup on ne vote plus exactement pareil, ça devient compliqué.

J. Goffredo : Moi j’aimerais poser une question aux journalistes : ils disent qu’ils publient des sondages pour faire du chiffre, et qu’ils savent lucidement que ces sondages sont faux. Ça je le comprends. Ce que je ne comprends pas, c’est pourquoi ils achètent ces sondages ? ils devraient les inventer... (rires, applaudissements)

J.-R. B. : La question est posée...

F. Ernenwein : On peut réfléchir et pousser le paradoxe : la réponse est simplement que malgré toutes les erreurs que l’on peut repérer dans les sondages, ils nous disent quand même quelque chose de l’état des sociétés dans lesquelles ils sont faits. Quelques plantages monumentaux, c’est d’ailleurs l’argument utilisé par les sondeurs, n’empêchent pas que, bien utilisés, ils donnent une photographie de l’opinion sur la question qui est posée. Le débat peut certainement porter sur l’usage des sondages ; sur l’utilité des sondages dans une société ouverte où il y a des décisions à prendre, là je parle des responsables politiques, ça ne me paraît pas être à débattre...

J.-R. B. : Dans ce que vous dites, vous parlez en même temps des sondages électoraux et des sondages sur les autres sujets. Je ne crois pas qu’on puisse exactement mettre ça sur le même plan. Sonder les gens pour savoir s’ils préfèrent ceci ou cela, le yaourt à la pomme ou je ne sais pas quoi, en somme, c’est l’étude de marché politique, ça peut donner des indications utiles, même si on se trompe de 6 points, ce n’est pas très grave. En revanche dans notre discussion, on voit bien qu’à partir du moment où il va y avoir une élection, qui est le sondage pour de vrai et qui est un processus qui fonde notre cohésion républicaine, le sondage devient perturbateur beaucoup plus que si c’est un sondage sur « est-ce que vous avez peur des OGM ? ». On entre dans des rétroactions entre le sondage et l’élection, et ça pervertit le processus électoral.

F. E. : On passe beaucoup de temps à pointer les défauts des sondages, et ça me paraît utile, mais dans la société, si on prend l’état de l’opinion, pas forcément mesurée par les sondages, mais à travers ce qui s’exprime dans les reportages, il y a des choses qui remontent de l’opinion. Et aussi avec les journalistes, je le dis au passage.

J.-R. B. : Merci, c’est pour cela que les gens achètent les journaux...

F. E. : Des choses remontent de l’opinion par les sondages, et c’est quand même intéressant de les voir, et je ne vois pas pourquoi on s’abstiendrait.

Un participant : J’ai peur de manipulations perverses, du style « comme c’est Untel qui va gagner, j’irai aux champignons », ou alors « c’est Untel qui va gagner, alors mobilisons-nous parce qu’il ne faut pas qu’il gagne »... Enfin c’est pervers. Je crois que les gens réagissent un peu comme ça.

J.-R. B. : C’est bien le sujet...

F. E. : J’avais perdu un peu le fil de ma démonstration, mais je voulais simplement souligner qu’il y a eu un débat récemment autour des sondages, et l’opinion s’est exprimée. La dernière semaine de campagne, les sondages n’étaient pas publics, et réservés jusqu’à récemment à un certain nombre « d’initiés ». Aux yeux de beaucoup de gens, ça paraissait scandaleux, et le désir de transparence s’est exprimé, à tel point que le législateur a fait ce qu’il fallait pour que ce monopole des sondages réservés à quelques-uns disparaisse. Donc la société est ambiguë par rapport aux sondages et tout le monde n’est pas sur la ligne : « ça ne sert à rien, c’est inutile, c’est de la manipulation ».

Une participante : Vous venez de dire, et c’est probablement vrai, que les sondages en période électorale perturbaient l’élection. Est-ce que ça, ce n’est pas de toute façon très grave, que le sondage soit exact ou inexact ? La question de l’exactitude du sondage est très secondaire, de toute façon, si l’élection est perturbée.

J.-R. B. : La question est posée, je n’ai pas la réponse...

Bernard Lacombe : Excusez-moi, c’est un peu là-dessus que je voudrais parler. Le sondage, de toute façon, les gens ne sont pas cons et vont modeler leur attitude en fonction des résultats. Donc, en dehors de toutes les erreurs et de tous les problèmes de manipulation, ça c’est incontrôlable par les sondages, et c’est là où les analystes politiques peuvent intervenir. Par exemple on dit « les gens sont contre les OGM ». Moi je me fous des OGM. J’entends dire que 60 % des gens sont contre les OGM. Je vais peut-être, soit réfléchir pour, soit réfléchir contre. C’est-à-dire, que je vais modeler mon opinion en fonction des résultats du sondage. Gramsci avait bien dit un truc très précis là-dessus : à partir du moment où les gens sont conscients, la statistique, les résultats des élections et les statistiques, etc. ne peuvent plus être pris comme ça, ce n’est que la photographie d’ici et maintenant, et demain, on va prendre en compte la photographie d’aujourd’hui.

J. Antoine : Je pourrais ajouter un petit mot sur la question fréquemment évoquée de l’influence des sondages publiés sur les comportements des électeurs. Alors c’est une question scientifiquement

très difficile et qui n’est pas encore complètement tranchée. Il y a eu beaucoup de travaux là-dessus, notamment aux États-Unis qui étaient en avance sur nous depuis les années 40, et une récente

brochure professionnelle ESOMAR (pour ceux qui sont intéressés, je pourrai vous donner les références), a fait le point sur tout ça. Évidemment, c’est fait dans une optique et une stratégie qui étaient assez claires et qui étaient affichées et qui était que les sondeurs s’élèvent contre toutes les limitations à l’exercice de leur profession, c’est clair. Mais cette brochure a fait le recensement, le point de tous les travaux qui ont été faits sur ce thème et ils ont trouvé huit types possibles de réaction des électeurs sur la publication des sondages. Les deux principaux, les plus connus, sont :

 - « voler au secours de la victoire » : voter pour celui qui a le plus de chances de gagner,
 - et l’inverse : venir à la rescousse du candidat du parti qui est le plus malchanceux et qu’on aime bien quand même.

J.-R. B. : Ce qui, vous le constatez, permet de maintenir et même d’agrandir l’incertitude puisqu’il y a deux effets contraires…

J. A. : Ceci pour dire, on est sur les tous petits pourcentages, mais on sait que dans certains votes serrés, c’est quelquefois à très peu de choses près qu’une élection se perd ou se gagne.

Jean-Paul Jean : Une correction peut-être d’abord. Pour la liberté des sondages jusqu’à la veille des élections, ce n’est pas le législateur qui a décidé, mais la Cour de Cassation, au nom de la liberté d’expression et de l’égalité d’information.

J.-R. B. : Merci M. le magistrat.

J.-P. J. : Ensuite, à propos du lien entre sondages d’opinion politique et ce que disait monsieur sur les tendances lourdes, qui ont influencé le vote. Je suis très favorable à tous les sondages qui aident à connaître les tendances lourdes de l’opinion. Ce que je ne comprends pas, en revanche, sur deux thèmes qui ont beaucoup joué sur le vote, celui de la sécurité qui est monté très fort, mais aussi celui de la rupture de l’opinion sur le thème des 35 heures, c’est que quinze jours après, tout un tas de gens expliquaient que c’était sur les 35 heures que les électeurs avaient voté contre Jospin. Mais dans les sondages, ça n’était jamais sorti comme une tendance lourde de l’opinion. Pourquoi est-ce que ça ne sort pas avant le vote, alors qu’après ça sort comme une déferlante explicative, en plus de l’insécurité ?

A.T. : C’est que dans les sondages préélectoraux on pose très peu de questions, hormis les intentions de vote...

 
 
Pénombre, spécial 10ans, Mars 2003