LE 4ème TOUR: enfin! les sondages...

Mars 2003- numéro 32[Table des matières]

Y a-t-il un sondeur dans la salle ?

Jacques Antoine : en fait, je suis un ancien sondeur...

J.-R. B. : Vous n'êtes pas obligé de vous excuser tout de suite. C'est une profession honorable.

J. A. : C'est pour dire que je suis totalement indépendant de toute cette profession. Maintenant, je suis plutôt du côté des gens qui les contrôlent. Pour ceux qui ne connaissent pas mon petit parcours par rapport à ça, j'ai été d'abord sondeur à l'INSEE, j'y ai appris le métier de statisticien et de sondeur. Ça, c'était dans les années cinquante. J'ai été ensuite dans les années soixante le premier patron de la SOFRES, et j'ai quitté ce groupe en 1973. Depuis 1973, je suis complètement indépendant, mais je suis encore sollicité de temps en temps, ou même assez souvent, et notamment dans le cadre de la commission des sondages, dont je ne suis pas du tout le président, je rectifie ce que vous avez dit tout à l'heure. La commission est composée de trois conseillers d'État, trois magistrats de la Cour des Comptes et trois de la Cour de Cassation, et autant de suppléants. Mais la plupart de ces gens-là n'ont pas fait d'études statistiques, ils ne savent pas très bien, comme on disait tout à l'heure, comment on fait la « cuisine », et donc ils ont besoin d'experts auprès d'eux. Donc, depuis l'origine de cette loi de 1977, cela fait un peu plus de vingt ans, je suis expert auprès de cette commission pour cette tâche notamment de contrôle technique. Alors, sur le problème des sondages électoraux, j'ai cru comprendre que Pénombre n’est pas le lieu pour discuter de questions techniques.

Depuis le printemps dernier j'ai en tête trois questions, trois problèmes, dont le premier est effectivement un débat interne et une affaire de séminaires entre sondeurs, statisticiens et professionnels de cet univers. Je l'évoquerai simplement parce qu'il peut y avoir des relations avec les deux autres problèmes, qui eux sont plus « grand public », si je puis dire. Le premier problème c'est qu'il y a de plus en plus de raisons qui font qu'il y a et qu’il risquera d’y avoir des décalages entre les sondages et les résultats des scrutins. Pardon pour les détails, mais les choses se compliquent, et tournent notamment autour de ce que la profession appelle les méthodes de redressement d'échantillons, parce que dans un échantillon brut qui revient du terrain, il y a toujours des biais, comme on dit, c'est-à-dire, des erreurs structurelles du fait que d'abord les gens de sensibilité de gauche ont tendance à répondre un peu plus que les gens de sensibilité de droite, et ça quels que soient les instituts : depuis 30 ou 40 ans c'est comme ça en France. Et puis il y a aussi, et on met plus souvent l'accent là-dessus, la difficulté de saisir les votes pour les partis extrêmes, les fameux votes contestataires, dont on a parlé tout à l'heure. Il y a d'autres raisons qui font que ça devient de plus en plus difficile, et à la limite, l'un des scénarios possibles c'est que dans vingt ou trente ans on ne fera plus du tout de sondages préélectoraux parce que l'on n'y arrivera plus. Ça veut donc dire qu'il y a besoin d'un séminaire interne de la profession et avec des gens comme Benoît Riandey, qui est là, et quelques autres. Dans le cadre de nos réunions professionnelles, on va attaquer ces questions-là. Par exemple, le mois prochain, il y a le troisième colloque francophone sur les sondages à Autrans, à côté de Grenoble : il y a une demi-journée de table ronde là-dessus, et on va continuer dans le cadre d'un groupe de la Société Française de Statistique. Je peux développer ça, mais ce n'est sans doute pas le lieu...

Le deuxième type de problème, qui concerne notamment nos amis journalistes et tous ceux qui sont associés à la publication, est le suivant : que publier et comment ? Du fait par exemple que les sondeurs disent qu'il y a toujours une marge d’incertitude, et on peut même chiffrer les ordres de grandeur. Quand il s'agit des résultats des opérations dites « opération estimation », le soir des grands scrutins, on a l'habitude de donner des fourchettes. Dès huit heures une ou huit heures cinq, on n'a pas un résultat par candidat ou par parti, mais on a une fourchette. Pourquoi alors ne pas publier des fourchettes honnêtement aussi sur les sondages préélectoraux ? Donc là, la question globalement est : « jusqu'où aller ? » dans ce qui peut être à la fois la transparence et la pédagogie. Il y a une demande de transparence, il y a une demande sociale qui évolue vers plus de transparence, et notamment la fameuse loi de 1977 a été amendée en février, juste avant les grandes élections du printemps dernier. Il y a eu une modification introduite par cette loi rectificative, qui ne plaît pas beaucoup aux sondeurs, qui ne leur plaît même pas du tout : la notice qui sert de base au contrôle de la commission des sondages et que le sondeur doit déposer de par la loi à chaque fois qu'il y a publication de simulation d'intentions de vote, ce document peut dorénavant être consulté par tout un chacun, par vous, par chacun des membres ici présents, qui peut demander à le voir. Les sondeurs n'aiment pas beaucoup ce genre de choses. Comment faut-il d'abord appliquer ça ? Il y a une règle qui a été définie par la commission des sondages en accord avec la profession : ce n'est pas évident. Et quelle pédagogie ? Problème des fourchettes et expliquer en plus de ça que même quand on dit une fourchette il n'y a que 95 chances sur 100 pour que le résultat vrai soit dans la fourchette, tout ça est assez compliqué. Dans certains cas, qui vont au delà du simple sondage, lorsqu'il y a des projections en sièges, des simulations, là, honnêtement, certains supports le font, il faut une notice explicative qui prend une bonne demi-page de magazine si on veut expliquer en détail comment sont faits ces calculs.

Donc le deuxième problème c'est un peu un problème des modalités de publication, avec les deux mots « transparence » et « pédagogie ». Jusqu'où faut-il aller ? Il y a quand même une évolution et une tendance générale à aller vers davantage de transparence. Et à tout ça bien sûr la profession journalistique est largement associée, parce que nos amis journalistes n'aiment pas beaucoup les fourchettes. Ils veulent un chiffre. BVA donne combien ? L'IFOP donne combien ? Si on montre des fourchettes, c'est compliqué. Mais ça peut être utile parce qu'il y a toujours le problème du troisième homme. Le problème, c’est que s’il est dans la nature des choses, c'est-à-dire, du corps électoral, qu’il y ait un score extrêmement serré entre le premier le deuxième et le troisième, aucun sondage ne peut donner à l'avance le tiercé gagnant. Ça n'est pas possible. C'est le deuxième type de problème.

Et le troisième type de problème, qui est un peu plus limité comme enjeu professionnel, c'est le statut des chiffres publiés, le statut des chiffres et en même temps des gens qui établissent ces chiffres. En fait actuellement, ça commence à être connu, notamment à partir de la vulgarisation du mot redressement (ce qui est un vocable d'ailleurs peut-être impropre du point de vue de la communication, qui donne l'impression qu'il y a des tripatouillages et des magouilles sur les chiffres et qu'on ne sait pas bien ce qui sort). En fait, dans l'état actuel des choses, les chiffres qui sont publiés, ce ne sont pas les chiffres qui sortent directement des ordinateurs, mais ce sont des chiffres revus et corrigés par des calculs arithmétiques de redressement, et ensuite qui sont revus et finalisés par un politologue. Et moi je suis de ceux qui pensent que ce n'est pas très sain que ce soient les mêmes qui soient les sondeurs et les politologues. Cela rejoint le statut des chiffres. Je ne veux pas entrer dans la cuisine traditionnelle, mais pourquoi ne pas faire ce que certains tandems font assez bien ? Qu'il y ait des communiqués de sondeurs : ce sont des statisticiens, ils travaillent sur l’enquête avec des méthodes arithmétiques et mathématiques de calcul de redressement... On publie les chiffres et c'est signé par l’institut de sondage ou par le patron de l'institut. Et à côté et en même temps, on publie des commentaires de politologues qui disent : compte tenu de ça, si on a publié des fourchettes, le politologue peut dire « je pense que compte tenu du contexte, de toutes les informations qu'on peut avoir, de l'expérience qu'on peut avoir depuis 30 ou 40 ans de ce genre de choses, je pense que c'est plutôt ça... il peut éventuellement donner quelque chose qui ressemble plus à un pronostic qu'un résultat de sondage. Parce qu'il y a actuellement une confusion complète entre ce qui sort du terrain, ce qui est redressé, et l'avis des politologues. Ceci d’ailleurs ne facilite pas le travail de la commission, dont le rôle est de vérifier si techniquement ça tient la route. Je m'arrête là pour l'instant, mais je suis disponible pour aller plus loin si vous le désirez, ou répondre à des questions. (applaudissements)

J.-R. B. : Si je comprends bien, le sondeur honnête livre un produit du genre « Untel a 95 % de chances d'obtenir entre 48 % et 54 % de vote aux prochaines élections toutes choses égales par ailleurs, et si les électeurs ne font pas de farce ». Est-ce bien ça ?

J. A. : Oui, c'est bien ça.

J.-R. B. : Le journaliste, qu'est-ce qu'il en fait ? Mesdames et Messieurs les journalistes, vous avez la parole et les micros.

L.-M. Horeau : Je crois que j'ai tort de prendre la parole, parce que le Canard Enchaîné a une particularité, et ça lui donne une liberté pour parler des sondages, c'est qu'il n'en publie jamais. On n'a jamais acheté un sondage et on n'en achètera jamais. Ceci étant dit, j'ai un point de désaccord avec vous, Monsieur, quand vous dites qu'on arrêtera de faire des sondages : je pense que tant qu'il y aura des gens pour les acheter, on continuera à en faire. Et comme ça se vend très bien, c’est souvent une locomotive pour les journaux de publier un sondage. Ça fait parler du journal, ça nourrit les commentaires et c'est un peu désolant quand on voit la déroute, il faut appeler les choses par leur nom, des sondages dans les dernières élections, notamment pour la présidentielle. Pendant les mois qui ont précédé, les politologues distingués se nourrissaient de sondages, dont on s'est aperçu qu'ils étaient ineptes… on se demande si les commentaires politiques n'étaient pas un peu... Comment ai-je dit ? Ah ! oui, ineptes...

C'est un vrai problème, et en même temps les journaux sont très taisant sur le sujet. Pour une raison simple, c'est qu'il y a une connivence totale (c'est ce que vous disiez) entre les sondeurs qui sont leurs prestataires de services, et les journaux qui achètent, qui sont les clients. Ils sont forcés de s'entendre, et donc vous verrez très rarement dans un journal une descente en flammes des instituts de sondage. Ou alors de la concurrence, mais pas de celui qui est le fournisseur habituel. Et donc Pénombre a là un champ particulièrement riche, précisément parce qu'il n'est exploité par personne ou quasiment.

J.-R. B. : Ça, c'est donc une opinion d'un journal qui ne publie pas de sondage et qui dit pourquoi. Nous avons parmi nous des représentants de journaux, ou du moins des journalistes qui travaillent dans des journaux qui publient de temps en temps des sondages. Quel est votre point de vue là-dessus, y a-t-il débat au sein de vos rédactions ? J'imagine qu'il y en a. J'imagine aussi que vous ne pouvez pas tout nous dire ?

A. Reverchon : Oh là là ! Bien sûr qu'il y a des débats : il y a des débats féroces, évidemment. Le problème c'est qu'ils deviennent féroces une fois qu'on s'est aperçu que les sondages étaient ineptes, mais pas avant. C'est le premier problème. Mais le résultat, c'est qu'il y a une autolimitation quand même très forte...

J.-R. B. : Il va y avoir une autolimitation ou il y a eu une limitation ?

A. R. : Il y en a déjà en ce qui nous concerne, on a déjà pas mal diminué...

J.-R. B. : Parce que ce n'est pas la saison... c'est un phénomène saisonnier ?

A. R. : Pour les sondages politiques, oui peut-être, mais en même temps, on fait des sondages sur tout, sur tout, sur tout... et le problème c'est qu'on s'aperçoit effectivement que, dès qu'on fait un sondage sur n'importe quel sujet, c'est repris à la radio, à la télé, et que c'est ça qui fait vendre le journal. Parce que pour le lecteur et le public, ce besoin de chiffres au sens le plus profond, pour se faire une conviction, il est consubstantiel à la façon dont les gens se nourrissent de l'information. Ils veulent du chiffre et nous on vend un journal.

J.-R. B. : Donc le lecteur veut du sondage...

F.Dixmier : Il veut du sondage pour se faire une opinion ? Et on fait des sondages de son opinion, donc...

J.-R. B. : Est-ce que vous êtes d'accord avec ce point de vue ?

F. Ernenwein : Absolument, mais c'est maintenant devenu un secret de Polichinelle. En fait, les sondages sont beaucoup plus qu’un instrument d'investigation pour connaître l'opinion. Ils sont un instrument de commu-nication pour les titres, dans la mesure où, si on fait la chaîne ou l'histoire d'un sondage dans les journaux, ça donne la chose suivante : un journal publie un sondage, et donc là, il y a intérêt à ce qu'on ne soit pas dans les fourchettes pour que ça traduise quelque chose. Si on est dans les incertitudes, le sondage n'a pas d'intérêt. Il faut qu'il tranche une question. Un sondage doit trancher une question de société, et pas seulement politique, parce qu'il ne faudrait pas croire que l'usage des sondages soit réservé au champ politique. En fait les sondages qui marchent le mieux aujourd'hui, c'est « 60 % des femmes pensent que » ou « 30 % des hommes...», sur le jardinage ou n'importe quoi... L'usage n'est pas politique. Une fois donc que le sondage est publié dans un journal, quand ça concerne une question de société ou des pronostics électoraux ou des évaluations de rapports de force électoraux, c'est à peu près la certitude que le journal va être cité par tous les autres journaux, qu'il parle des élections, du jardinage ou de la cuisine. Et donc, c'est la boule de neige... Mais effectivement, la lucidité des journalistes est assez grande sur la valeur scientifique ou la pertinence des sondages. Je rappelle quand même que les journaux, ce ne sont pas seulement des œuvres intellectuelles mais ce sont aussi des entreprises, avec des budgets et des comptes, et que maintenant, le sondage est devenu d'usage courant comme instrument de communication.

J.-R. B. : Vous partagez donc à peu près ce point de vue. Donc je vais être obligé de me retourner vers les lecteurs que nous sommes tous. Donc c'est de la faute aux lecteurs ? Au lecteur électeur ? Les lecteurs ont la parole…

J. R. Suesser : Je n'arriverai peut-être pas à répondre directement à ta question.

J.-R. B. : J'imaginais bien...

J. R. S. : J'avais été assez frappé le 23 avril au matin en ouvrant deux journaux : l'un s'appelle Libération l'autre s'appelle Le Figaro, qui publiaient des tableaux très grands, très détaillés qui avaient l’avantage de ne pas être des résultats de sondages classiques, mais qui étaient ce qu'on appelle des sondages « sortie des urnes », c'est-à-dire, qu'on demandait à des gens ce qu'ils venaient de faire, non pas ce qu'ils allaient faire trois semaines plus tard (on a le droit de changer d'avis), mais ce qu'il venaient de faire. Et on en interrogeait beaucoup : puisqu'ils sont tous au même endroit, ça ne coûte pas cher de poser des questions à beaucoup de gens. Donc on avait un échantillon qui était non négligeable. Et donc on se permettait des nomenclatures qui étaient relativement détaillées. Alors il se trouve que dans les deux journaux, il y avait la possibilité de regarder la même information : Les 18 - 24 ans qui ont voté Le Pen.

Il y a pas mal de gens d'ailleurs qui ont voté Le Pen, donc, en plus, on peut penser que dans la case qui permet de le construire, on a pas mal de monde. Et là, c'est intéressant, parce que je ne me souviens plus lequel a dit quoi, mais Libération, par exemple, a dit 12 %, le Figaro 16 % (ou peut-être l’inverse). Il y a déjà une belle différence !

Je me dis que, puisqu'on parle beaucoup des sondages et de leur échec, normalement, le lendemain, on va en trouver des traces. Mais alors, ce qui est encore mieux, c'est que le soir même, j'écoutais une radio qui s'appelle France Inter, et, ô miracle, ils décident de parler des 18 - 24 ans qui ont voté Le Pen ! Et ils étaient... 20 % ! Et c'était aussi un sondage sortie des urnes... Alors là on va de 12 à 20.

Mais, on est en pleine période où on fait de la politique. Donc, c'est forcément un moment où il est intéressant de savoir si les jeunes votent plus Le Pen que la moyenne de la population, s'il y a beaucoup de gens qui votent Le Pen, alors qu'il y a beaucoup de jeunes qui sont dans la rue. Donc on est au centre d'un débat politique. Et ça, c'est intéressant, parce que dans les jours qui suivent, eh bien ! figurez-vous que dans tous les organes de presse, 20 % des jeunes votent Le Pen.

Et là, je me pose une question. Il y a des questions techniques, parce que je suppose (j'ai peut-être tort) que le tableau en question est moins tripatouillé que d'habitude. Puisque c'est un sondage sortie des urnes, on sort des tripatouillages qui nous étaient indiqués tout à l'heure. L'écart de 12 à 20 c'est beaucoup, avec un échantillon qui était, je crois, de 4 000. Et ce qui est beaucoup plus intéressant pour moi, c'est que finalement aucun journaliste n'a décidé de continuer avec son chiffre. Les journalistes sont quand même là pour nous informer, d’abord, et pour nous aider à être citoyen ensuite. Ils ont pris le chiffre qui était politiquement le plus...

J.-R. B. : Ceux qui étaient à 12 % sont passés à 20 % parce que c'était plus sexy ? On a « politiquement arrondi » à 20 %... Techni-quement, est-ce raisonnable qu'il y ait un écart entre 12 et 20 sur un sondage sortie des urnes ? Alain, par exemple, toi qui as tripatouillé des choses comme ça dans des sombres cuisines obscures...

Alain Tripier : Non. Il est possible que, lorsqu’on cherche dans des catégories détaillées, comme les 18 - 24 ans, même sur un sondage de 4 000, on se retrouve avec des échantillons par exemple pour les 18 - 24 ans qui sont assez minables. Mais il ne faut pas oublier de dire que les sondages sortie des urnes sont redressés aussi. Parce qu'en interrogeant en sortie des urnes un échantillon du corps électoral, si vous prenez le résultat brut, vous ne retrouvez pas les résultats du scrutin. C'est-à-dire que vous avez une tranche de l'opinion, en général de l'opinion extrême, notamment de l'extrême droite, qui ne restitue pas son vote, et qui dit autre chose. Donc, on est obligé, en sortie d’urne comme pour n'importe quel autre sondage, de redresser.

J.-R. B. : Alors l'explication n'est-elle pas que l'on redresse d'après la manière de mentir qu'on a constaté à l'élection précédente, et que les 18 - 24 ans, eux, n'ont pas voté à la dernière, et on n'a rien sur eux, et ils n'ont pas la même manière de mentir que leurs prédécesseurs ?

A. T. : Non, c'est-à-dire que, sans vouloir assommer tout le monde avec des considérations techniques, il y a plusieurs étapes dans le redressement, il y a plusieurs variables dans le redressement. Il y a les variables socio-démographiques, plus la reconstitution des votes aux précédentes élections. Alors quand on fait des sorties d’urnes c’est facile puisqu’on reprend les résultats qui viennent d’être obtenus. Au niveau des variables socio-démographiques on essaye de reconstituer à peu près ce qu’est la population française. Or dans un sondage sortie des urnes, on n'est pas du tout sûr d'avoir une bonne représentativité des 18 - 24 ans. Peut-être que les 18 - 24 ans se sauvent en courant... On peut avoir des surprises, et ça peut expliquer des différences énormes. La différence de 12 à 20 % dans le cas présent…

J. Goffredo : Mais quelle est la précision d'un sondage ?

F. Dixmier : Ça dépend... du vent...

A. T. : Il est beaucoup plus difficile quand vous vous trouvez dans une situation 50-50 d’avoir quelque chose de fiable, que quand vous êtes dans une situation 20-80.

J. G. : Mais quand on nous dit 16,5 est-ce qu'on a le droit d'indiquer le « ,5 » ?

J.-R. B. : Non sûrement pas !

A. T : Sur 1 000 interviews quand vous êtes à 50-50, c'est ± 3, donc quand on vous dit 49 % contre 51 % sur un sondage de 1 000 personnes, ça ne veut rien dire.

J.-R. B. : Les 16,5 %, si j'ai bien compris ce qui nous a été dit jusqu'à maintenant, doivent être interprétés comme : vous avez une chance sur vingt de vous tromper si vous dites que c’est entre 13,5 et 19,5.

A. T. : Voilà.

J.-R. B. : Ça relativise un peu, et ça n'est plus très consommable en matière journalistique.

R. Padieu : En faisant la moyenne de trois, cela devient plus solide (rires).

Un participant : Je n'ai jamais été sondé, et je voudrais savoir comment ça se passe. À la sortie des urnes, j'imagine que c'est un face-à-face direct avec le sondeur. Donc si j'ai voté Le Pen, je ne vais peut-être pas le dire. Si je suis sondé chez moi, au téléphone, je le dirais peut-être plus facilement. Et si, en plus, il y a un bulletin à remplir... Comment ça se passe, est-ce qu'on est face-à-face avec le sondeur ou pas ?

A. T. : Selon les instituts, ce n'est pas toujours la même méthode. Il y a de très nombreuses méthodes... Aujourd'hui on fait beaucoup de sondages par téléphone, alors qu'il y a une dizaine d'années on n’en faisait pas. Les sondages politiques qu'on faisait dans les règles de l'art à une époque, c'était des sondages à domicile, avec un questionnaire passé en face-à-face et on faisait même des vraies simulations de vote, c'est-à-dire que l'interviewé mettait un bulletin dans une enveloppe sans que l'enquêteur ne le voie, c'était un moyen d'essayer d'être le moins influençant possible. Tout ça a été abandonné depuis longtemps, et on travaille beaucoup aujourd'hui par téléphone. On devrait déjà en effet se poser une première question, au niveau du recueil de l'information : quand vous avez 16 candidats, et que l’enquêteur au téléphone lit la liste des 16, c'est un peu compliqué pour la personne qui répond. Sauf si elle se situe d'emblée dans les grandes formations politiques, ou si son choix est déjà fait. Mais on a bien vu, comme l'a dit Françoise, les votes contestataires ou protestataires ont fait jusqu'à 40 % des estimations de vote dans les sondages, donc il y avait en effet un pourcentage non négligeable des interviewés qui se « promenait » entre les 16 candidats, ce qui est extrêmement complexe quand on fait une interview téléphonique. Vous avez aussi un autre système, quand on fait du face-à-face, du sondage à domicile, on n'utilise plus aujourd'hui un questionnaire papier, mais un micro-ordinateur portable, c'est-à-dire qu’on arrive chez les gens, on s'installe chez eux, et pour peu que la batterie de l'ordinateur portable soit un peu faiblarde on demande aux gens en plus de pouvoir brancher la prise. C'est toute une gestuelle et une démarche très différente de celle qui existait auparavant, où les trois quarts du temps, l'enquêteur restait sur le pas de la porte et pour un certain nombre de personnes, là aussi on a un biais. Vous avez des personnes âgées ou des personnes craintives qui n’osent pas laisser entrer les gens chez eux. Donc l'enquêteur qui restait sur le pas de la porte, finalement, c'était peut-être moins mauvais pour les biais d’enquête, que l'ordinateur sous le bras, et de s'installer dans une chaise du salon. Donc déjà à ce niveau-là, selon le type d'élections dans lequel vous vous trouvez, ou selon que vous êtes au premier tour ou au deuxième tour, la fiabilité du recueil de l’information va changer du tout au tout.

J.-R. B. : Si je comprends bien, à nos 3 % en plus ou en moins qui ne sont dus qu’à l'échantillonnage statistique, qui est l'incertitude incompressible quoi qu'on fasse, il faut ajouter une incertitude née de la manière de déjouer les mensonges des gens...

J. Antoine : Je le disais tout à l'heure, il y a de plus en plus de raisons qui font qu'il y a et qu’il y aura des écarts entre ce que disent les gens même deux jours avant le vote et ce qu'ils feront le jour du vote. En plus les gens se décident de plus en plus tard. C'est vrai pour les vacances, c'est vrai pour les achats de consommation, et c'est vrai aussi pour les votes. Donc deux jours avant, la proportion de gens qui ne sont pas encore décidés est encore assez considérable, elle peut être de l'ordre d'un tiers des électeurs. Il y a également des phénomènes qui jouent aussi un peu sur les réponses aux votes antérieurs. Certains ont appelé ça les réactions de l'électeur stratège. Maintenant les gens interrogés avant le sondage savent que ça paraîtra dans les journaux, que les états-majors politiques auront connaissance de ça, est-ce que j'ai intérêt à dire vraiment ce que seront mes véritables intentions de vote ? etc. ça devient de plus en plus difficile...

Et puis alors les sondages sur le terrain en face-à-face deviennent de plus en plus difficiles avec les digicodes, les difficultés d'accès aux maisons. Pourquoi est-ce qu'on fait du téléphone aujourd'hui alors qu'on n’en faisait pas il y a dix ou vingt ans ? Parce qu'il y a dix ou vingt ans, le taux d'équipement en téléphone était insuffisant. Maintenant le taux d'équipement de toutes les catégories est supérieur à 80 ou 90 %. Le problème, maintenant, ce sont les portables. Les jeunes deviennent de plus en plus difficiles à joindre par le téléphone fixe, parce qu'ils ont tous les habitudes du portable. Et par téléphone il y a aussi d’autres difficultés. Par exemple pour trouver la bonne personne dans le foyer : il y a une tendance évidemment à ce que la personne qui décroche le téléphone la première soit le plus probablement la personne interrogée, et ça ce n'est pas ce qu'il faut. En Allemagne par exemple, on a trouvé ce qu'on a appelé un biais culturel c'est-à-dire que les gens les plus modestes même s'ils ont le téléphone ne sont pas à l'aise au téléphone. Historiquement d’ailleurs le succès de Gallup en 1936 par rapport au sondage qui s'appelait le vote de paille que faisait le Litterary Digest avec 2 millions de personnes interrogées, le succès de Gallup, c'est qu’il avait montré que les sondages par les magazines, les sondages postaux etc. et toutes les méthodes qui étaient employées favorisaient les gens culturellement aisés, donc dans la culture américaine, les républicains conservateurs, et en fait le succès de Gallup en 36, c'est que pour avoir la bonne représentativité de l'ensemble des électeurs, y compris des électeurs démocrates, il fallait rencontrer les gens de condition modeste, et la seule manière à l’époque de les rencontrer, c'était sur le terrain et chez eux. Il subsiste actuellement encore, même dans nos pays évolués modernes développés, ce que les professionnels appellent des biais, c'est-à-dire des espèces d'erreurs structurelles, de défauts structurels des échantillons de téléphone par rapport à l'enquête sur le terrain bien faite.

J.-R. B. : Merci.

F. Lehobey : Je crois qu'il y a au moins deux types de sondage qui existent. Il y a les sondages qui sont commandés par les journaux et qui sont effectivement publiés et sur lesquels un regard critique, que ce soit de Pénombre ou des lecteurs peut s'exercer, mais il y a aussi d'autres sondages, qui sont les sondages commandés par Matignon ou qui sont commandés par les états-majors de campagne. Je pense qu'ils ont existé, qu'ils sont très nombreux. Il n'y a qu'à regarder les comptes de campagne des différents candidats, pour voir qu'ils y ont effectivement eu recours. Sur ces sondages-là, il n'y a aucun critère démocratique, ce n’est pas une question assujettie aux règles de la commission dont on a parlé tout à l'heure…

J.-R. B. : Non, ils ne sont pas publiés, ceux-là...

F. L. : Ah voilà ! Et ces sondages de l'ombre ont eu beaucoup d'importance pour l'orientation de la communication, et la constitution du programme et des discours du candidat.

J.-R. B. : D'une certaine manière c'est rassurant qu'il n'y ait pas que l'électeur qui soit dupe, il y a aussi l'élu... Non en fait ça ne rassure pas !

Un participant : Sans entrer dans les détails techniques, il me paraît indispensable de rappeler tout de même que j'ai appris à l'école, il y a longtemps c'est vrai, qu'il y a deux sortes de sondages : les sondages probabilistes, dans lesquels on peut fournir une fourchette d’incertitude, et les sondages par quota, dans lesquels on ne peut pas fournir une zone d'incertitude. Or les sondages politiques sont tous de la deuxième catégorie. Donc on ne peut donner aucune indication sur l'incertitude des résultats de ce sondage. Je parle sous le contrôle du maître Jacques Antoine.

J.-R. B. : C'est de pire en pire, on a vu la fourchette s'élargir, s'élargir, et maintenant elle s'évanouit... (rires) On ne sait même plus l'incertitude. C'est vraiment le crépuscule des sondages !

J. Antoine : Réponse : on le fait quand même (rires) ; on le fait quand même parce que l'expérience montre que c’est assez voisin, et que le quota bien fait (bien sûr il y a une façon de faire des quotas qui ne veut rien dire) est même quelquefois très compétitif par rapport à l'échantillon aléatoire. On ne peut pas entrer dans les détails techniques, mais la France est le pays où on ne peut pas faire de l'aléatoire, parce qu'on n'a pas de liste correcte qui soit accessible pour faire des échantillons. Il y a l'annuaire du téléphone, avec là aussi ses biais : le biais du téléphone, la liste rouge, les portables, etc.

J.-R. B. : EDF ? Les abonnés au gaz ?...

J. A. : Non, on ne le fait pas. Si on le faisait, EDF-GDF, c'est encore des foyers et non pas des individus. Il fut un temps où les sondeurs arrivaient à faire des échantillons sur les listes électorales en allant dans les préfectures, mais maintenant c'est devenu beaucoup plus serré, et c'est interdit et impossible.

Une participante : Excusez-moi, une petite question. J'ai pensé au trappeur quand Jacques Antoine a évoqué le fait que dans les redressements, on avait établi que les gens de gauche répondaient plus facilement aux sondages. Sans forcément entrer dans la technique que je ne comprendrais pas, comment on fait ça ? C'est le trappeur !

J. A. : On le sait précisément par des questions d'une part de préférence partisane, et, d'autre part, par des questions un peu plus précises sur comment vous avez voté à telles ou telles dernières élections législatives ou présidentielles. Et comme pour ces questions de souvenirs de vote on a par ailleurs des statistiques précises, les statistiques électorales du ministère de l'Intérieur ou du Conseil Constitutionnel et tout ce qu'on voudra, qu'on évoquait tout à l'heure, on compare ce qui revient du terrain comme structure politique avec ce qu’on a dans les statistiques exactes depuis 30 ou 40 ans. Pour tous les instituts c'est toujours comme ça, il y a toujours un peu trop de gens de gauche et pas assez de droite. (pour les instituts, n.d.l.r.)

J.-R. B. : Ce qui trouble particulièrement, c'est quand la manière de mentir évolue entre deux élections. Si les gens mentent toujours pareil, on sait comment redresser. Tout à l'heure je pensais qu'il y avait aussi des Indiens et des trappeurs qui votent, quand vous avez parlé de comportement stratégique de l'électeur. On se demande si on vote pour la personne qui vous plaît le plus ou si on vote pour faire en sorte que compte tenu de toute cette machine de Tinguely, ce soit la personne qui vous plaît le plus qui finisse par être élue. Du coup on ne vote plus exactement pareil, ça devient compliqué.

J. Goffredo : Moi j'aimerais poser une question aux journalistes : ils disent qu'ils publient des sondages pour faire du chiffre, et qu'ils savent lucidement que ces sondages sont faux. Ça je le comprends. Ce que je ne comprends pas, c'est pourquoi ils achètent ces sondages ? ils devraient les inventer... (rires, applaudissements)

J.-R. B. : La question est posée...

F. Ernenwein : On peut réfléchir et pousser le paradoxe : la réponse est simplement que malgré toutes les erreurs que l'on peut repérer dans les sondages, ils nous disent quand même quelque chose de l'état des sociétés dans lesquelles ils sont faits. Quelques plantages monumentaux, c'est d'ailleurs l’argument utilisé par les sondeurs, n'empêchent pas que, bien utilisés, ils donnent une photographie de l'opinion sur la question qui est posée. Le débat peut certainement porter sur l'usage des sondages ; sur l'utilité des sondages dans une société ouverte où il y a des décisions à prendre, là je parle des responsables politiques, ça ne me paraît pas être à débattre...

J.-R. B. : Dans ce que vous dites, vous parlez en même temps des sondages électoraux et des sondages sur les autres sujets. Je ne crois pas qu'on puisse exactement mettre ça sur le même plan. Sonder les gens pour savoir s'ils préfèrent ceci ou cela, le yaourt à la pomme ou je ne sais pas quoi, en somme, c'est l'étude de marché politique, ça peut donner des indications utiles, même si on se trompe de 6 points, ce n'est pas très grave. En revanche dans notre discussion, on voit bien qu'à partir du moment où il va y avoir une élection, qui est le sondage pour de vrai et qui est un processus qui fonde notre cohésion républicaine, le sondage devient perturbateur beaucoup plus que si c'est un sondage sur « est-ce que vous avez peur des OGM ? ». On entre dans des rétroactions entre le sondage et l’élection, et ça pervertit le processus électoral.

F. E. : On passe beaucoup de temps à pointer les défauts des sondages, et ça me paraît utile, mais dans la société, si on prend l'état de l'opinion, pas forcément mesurée par les sondages, mais à travers ce qui s'exprime dans les reportages, il y a des choses qui remontent de l'opinion. Et aussi avec les journalistes, je le dis au passage.

J.-R. B. : Merci, c'est pour cela que les gens achètent les journaux...

F. E. : Des choses remontent de l'opinion par les sondages, et c'est quand même intéressant de les voir, et je ne vois pas pourquoi on s'abstiendrait.

Un participant : J'ai peur de manipulations perverses, du style « comme c'est Untel qui va gagner, j'irai aux champignons », ou alors « c'est Untel qui va gagner, alors mobilisons-nous parce qu'il ne faut pas qu'il gagne »... Enfin c'est pervers. Je crois que les gens réagissent un peu comme ça.

J.-R. B. : C'est bien le sujet...

F. E. : J'avais perdu un peu le fil de ma démonstration, mais je voulais simplement souligner qu'il y a eu un débat récemment autour des sondages, et l'opinion s'est exprimée. La dernière semaine de campagne, les sondages n'étaient pas publics, et réservés jusqu'à récemment à un certain nombre « d'initiés ». Aux yeux de beaucoup de gens, ça paraissait scandaleux, et le désir de transparence s'est exprimé, à tel point que le législateur a fait ce qu'il fallait pour que ce monopole des sondages réservés à quelques-uns disparaisse. Donc la société est ambiguë par rapport aux sondages et tout le monde n'est pas sur la ligne : « ça ne sert à rien, c'est inutile, c'est de la manipulation».

Une participante : Vous venez de dire, et c'est probablement vrai, que les sondages en période électorale perturbaient l'élection. Est-ce que ça, ce n'est pas de toute façon très grave, que le sondage soit exact ou inexact ? La question de l'exactitude du sondage est très secondaire, de toute façon, si l'élection est perturbée.

J.-R. B. : La question est posée, je n'ai pas la réponse...

Bernard Lacombe : Excusez-moi, c'est un peu là-dessus que je voudrais parler. Le sondage, de toute façon, les gens ne sont pas cons et vont modeler leur attitude en fonction des résultats. Donc, en dehors de toutes les erreurs et de tous les problèmes de manipulation, ça c'est incontrôlable par les sondages, et c'est là où les analystes politiques peuvent intervenir. Par exemple on dit « les gens sont contre les OGM ». Moi je me fous des OGM. J'entends dire que 60 % des gens sont contre les OGM. Je vais peut-être, soit réfléchir pour, soit réfléchir contre. C'est-à-dire, que je vais modeler mon opinion en fonction des résultats du sondage. Gramsci avait bien dit un truc très précis là-dessus : à partir du moment où les gens sont conscients, la statistique, les résultats des élections et les statistiques, etc. ne peuvent plus être pris comme ça, ce n'est que la photographie d'ici et maintenant, et demain, on va prendre en compte la photographie d'aujourd'hui.

J. Antoine : Je pourrais ajouter un petit mot sur la question fréquemment évoquée de l'influence des sondages publiés sur les comportements des électeurs. Alors c'est une question scientifiquement très difficile et qui n'est pas encore complètement tranchée. Il y a eu beaucoup de travaux là-dessus, notamment aux États-Unis qui étaient en avance sur nous depuis les années 40, et une récente brochure professionnelle ESOMAR (pour ceux qui sont intéressés, je pourrai vous donner les références), a fait le point sur tout ça. Évidemment, c'est fait dans une optique et une stratégie qui étaient assez claires et qui étaient affichées et qui était que les sondeurs s'élèvent contre toutes les limitations à l'exercice de leur profession, c'est clair. Mais cette brochure a fait le recensement, le point de tous les travaux qui ont été faits sur ce thème et ils ont trouvé huit types possibles de réaction des électeurs sur la publication des sondages. Les deux principaux, les plus connus, sont :

- « voler au secours de la victoire » : voter pour celui qui a le plus de chances de gagner,
- et l'inverse : venir à la rescousse du candidat du parti qui est le plus malchanceux et qu'on aime bien quand même.

J.-R. B. : Ce qui, vous le constatez, permet de maintenir et même d'agrandir l'incertitude puisqu'il y a deux effets contraires…

J. A. : Ceci pour dire, on est sur les tous petits pourcentages, mais on sait que dans certains votes serrés, c'est quelquefois à très peu de choses près qu'une élection se perd ou se gagne.

Jean-Paul Jean : Une correction peut-être d’abord. Pour la liberté des sondages jusqu'à la veille des élections, ce n'est pas le législateur qui a décidé, mais la Cour de Cassation, au nom de la liberté d'expression et de l'égalité d'information.

J.-R. B. : Merci M. le magistrat.

J.-P. J. : Ensuite, à propos du lien entre sondages d'opinion politique et ce que disait monsieur sur les tendances lourdes, qui ont influencé le vote. Je suis très favorable à tous les sondages qui aident à connaître les tendances lourdes de l'opinion. Ce que je ne comprends pas, en revanche, sur deux thèmes qui ont beaucoup joué sur le vote, celui de la sécurité qui est monté très fort, mais aussi celui de la rupture de l’opinion sur le thème des 35 heures, c’est que quinze jours après, tout un tas de gens expliquaient que c’était sur les 35 heures que les électeurs avaient voté contre Jospin. Mais dans les sondages, ça n’était jamais sorti comme une tendance lourde de l’opinion. Pourquoi est-ce que ça ne sort pas avant le vote, alors qu’après ça sort comme une déferlante explicative, en plus de l’insécurité ?

A.T. : C’est que dans les sondages préélectoraux on pose très peu de questions, hormis les intentions de vote...

M. Galan : J'aimerais enchaîner là-dessus. Depuis un petit moment j'assiste à une vague de perplexité : les chiffres sont douteux... L'argent, n'en parlons pas... Les femmes sont écartées... Le pouvoir est suspect... Les sondages, ça ne sert à rien... Quelqu'un nous dit : attention, attention, l'histoire de la parité il ne faut pas que ça sorte d'ici... C'est un peu comme si soudain, on était dans une sorte d'association... je ne dis pas de malfaiteurs, mais dans quelque chose qui comploterait. C'est un peu comme si on était en train de constater un jeu social hors la loi, et que tout à coup, on se sentait même contaminé par ce constat.

Ce que j'ai envie de dire, c'est que la politique ce n'est pas de la pâtisserie: c'est de la violence, c'est des rapports de force, c'est des rapports de pouvoir à l'état brut et que ce qui anime l'ambition de tous les politiques, hommes et femmes, gauche et droite, c'est le pouvoir, les privilèges etc. Je crois qu’il ne faut pas oublier cela. Mais aussi, ce qui me semble intéressant dans les constats que nous avons faits à ce sujet, c'est que les gens sont intelligents. Le peuple de France est intelligent, il a compris comment ça marche... Donc moi, tout cela ne m'inquiète pas du tout : je pense qu'effectivement c'est au contraire un signe de bonne santé mentale, que de savoir tricher avec les sondages. Ceci dit, le peuple va plus vite que les journalistes. Les journalistes auraient besoin de s'inspirer de quelques réactions observées de la part du peuple. Pour ne pas être trop long, je dirai que le sondage mesure de plus en plus quelque chose de très fluctuant qui serait du côté du désir. Quelqu'un avait dit : je présente ma candidature parce qu'ils le désirent. Il n’est plus là. Quelqu'un d'autre dit : « c'est la passion » et on sait bien que la passion, c'est le partage. Merci.

J.-R. B. : Encore deux interventions car on va bientôt avoir faim !

Camille Sarrot : Mon intervention porte un peu moins sur les sondages. J'ai une double casquette : je suis à la fois journaliste et producteur de chiffres. Je suis attachée de presse à l'INSEE. Du coup, ça donne vraiment les deux casquettes, puisque, à l'INSEE, on essaye de donner des chiffres compréhensibles pour tout le monde.

J.-R. B. : Agent double…

C. S. : Agent double en effet... Ce qui m’épate, depuis le début, c'est qu'on n’arrête pas d'opposer sens et chiffres, en disant entre autres que trop de chiffres n'ont pas de sens et avec les démonstrations brillantes qui ont été faites tout à l'heure. D'ailleurs, je voudrais dire en passant que les chiffres ne dépassionnent pas du tout. Ça suscite plutôt les passions que le contraire, du moins c'est ce qu’il m'a semblé.

Pas assez de chiffres, c'est pareil, cela n'a strictement aucun sens, et là, je pense aux programmes politiques. Je me rappelle très bien plusieurs programmes : « on va favoriser la création d'entreprises ». Vous êtes gentils mais vous n'avez pas encore dit comment... Donc ça, ça m'avait fait vraiment énormément réagir.

On n’arrête pas de dire depuis le début que les journalistes ne produisent pas de sens en prenant trop de chiffres ou pas assez de chiffres, mais c'est une démarche qui n'a rien à voir. Il me semble qu’en cherchant des chiffres, ils ne cherchent rien d'autre que du sens. C’est l’objectif, et c'est bien en tout cas le même que le nôtre, producteurs de chiffres : c'est de donner du sens.

Une toute petite anecdote : tout à l'heure j'ai rempli l'information du jour sur le site Internet de l'INSEE, et je me suis posé la question suivante : « est-ce qu'il vaut mieux mettre un texte pour expliquer ce qu’est un ouvrage, ou est-ce qu'il faut mettre des chiffres bien forts, bien marquants, bien racoleurs ? Si vous allez sur le site Internet de l'INSEE, vous verrez comment j'ai résolu la question (avec des lettres en l'occurrence) : entre les chiffres et les lettres ce coup-ci, j'ai choisi les lettres, mais je me suis dit que lundi matin, je mettrai des chiffres.

J.-R. B. : Voilà, vous êtes donc tous invités sur le site Internet de l'INSEE...

C. S. : Ce n'était pas pour faire de la pub, mais c'est fait quand même... En fait, il y a un truc qui m'a amusée. Je pense que le chiffre avait peut-être du sens quand il était incantatoire, et je pense à la conjoncture... Ou en tout cas au budget.

J.-R. B. : vous aurez tous compris qu'il ne s'agit pas de la position officielle de l'INSEE... Nous sommes entre nous. Pourrions-nous demander à la Société Française de Statistique ce qu'elle en pense, par exemple. Benoît Riandey la représente parmi nous. Tout cela est-il bien sérieux pour un statisticien réputé sérieux ?

Benoît Riandey : Je ne représente que moi-même et j'espère ne pas choquer mes collègues de la Société Française de Statistique. Je vais chercher dans le genre raisonnable même si ça ne sera pas très drôle.

Les résultats du 21 avril ont surpris et engendré beaucoup de discussions. De nombreux citoyens se sont sentis trompés par les sondages. Plus précisément, par qui ?

La question n’est pas si simple : aucun sondage national ne peut mesurer une avance de 200 000 voix et de nombreux sondages ont indiqué le coude à coude des candidats Jospin et Le Pen. Leurs 18 % et 14 % d’intentions de vote respectives annoncés par plusieurs sondages préélectoraux ne diffèrent pas significativement de 16 % aux deux, estimés à partir de 700 réponses exprimées. L’outil n’a pas une telle précision. Les politologues et les politiques ont-ils écouté ces sondeurs pris d’incertitude ? Ont-ils accepté que les sondages remettent en cause leur pré-certitude qualitative du duel attendu Chirac-Jospin ?

Toutefois, en rassemblant tous les sondages en un seul, ces écarts, qui curieusement vont toujours dans le même sens, se confortent. Si aucun sondeur n’est pris en défaut, la profession collectivement, au sens des sondeurs pris comme un institut unique, s’est bien trompée.

D’ailleurs cette convergence des estimations de sondage surprend les probabilistes. Les échantillons sont certes indépendants. Les estimations le sont-elles ou sont-elles parfois téléphonées ? Un écho recueilli dans la profession disait qu’il y a des instituts indépendants et quelques suiveurs. Que croire ?

À qui peut-on imputer l’erreur collective de la profession ?

Un sondage politique fait appel à trois métiers : le sondeur (non au sens transmis par Jean Stoetzel d’un rédacteur et passeur de questionnaire, mais dans celui du praticien probabiliste, extracteur d’une sous-population désignée par le mot échantillon), le statisticien et le politologue.

Le sondeur, protégé par son droit à l’erreur - le fameux seuil de confiance - ne garantit les résultats que si la règle de l’art - le hasard statistique - est respectée. Ce n’est pas le cas des sondages politiques. Les conditions de réalisation du sondage politique sont très mauvaises, mais pas tant en raison de la méthode empirique d’échantillonnage, celle des quotas, que de l’attitude des enquêtés : beaucoup de Français détestent répondre aux sondages électoraux et s’en abstiennent. Ces mauvaises conditions de réalisation interdisent de déduire l’estimation de la seule loi des grands nombres.

Elles nécessitent donc l’élaboration d’un modèle statistique de correction d’erreur, le fameux redressement. En d’autres termes, l’art du statisticien consiste à tenter de produire de bonnes estimations à partir de mauvaises données, grâce à un modèle mathématique… tout en militant pour obtenir les meilleures données possibles. Ces modèles tiennent compte d’hypothèses sur le comportement d’acceptation différentielle de répondre à l’enquête, sur la sincérité de déclaration de l’intention éventuelle de vote, sur la qualité de reconstitution du vote antérieur.

La technique habituelle de redressement, très simple, ne différencie pas ces types d’erreur, ni leur mode de correction. Traiter de la même façon un biais d’échantillonnage (le refus de répondre d’un partisan de Le Pen) et la dissimulation de l’intention ou de la reconstitution d’un vote Le Pen est probablement une erreur de théorie statistique universelle dans la pratique des instituts. En tout cas le débat sur ce point est insuffisant.

La qualité du travail statistique est conditionnée par la qualité de ces hypothèses à l’instant même de l’enquête. Cependant les comportements et donc les bonnes hypothèses varient sans prévenir !

Malheureusement, un bon modèle statistique n’est pas presse-bouton. Les délais de production de bonnes estimations de sondages sont très probablement incompatibles avec la précipitation de production des sondages politiques. On peut penser qu’elles nécessiteraient une batterie de questions conséquentes sur les représentations politiques, plus significatives du vote futur que la réponse à la question sur l’intention de vote, mais lentes à analyser. La question directe n’est peut-être pas la meilleure question. C’est seulement la plus simple.

Ce modèle est alimenté par les hypothèses des politologues. Le statisticien n’est donc qu’un sous-traitant de l’estimation, seulement partiellement responsable de celle-ci.

La procédure fonctionne très bien pour un second tour d’une élection présidentielle, en raison de la solidité de la reconstitution du vote du premier tour. Les conditions de l’estimation sont là exceptionnelles et les résultats remarquablement précis.

Mais au premier tour d’une présidentielle, la panoplie des hypothèses concurrentes est pléthorique. À chaque jeu d’hypothèses correspond un redressement et donc une estimation préélectorale pour chaque candidat. Récemment des collègues politologues me disaient disposer de douze redressements concurrents. Or le choix du jeu d’hypothèses retenu engendre le résultat. Comme le sondeur, le statisticien dégage lui aussi sa responsabilité ! En particulier le statisticien ne détient pas de test d’indépendance politique du jeu d’hypothèses et du redressement retenu.

Dans bien des contextes, la précision des sondages politiques est donc incertaine, en particulier en présence d’outsiders perturbateurs, mais là, je sors de mon rôle de statisticien. Néanmoins, il est sûr que je ne ferais pas mieux que mes collègues statisticiens sondeurs, moins bien, faute d’expérience.

Alors, peut-on croire aux sondages ? Lesquels et quand ? La réponse n’est pas absolue. C’est une question à débattre avec les citoyens, les journalistes, les sondeurs, les politologues, tout simplement les adhérents de Pénombre.
(applaudissements)

J.-R. B. : Merci. Alors là, comme nous étions en passe de redevenir sérieux, il est temps d’aller boire de nouveau, et manger.

N. Meunier : Dans pas longtemps, on va refaire ça… Je ne sais pas si vous avez remarqué, mais en 2007, il y a à la fois des présidentielles, des législatives et des municipales.

J.-R. B. : On va se régaler…Merci à toutes et à tous.