Pénombre, la vie publique du nombre

--

Vous avez dit « représentatif » ?

PENOMBRE OUVRE UN CHANTIER consacré aux sondages : groupe de travail débouchant sur une Nocturne et, d’abord, contributions diverses dans la Lettre blanche. Celles parues dans le n°46 relèvent les confusions prévalentes sur la notion de représentativité ; mais, ne les dissipent pas vraiment. Un méthodologue de l’Insee que j’interrogeais il y a quelques années sur la question, me répondait « nous préférons éviter ce terme ». Soit ! Mais alors comment parler de la chose ? Et que faire alors que le public, mais tout d’abord les professionnels, continuent d’utiliser le mot et de parler de la chose ?

Le mieux me semble être de repartir de la base : est représentatif ce qui représente. Et, qu’est-ce qu’une représentation ? C’est quelque chose qui permet de se faire une idée de ce qu’on cherche à savoir ou à comprendre. Une carte de géographie représente le terrain et les géographes ont développé des techniques et des conventions pour ce faire, selon l’échelle où l’on travaille, selon les phénomènes qu’on veut mettre en évidence. En matière d’enquêtes (socio-économiques, politiques, etc.), le passage de la « réalité » qu’on veut saisir à l’image qu’on s’en fait suppose deux opérations. L’une est d’observer parmi la pluralité des faits, opinions, intentions, cela seul à quoi on s’intéresse : on pose des questions, qu’il faut choisir soigneusement (pertinence) et formuler de façon qu’elles soient acceptées et comprises, qu’elles n’induisent pas les réponses, bref que celles-ci représentent bien les idées ou les faits qu’on veut atteindre. L’autre opération est l’échantillonnage : dans le principe, on devrait interroger tout le monde, mais pour des raisons de coût, de rapidité, de moindre dérangement aussi de la population sollicitée, on peut souvent se contenter d’interroger un échantillon. Ceci s’appelle un sondage et c’est ce qui nous occupe ici. Je mentionne cependant l’autre face du processus – la qualité de l’interrogation – car il serait vain d’avoir un bon échantillon si les questions étaient inappropriées ou les réponses inexactes.

Est représentatif l’échantillon qui permet de calculer (les statisticiens disent « estimer ») ce que serait le résultat recherché si l’on interrogeait tout le monde. Et, si tout le monde répondait, bien sûr. Appelons ce résultat désiré la « vraie valeur ». Par exemple, le nombre de Français qui ont regardé la télévision hier, ou la proportion d’entre eux qui sont partis en vacances cet été, ou qui comptent changer leur voiture dans l’année, ou qui ont une bonne opinion de tel homme politique. Le même décompte effectué sur un échantillon n’a que peu de chances de coïncider avec la vraie valeur en question. On a alors deux attitudes opposées : ou, on croit que la vraie valeur est ce que donne l’échantillon ; ou bien, parce que l’échantillon n’est pas la population, on nie que ce qu’il donne veuille dire quoi que ce soit. Entre ces deux extrêmes, on peut se dire que, certes, il peut y avoir un écart, mais que l’échantillon donne quand même une indication. On se dit que, si l’on avait pris un autre échantillon, on aurait trouvé quelque chose de différent, mais peut-être pas trop différent. Et c’est là que se noue le problème : compte tenu de cette incertitude, peut-on néanmoins se fonder sur le résultat du sondage ?

Si l’on poursuit le raisonnement, on peut se dire : si j’avais les moyens de renouveler l’expérience en prenant divers échantillons, sans doute trouverais-je tantôt un résultat trop élevé par rapport à la vraie valeur que je cherche et tantôt un résultat trop faible ; mais, l’un dans l’autre, à cette fluctuation près, je ne devrais pas tomber trop loin de la vérité. Là vont apparaître les deux notions essentielles : représentativité et significativité. Or, attention ! Dans ce que vous entendez autour de vous, elles sont le plus souvent emmêlées et prises l’une pour l’autre… Pour faire saisir la différence, j’emprunte une image : tout le monde a plus ou moins vu un stand de tir dans une foire. Avec une carabine, vous devez loger cinq balles au plus près du centre de la cible. Si vous tremblez un peu, les cinq impacts seront un peu dispersés, mais si la carabine est bien réglée, ils seront autour du centre. On pourrait fixer la carabine sur un support bien rigide, qui ne vibre pas : les cinq balles ne passeraient pas tout à fait par le même trou mais presque et, si l’on a bien orienté la carabine, ce trou serait au centre de la cible. Sinon, le tir sera précis mais décalé. On voit là les deux causes qui interviennent pour vous faire rater le cœur de la cible : l’une, que la carabine soit mal réglée, l’autre, que d’un tir à l’autre vous ayez un peu bougé. Pour un sondage, c’est pareil : un sondage qui « tire » systématiquement à côté de la cible est dit « biaisé » ; un sondage qui donne des résultats différents quand on le répète est dit imprécis ou « non significatif ».

Un échantillon est alors dit représentatif s’il fournit une estimation non biaisée, c’est-à-dire, que, si on le répétait, les résultats ne seraient pas plus au-dessus de la vraie valeur qu’au dessous. Mais, nous n’avons aucun moyen de savoir si un échantillon est par lui-même représentatif. Ce que nous venons de dire suppose qu’on le répèterait ; or, c’est justement ce qu’on ne fait pas. Que faire ? Eh bien, la solution est tout entière dans le procédé de tirage de l’échantillon. Nous pouvons définir un échantillon représentatif comme étant celui fourni par une procédure représentative : un procédé qui, si on le répétait, fournirait des résultats sans doute fluctuants mais s’équilibrant autour de la valeur cherchée.

Pour établir une telle procédure, il faut regarder à quels défauts elle est censée parer. Nous comprenons qu’un procédé d’échantillonnage puisse biaiser les résultats s’il fournit proportionnellement trop d’enquêtés ayant certaines caractéristiques – et donc moins présentant des caractéristiques différentes. Trop de vieux ou trop de jeunes, pas assez de paysans, trop de gens faciles à atteindre parce qu’ils sortent de chez eux (on les interroge dans la rue) ou, au contraire, pas assez parce qu’ils travaillent ou sont en déplacement lorsque l’enquêteur se présente chez eux… Ou bien, ce sont les abonnés à un journal, ceux qui ont Internet, etc. Pour éviter de tels déséquilibres dans la composition de l’échantillon, l’idée immédiate est d’imposer aux enquêteurs de respecter les proportions de personnes ayant ces diverses caractéristiques : tant de femmes et tant d’hommes ; tant de telle et telle tranche d’âge ; tant de telle et telle profession ; selon le type d’habitat, le niveau d’étude, la nationalité, et ainsi de suite. Cela suppose de connaître par ailleurs la structure de la population totale, ce qui permet de fixer de tels quotas. Mais, ce qu’on suppose plus ou moins implicitement en faisant cela, c’est que si l’échantillon était déséquilibré sur l’un de ces critères, cela entraînerait un biais du résultat : parce que la variable étudiée (une maladie, un comportement, une opinion, …) diffère en fonction du critère considéré (du genre : les vieux partent moins en vacances, votent plus à droite, sont en moins bonne santé). On comprend bien qu’en contrôlant les proportions suivant de tels critères, on évite que l’échantillon soit décalé. Toutefois, les faits ou opinions peuvent simultanément varier en lien avec d’autres caractéristiques des enquêtés, que l’on ne connaît pas toujours. Dans ce cas, quelque chose échappe aux quotas. La garantie n’est pas absolue. Les quotas sociodémographiques peuvent être appropriés dans certains cas et pas dans d’autres (voir l’article de J.-M. Grosbras dans la Lettre blanche n°46).

Les statisticiens considèrent que la meilleure façon de résoudre le problème est de tirer au sort les personnes qui feront partie de l’échantillon. Ceci donne à tout le monde les mêmes chances de figurer ou non dans l’enquête, sans qu’on doive se demander a priori avec quoi ce qu’on étudie peut être lié ni qu’on ait besoin de définir des quotas. Il reste bien entendu une fluctuation possible de l’échantillon due au hasard : si on faisait un nouveau tirage, on n’aurait pas la même chose, mais la déviation ne serait pas plus par excès que par défaut, ce qui est la définition de l’absence de biais.

Remarquons que, dans cette discussion de la représentativité, on parle bien des fluctuations possibles, d’un échantillon à l’autre, en disant qu’on veut qu’elles s’équilibrent ; mais on ne dit rien de leur importance. C’est en effet une question différente. Disons-le tout net : un échantillon est représentatif ou non selon la façon dont il a été constitué, mais indépendamment du fait que la dispersion entre échantillons successifs – si on en faisait plusieurs – soit faible ou grande. En particulier, un échantillon tout petit, d’une dizaine d’observations par exemple, peut bel et bien être représentatif dans le sens où nous venons de le dire, même si nous sentons bien que le résultat aurait pu être très différent. Ceux qui se moquent d’un échantillon de petite taille donné pour représentatif font une confusion de vocabulaire. Cela dit, ils ont raison dans leur protestation : cet échantillon est peu significatif et donc on ne peut pas trop se fonder sur lui pour tirer des conclusions.

Une fois qu’on s’assure que l’échantillon n’est pas biaisé (que la carabine tire droit), un second problème est de savoir quelle est la fluctuation possible autour de la vraie valeur et comment on peut faire pour qu’elle ne soit pas trop forte. La plupart des gens savent qu’une première solution est d’avoir dans l’échantillon un nombre suffisant d’enquêtés. Ils savent même parfois que c’est la racine carrée de ce nombre qui compte : autrement dit, pour multiplier la précision par 2, c’est-à-dire réduire de moitié la fluctuation, il faut multiplier l’échantillon par 4. Ceci veut dire que le coût de la précision augmente rapidement : d’où des enquêtes d’opinion qui n’interrogent le plus souvent qu’un millier de personnes. Mais, on ne prête pas alors attention à cette imprécision : les sondeurs privés, les statisticiens officiels aussi, ne donnent le plus souvent aucune indication là-dessus. Il faut donc dire et redire que les sondages électoraux ou de popularité sur moins de 1 000 enquêtés ne permettent pas de mettre en évidence des écarts de pourcentages de moins de 2 à 4 points. Un score 52 contre 48 est à la limite de signification. Mais les journaux n’en ont cure.

L’autre point quant à la précision tient à l’hétérogénéité de la population à l’égard de ce qu’on étudie (là aussi, voir l’article de J.-M. Grosbras cité et son image de petites ou grandes cuillers). Enfin, certaines techniques (stratification) permettent d’améliorer la précision : justement en prenant en compte cette hétérogénéité. Au total, la représentativité ne doit rien à la taille. C’est en supplantant, par un échantillon « ridicule » les 6 millions de « votes de paille » des lecteurs d’un journal, que Gallup a montré en 1936 la supériorité du sondage représentatif et lancé pour longtemps la pratique des sondages et leur succès. Plus près de nous, la « consultation Balladur », en 1997, a recueilli beaucoup de réponses, mais ne permettait pas de se représenter l’opinion des jeunes.

Deux remarques encore, pour conclure :

Le tirage au hasard donne à tous les mêmes chances de figurer dans l’échantillon. Mais il est possible aussi de donner aux différentes personnes des probabilités différentes. L’échantillon reste représentatif à condition que pour le calcul des résultats on pondère les réponses : en multipliant chacune par l’inverse de la probabilité correspondante. Ceci se comprend aisément : là où vous tirez une personne sur 10, un individu échantillonné en représente 10 : vous multipliez sa réponse par 10. Là où vous en tirez une sur 50, l’individu tiré en représente 50 et vous multipliez par 50 ⁽¹⁾. D’où la définition générale d’un échantillon représentatif : obtenu par un tirage où chaque individu a une probabilité non nulle et connue d’être pris. Non nulle, afin que tout le monde ait une chance d’être tiré ; connue, afin qu’on puisse, dans le calcul, faire la multiplication nécessaire.

Quelle que soit la qualité de l’échantillon, si une fraction importante ne répond pas, un nouveau biais s’introduit : car le fait de ne pas répondre peut être lié à la variable qu’on veut observer et donc le refus de certains déséquilibre l’échantillon. Ce qui veut dire encore que la représentativité se joue non seulement au stade de la constitution de l’échantillon, mais qu’elle suppose aussi que la présentation de l’enquête et le déroulement des interviews réduisent le plus possible la non-réponse.

René Padieu

^{(1) : C’est comme si les députés votaient avec un nombre de voix proportionnel aux électeurs qu’ils représentent.}