Pénombre, la vie publique du nombre

Réaction au texte de Daniel Cote-Colisson sur la représentativité des sondages

Il me semble que le texte de Daniel Cote-Colisson mêle plusieurs choses à propos de la représentativité d’un échantillon (sous-entendu dans le cadre d’un sondage). Et le mélange est encore plus net avec l’ajout à la fin de la question de la représentativité des syndicats. En fait le texte parle principalement de la différence entre un échantillon aléatoire et un échantillon obtenu par la méthode des « quotas », celle-ci étant considérée par DCC comme plus apte à produire un échantillon représentatif dans le sens où il l’entend (« qu’il fournisse des résultats aussi proches que possible de ceux qui auraient été obtenus si toute la population dont il est tiré avait été interrogée »).

DCC dit que cette définition est posée « pour aller vite ». Effectivement, en allant vite, le risque est de mélanger ce qui relève de la précision (« aussi proche que possible ») et ce qui relève du biais possible d’une méthode d’échantillonnage. La méthode est dite sans biais si la répétition de l’échantillonnage donne des valeurs qui, en moyenne, se rapprochent de la valeur dans la population d’origine. Même sans biais, un échantillon ne donne pas cette valeur : l’écart est plus ou moins grand selon les conditions et c’est par une mesure de la précision qu’on le qualifie. Si DCC peut affirmer que le tirage aléatoire « n’est pas à lui seul garant de la représentativité », c’est bien parce qu’il mélange absence de biais et précision dans une même notion, son exemple le montre. Répétée un grand nombre de fois, la mesure avec un échantillon de 50 personnes tirées au sort dans la liste électorale finira par donner en moyenne le bon résultat (pas de biais) mais chaque échantillon pourra donner une valeur assez éloignée (précision faible, soit « variance élevée » en termes statistiques).

La présentation de l’échantillon obtenu par la méthode des quotas (je ne vois pas ce qu’il a de plus « empirique » qu’un échantillon aléatoire, sauf si « empirique » veut dire sans fondement théorique) est classique et claire. Elle est honnête aussi par rapport aux difficultés rencontrées sur la base des quotas traditionnels. Mais il manque dans cette partie de dire que des échantillons présentant une structure donnée (par exemple par sexe, âge, CSP) peuvent aussi être en principe construits de façon aléatoire. C’est ce que techniquement on appelle un échantillon stratifié et la théorie des sondages recommande d’ailleurs de procéder par stratification lorsqu’un critère contrôlable est connu pour être lié avec les variations de l’objet d’étude (plus exactement sa variance). Ceci est lié à l’optimisation de la méthode de sondage pour un coût donné : il vaut mieux dépenser la somme allouée en recueillant plus d’observations là où ça varie beaucoup plutôt que de répéter des observations similaires là où ça varie peu. La conséquence de cette approche est que, contrairement à ce qui est présenté comme un avantage dans la version de l’échantillon « modèle réduit », il vaut mieux parfois avoir un échantillon qui n’est pas du tout identique à la population d’origine en structure selon le critère de contrôle. L’estimation statistique pondère alors les résultats obtenus dans les différentes strates.

Le fait de pratiquer un échantillonnage par quotas ne se justifie donc pas par la qualité du modèle réduit obtenu. Cela vient de l’impossibilité pour les instituts privés d’accéder à des bases de sondages assurant des estimations sans biais. Inversement, les enquêtes de l’Insee menées sur la base de fichiers de logements peuvent procéder par échantillonnage aléatoire avec stratification, par exemple, selon la taille de la commune de résidence, et obtenir de ce point de vue, et par construction, des modèles réduits reproduisant fidèlement la répartition de la population selon la commune de résidence ou privilégiant la précision de la mesure obtenue dans certaines catégories de résidence pouvant avoir une influence sur ce qui est étudié.

Finalement, c’est la façon de mesurer la proximité entre échantillon et population qui est passée sous silence dans les explications de DCC et, donc, la traduction statistique de la notion de représentativité. Je devine que c’est en partie parce que pour les « échantillons empiriques », il n’y a pas d’autre possibilité que de dire « ça marche » (c’est l’exemple du taux de possession de différents équipements ») ou « ça ne marche pas » (par exemple pour mesurer sans redressement d’expert politologue le vote FN ou les comportements qui ne sont plus liés à l’appartenance à un groupe socioprofessionnel). Les méthodes statistiques fondées sur des échantillons aléatoires donnent des définitions (biais, variance de l’estimateur) et des possibilités d’estimation quantitative de la représentativité et de la précision au sens statistique. Avec les fameux intervalles de confiance qui conduisent aussi à bien des incompréhensions et dont la mise en œuvre est complexe. Mais puisqu’on ne connaît pas a priori le résultat dans la population totale (sinon pas besoin de sondage), il faut bien construire un tel outil de mesure de la qualité de la représentation obtenue si l’on ne se contente pas d’un argument d’autorité.

Bruno Aubusson de Cavarlay