Une critique nous a touchés au vif : celle qui porte sur le dernier paragraphe du texte. Nous avons l’impression d’avoir été mal compris. Mais quand un message est mal compris, c’est l’émetteur qui doit se remettre en cause. Nous reproduisons ci-dessous une de ces critiques, formulée par Michel Gollac dans le cadre d’une discussion amicale informelle.
Un échantillon de l’ordre de 100, et a fortiori de l’ordre de 500, n’est pas insuffisant. Ça dépend ce qu’on lui demande. Bien sûr la publication de pourcentages avec décimales sur de tels échantillons n’a pas de sens. Mais ça n’infirme pas les commentaires qualitatifs qui en ont été tirés. Un échantillon de l’ordre de 50 permet déjà de faire de la statistique en utilisant les tests à des niveaux « classiques » (5 %, 10 %). Sur un sujet sur lequel s’expriment tant d’experts qui ne savent rien, parler seulement une fois sur deux lorsqu’il n’y a rien à dire serait déjà un immense progrès. Des tests au seuil 50 % ne seraient donc pas scandaleux et un échantillon de plus de 100 est luxueux !
Autre chose est de savoir de quoi l’échantillon est représentatif. Sur ce point, les papiers visés par Pénombre sont en effet très critiquables, mais pour deux raisons qui ne sont pas du tout du même ordre. La première est qu’ils ne traitent pas suffisamment de la difficulté à définir leur champ d’étude : qu’est-ce qu’un « Gilet jaune » ? La deuxième est qu’on peut soupçonner des biais d’échantillonnage et de non réponse. Mais des critiques analogues peuvent être faites à quasiment tout ce qui se publie à chaud sur les « Gilets jaunes ». Un avantage (certes involontaire) de la quantification est de faciliter l’explicitation de ces problèmes.
(...) Béatrice Beaufils et Alexandre Léchenet écrivent :
« Au passage, on apprend que “ seulement 2 des 166 personnes interrogées ont mentionné la gestion de l’immigration dans leurs réponses aux deux questions présentées ”. Sans vergogne, les auteurs en déduisent que “ cela invite à reconsidérer les analyses qui font du mouvement une émanation de l’extrême droite ”. Un peu plus haut, on peut lire qu’un tiers des répondants se disent “ ni de droite, ni de gauche ”. N’allez surtout pas leur rappeler que c’est le slogan habituel de Marine Le Pen ».
Pour des prêtres de la rigueur, ça me parait gonflé. L’implication stricte [se dire « ni de droite ni de gauche » = être d’extrême droite] est fausse, en dehors peut-être des milieux intellectuels et politiques. Il est exact (voir à ce sujet les travaux de Zeev Sternhell), que « ni de droite ni de gauche » est un slogan classique de l’extrême droite (encore que ça dépende des époques et des extrêmes droites). Il semble vrai que le FN ait attiré une partie des gens ordinaires qui étaient abstentionnistes, apolitiques et se revendiquaient « ni de droite ni de gauche ». Ca n’entraine pas du tout que tous ceux-là soient proches du FN.
D’autre part, Béatrice Beaufils et Alexandre Léchenet raisonnent comme si être proche de l’extrême droite (ou du FN, ou de Marine Le Pen, ils n’ont pas l’air de faire la différence, alors je me permets de ne pas la faire non plus) était une caractéristique éternelle et englobante. Le 2/166 (qui, certes, serait peut-être un 13/166, voire un 14/166 avec un échantillon plus rigoureux) suggère quand même fortement que l’assertion « cela invite à reconsidérer les analyses qui font du mouvement une émanation de l’extrême droite » n’est pas infondée et que, si certains « Gilets jaunes » (environ 1 sur 5 dans une étude citée par l’Humanité) ont voté pour Marine Le Pen l’an dernier, ils n’ont pas forcément vocation à le faire dans les siècles des siècles. Un point qui, soit dit en passant, n’est pas dénuée d’importance politique…
(...) Les statisticiens ne sont pas à l’aise pour observer les conflits. Ce qu’ils font le mieux, c’est d’arriver après la bataille et de compter les morts. Pendant la bataille, leurs outils lourds ne sont pas assez mobiles pour suivre les acteurs et, plus grave encore, pour suivre les catégories sociales de classement. Doivent-ils pour autant s’abstenir ? Ce n’est pas sûr parce que les méthodes d’observation directe rencontrent aussi des difficultés particulières (par exemple celle de gérer la tension entre objectivité et engagement).
Aussi utile que soit l’exercice auquel s’est livré Pénombre, j’ai eu l’impression que des statisticiens établis regardaient d’un air goguenard des petits jeunes (aux dents longues ?) s’activer comme ils pouvaient avec les moyens du bord. Or porter des critiques routinières dans une situation inédite est insuffisant. Il faut critiquer les mauvaises pratiques, mais quelles sont les bonnes ? Le bricolage crée des objets fragiles, mais comment aider à trouver les moyens de faire autrement ?
Michel Gollac