Après une quarantaine d’années de pratique des sondages en tout genre, je reste convaincu qu’une bonne enquête d’opinion relève d’un bon échantillonnage, d’un bon questionnaire et d’un bon plan de dépouillement...
L’usage s’est imposé de recourir aux quotas et de travailler sur des échantillons de 1 000 (parfois 2 000), stratifiés par région, sexe, catégorie socio-professionnelle et type d’agglomération. Pour un questionnaire, on sait l’importance des questions, il faut que celles-ci, comme disait le professeur Bertillon, puissent être comprises par un imbécile doublé d’un paresseux (et je pense faire l’affaire) ; il faut également que l’architecture du questionnaire soit logique (quid des enquêtes omnibus qui traitent successivement de thèmes le plus souvent déconnectés les uns des autres ?) Oublions le plan de dépouillement, bien indigent pour ce type d’étude : on croise les réponses à chaque question avec les quotas et, très éventuellement, on procède à un ou deux tris croisés complémentaires.
Ce week-end, attendant chez le coiffeur, je feuillette un Paris Match du mois précédent. Mon attention se fixe sur un entrefilet reprenant les résultats d’un sondage concernant Myriam El Khomri dont il ressort que 43% des Français la jugent mauvaise ministre du travail. Mais, pour 44%, elle serait tout simplement inconnue. Cela signifie-t-il que c’est 43% des 56% des Français qui savent (ou disent savoir) qu’elle est ministre du travail qui la jugent mauvaise à ce poste et donc que les autres 57% la jugent bonne ? Dans ce cas, les scores du Président de la République ou du premier ministre sont-ils meilleurs ?
Je remonte donc sur le web d’Odoxa qui a mené ce sondage mi-janvier, documenté sous le titre : « François Hollande et l’emploi », interrogeant 1 011 personnes de plus de 18 ans interrogées. La page 8 est intitulée : « Popularité de Myriam El Khomri en tant que ministre du travail », définie à partir de l’unique question : « Quel jugement portez-vous sur la ministre du travail, Myriam El Khomri, diriez-vous qu’elle est :
Tu parles d’une question pour un imbécile doublé d’un paresseux ! Et d’un déroulé cohérent : si on a inventé les questions filtres, c’est bien pour que le questionnement soit pertinent et clair.
Autrement dit, on devrait trouver :
Q1 Savez-vous quel ministère dirige Myriam El Khomri ?
Q3 Quel jugement portez-vous sur la ministre du travail, Myriam El Khomri, diriez-vous qu’elle est (une seule réponse) :
Et surtout pas : Diriez-vous qu’elle est une bonne ministre du travail ou une mauvaise ministre du travail, question qui pourrait entraîner la réponse légitime « Oui ». Mais, dans tous les cas, on doit prévoir l’occurrence NSP-RAF, car on peut parfaitement savoir qu’elle est la ministre du travail et n’avoir aucune opinion sur son action ou ne pas vouloir la partager.
Le présent sondage, c’est donc l’exemple de ce qu’il ne faut pas faire : mélanger deux sujets dans une même question et ne pas envisager la non-réponse. Mais, aujourd’hui, on est au-dessus de ça, faut réformer, être « coulant », il suffit donc de calculer les pourcentages et de sortir de sa boîte le camembert correspondant, mais qui ne correspond à rien.
Ce que fait Odoxa …