Indispensables sondages, surtout erronés. Les Français ne veulent plus de manifs et le cannabis rend schizophrène. Deux exemples dont le blog Econoclaste déniche les approximations dans l'usage qu'ils font des statistiques.

Je n’aurai pas dû lire Proofiness. Cet excellent livre, sur la façon dont les chiffres sont torturés, manipulés, par journalistes, politiques, militants, magistrats, a un gros défaut : il n’est plus possible ensuite de lire le journal sans sauter au plafond d’énervement. Trois exemples du samedi 23 octobre.

Les français souhaitent-ils la fin des grèves?

Commençons par un sondage, présenté dans un article titré “les français souhaitent la fin des grèves“. Un magnifique concentré, que ce soit l’article, ou le sondage.

Pour le sondage, d’abord, ça ne rigole pas. On nous colle partout des sigles “ISO”, sans doute pour bien nous persuader que nous sommes face à de la science rigoureuse. La méthodologie, indiquée page 3, est comique de précision : ce sont mille et une personnes qui ont été interrogées. Vous vous demandez sans doute “pourquoi ce nombre”. Il y a deux réponses. Premièrement, sur un sondage effectué aléatoirement, le nombre de personnes interrogées détermine la marge d’erreur. Or la marge d’erreur est indiquée plus loin sur la page, ce qui nous indique que ce nombre de personnes interrogées est redondant.

Mais il ne l’est pas. Tenez, un petit test. Laquelle de ces deux phrases vous semble la plus convaincante : “les français sont majoritairement hostiles au bouclier fiscal” et “65% des français sont hostiles au bouclier fiscal”. Si vous êtes comme tout le monde, la seconde phrase vous paraît bien plus convaincante. Pourtant les deux disent la même chose. Mais la présence d’un nombre dans la seconde donne l’impression qu’il y a eu mesure, et que cela rend la phrase plus “scientifique”. Pourtant, nulle part n’est indiqué comment ce chiffre a été déterminé (je viens de l’inventer, en fait). Ce phénomène par lequel la simple présence de nombres persuade est renforcé par la précision apparente du nombre. Par exemple, si j’écris à la place de la phrase “64.93% des français sont contre le bouclier fiscal” cela semble plus convaincant que 65%, qui semble arrondi. Pourtant, ce nombre n’est pas moins inventé que le précédent.

Dans un sondage, le nombre de personnes interrogées ne sert qu’à une chose : déterminer la marge d’erreur. Celle-ci est à peine modifiée par le fait d’interroger 1000 ou 1001 personnes. la précision exacte du nombre de personnes interrogées, ici, sert donc beaucoup plus à établir la conviction de scientificité qu’à informer réellement.

- Parlons-en, d’ailleurs, de la marge d’erreur. Elle correspond, dans un sondage, au premier type d’erreur, l’erreur statistique. Celle-ci provient du phénomène suivant. Supposez une urne remplie de 10000 boules, 6000 rouges et 4000 jaunes. Vous prélevez un échantillon aléatoire de 10 boules dans cette urne. Votre échantillon peut reproduire la répartition de la population (6 boules rouges et 4 jaunes). Mais il y a de fortes chances de tomber sur un échantillon différent de la population (par exemple, 7 rouges et 3 jaunes, ou même 10 rouges et zéro jaunes). Par contre, plus votre échantillon est grand, plus le risque d’obtenir un échantillon très différent de la population diminue. Cela vous donne donc de fortes chances, lorsque vous prélevez un échantillon suffisamment grand, d’obtenir un échantillon proche de la population. Cette proximité est la marge d’erreur, vous en avez quelques exemples en suivant ce lien (en anglais, NdCE).

Mais la marge d’erreur ne correspond qu’à l’erreur statistique. Elle ne prend pas en compte l’autre erreur, la plus courante : l’erreur structurelle. L’erreur structurelle vient de ce qu’en pratique, les sondages ne correspondent jamais au cas théorique de boules de couleur prélevées dans une urne, comme dans les exercices de mathématiques. En pratique, les sondages sont effectués par des personnes réelles, qui peuvent se tromper en collectant leurs données; surtout, particulièrement dans les sondages réalisés auprès de personnes réelles, il y a des biais de collecte d’information. Il est par exemple impossible de sonder une personne qui refuse de répondre aux sondages. Lorsque vous lisez “x% des français pensent que” il faut lire “x% des français qui répondent aux sondages pensent que”. Les gens peuvent mentir. Les gens peuvent vouloir être “bien vu” de la personne qui les sonde (et quand on est interrogé par une jeune voix féminine, on est tenté de lui faire plaisir). Les réponses peuvent être orientées par la façon dont les questions sont posées, voire même par l’ordre dans lequel elles sont posées : si par exemple on vous demande d’indiquer vos opinions politiques avant de vous poser des questions de société, vous aurez beaucoup plus tendance à vous conformer aux opinions-type de votre camp.

Les sondeurs déclarent toujours l’erreur statistique, sous forme de marge d’erreur. Mais ils ont une fâcheuse tendance à laisser croire que la marge d’erreur mesure tous les risques d’erreur, y compris l’erreur structurelle. Ce n’est pas le cas. Pour une raison simple : si l’erreur statistique est connue et limitée, l’erreur structurelle peut potentiellement rendre le sondage totalement faux. Avec trop d’erreur structurelle, la “marge d’erreur” peut devenir 100%.

Dans cet exemple (voir toujours page 3), il y a un biais énorme : le mode d’interrogation, en ligne. Là encore, la “scientificité” est assise sur la dénomination du système d’interrogation, désignée par un sigle en anglais. Ca fait tout de suite plus sérieux. Mais cela a une implication claire : les personnes qui ont servi à ce sondage correspondent à un sous-groupe particulier de la population, les gens qui ont un ordinateur et un accès internet, et qui acceptent de répondre à un sondage en ligne. Il y a très peu de chances qu’ils représentent la population française. L’application là-dessus de la “méthode des quotas”, au passage, loin d’améliorer le résultat, ne fait qu’introduire de nouveaux biais.

A partir de ce monument de scientificité, la façon dont l’article est présentée peut elle aussi totalement en modifier la perception. En s’appuyant sur la page 5 du document, on aurait très bien pu titrer “61% des français approuvent le mouvement contre la réforme des retraites”. Etrangement, ce sont les questions page 8 et 10 qui servent pour faire le titre : “les français souhaitent la fin des grèves”. Parce que, comme on peut toujours s’y attendre avec un sondage, poser la même question avec des formulations et des informations différentes modifie le résultat obtenu. Un esprit raisonnable, face à ces contradictions, en conclurait que ce sondage ne nous apprend rien d’intéressant. C’est oublier les talents d’exégèse que l’on peut déployer pour donner du sens à une série de nombres qui n’en a aucun.

L’article nous indique donc que “l’opinion a un point de vue complexe et nuancé”. qu’en termes galants… C’est que le sondage ne donne pas les mêmes résultats selon qu’on demande aux gens s’ils “comprennent” ou “soutiennent” les manifestations. On aurait pu essayer d’autres verbes : “approuvez-vous”? “Appréciez-vous”? “vous intéressez-vous”? et à chaque fois, on aurait eu un nombre différent. Du commentaire sur du bruit.

Schizophrénie et cannabis: corrélation n’est pas causalité

Deuxième article : “Panini retire du marché le jeu polémique des Skyzos”. On y apprend que suite à des plaintes d’associations, Panini retire un jeu de la vente. Mais comme il est dans la rubrique “santé”, l’article se doit de nous apprendre autre chose que cette anecdote sans grand intérêt. Le dernier paragraphe nous instruit donc sur la schizophrénie de la façon suivante :

Si l’hérédité est une composante importante dans son apparition, d’autres facteurs environnementaux, comme l’isolement social ou la consommation de cannabis, peuvent également peser.

Voici un second exemple de chiffres torturés : la corrélation prise pour une causalité. Il existe en effet de nombreuses études médicales montrant l’existence d’une corrélation entre différentes variables, ici, l’apparition de la schizophrénie et l’isolement social ou la consommation de cannabis. Voici ce que ces études montrent : les schizophrènes ont plus tendance que le reste de la population à consommer du cannabis ou à être isolés socialement. Et c’est tout. Vous voyez que la causalité peut être interprétée dans tous les sens. Il est fort probable, par exemple, qu’une personne commençant à manifester des signes de schizophrénie va avoir tendance à s’isoler socialement. On pourrait supposer également que face à l’angoisse que causent les premiers symptomes de cette maladie, les gens soient incités à consommer du cannabis pour les calmer. Dès lors, c’est la schizophrénie qui cause isolement et toxicomanie. Ou alors, comme indiqué dans l’article, la causalité va dans l’autre sens. Comment savoir?

En pratique, il y a des moyens pour essayer de mieux distinguer le sens de la causalité. Mais ils sont difficiles à mettre en oeuvre, et eux-mêmes sujets à des erreurs. Surtout, ils ne sont que très rarement utilisés pour les études médicales. C’est ce qui fait qu’une quantité invraisemblable d’études médicales est fausse. Mais l’article n’est pas là pour instiller le doute, mais pour instiller discrètement une morale : le cannabis, ça rend fou.

Lorient et Nancy: gazon maudit?

Enfin, à tout seigneur tout honneur, l’Equipe nous gratifie d’un monument hilarant au dénombrement bidon, dans cette fine analyse consacrée aux équipes de foot de Lorient et Nancy. Les deux équipes, cette année, sont en effet passées au gazon synthétique. Et malheur : les résultats ne suivent pas. A l’appui de cette démonstration, un schéma avec plein de jolies couleurs mais parfaitement illisible, d’où il semble ressortir que les deux équipes ont cette année de bien mauvaises performances, en particulier à domicile. Pourtant, une connaissance même minimale du football indique qu’il y a des tas de facteurs qui font qu’une équipe, d’une année sur l’autre, voit ses résultats se dégrader après 9 journées : changements de joueurs, chance, adversaires rencontrés, progrès relatif des autres équipes, etc. cette même connaissance minimale indique qu’il peut y avoir des tas de raisons d’adopter un terrain synthétique, autres que la volonté d’obtenir de meilleurs résultats : coût, climat local (il gèle souvent à Nancy, il pleut souvent à Lorient). Enfin, je me demande même pourquoi j’explique à quel point nous sommes là dans le grand n’importe quoi.

A bientôt, dans le monde merveilleux des copies laborieuses à partir de chiffres inutiles.

–

Article publié à l’origine sous le titre Un jour ordinaire dans le monde merveilleux des faux nombres sur le blog Econoclaste. Comme souvent, les commentaires valent le détour.

Illustration FlickR CC Obscurate Associate ; Thomas Duchnicki ; artnoose.