Vous êtes vous déjà demandé d'où venaient les sondages? Ce qu'ils reflétaient vraiment? Bruno Devauchelle nous explique pourquoi les chiffres sont à manipuler avec précaution.

Interroger 35000 jeunes en 39 jours (samedi et dimanches compris) c’est en rencontrer environ 900 par jour. Mener cette enquête en « face à face » suppose du temps. Une enquête en face à face, cela peut prendre des formes diverses : d’une personne face à 1000 qui répondent à un questionnaire écrit à l’entretien individuel, toutes les formes de face à face peuvent exister. Or c’est sur cette base que Calysto présente le déroulement de l’enquête publiée en 17 décembre 2010 et relayée largement par les médias. Alors que dans le même temps le ministère de la culture, par l’intermédiaire de Sylvie Octobre et d’autres organisations, comme Fréquence école à Lyon, publient leurs enquêtes en détaillant la méthode utilisée et en expliquant clairement comment cela a été fait (accès aux questionnaires utilisés etc…), Calysto et la Voix de l’enfance ne transmettent qu’une présentation reprenant, de manière assez surprenante parfois les résultats de cette fameuse enquête. Surprenante car la notion de proportion n’est pas respectée et que des choix de présentation mettent en avant dans des graphiques de manière identique des résultats différents (exemple de la page 5 du document).

Des sondages, pour quel résultat ?

Sans entrer dans plus de détail et sans remettre a priori en cause la qualité du travail mené, la question est ici de savoir ce que signifient toutes ces enquêtes qui parlent des jeunes et des TIC (ou de la culture). Ainsi, dans le travail publié par la documentation française, Sylvie Octobre parle de la culture des jeunes, mais au volet internet et ordinateur, les questionnaires sont extrêmement pauvres et ne donnent aucune visibilité à diverses pratiques et le même questionnaire ignore quasi totalement les usages du téléphone portable. On peut comprendre le parti pris d’une définition de la pratique culturelle qui mettrait de coté le téléphone portable (encore que), mais on ne peut comprendre qu’aujourd’hui on ne prenne pas en compte la pratique du web comme pratique culturelle (celle-ci se réduit à l’utilisation de l’ordinateur dans les questionnaires utilisés). Mais au moins, si l’on n’est pas satisfait peut-on accepter le document tel qu’il est et n’en utiliser que ce pour quoi il est fait.

Malheureusement un certain nombre d’organisations ont tendance à publier des chiffres sans donner accès aux méthodes (à défaut des sources elles-mêmes) qui auraient permis de mesurer la fiabilité des résultats. Ce n’est pas la première fois que cela se produit (cette année sur le même sujet cela s’est déjà produit au printemps (cf. le café pédagogique). Si l’on veut faire une éducation à l’information, il faut aussi se pencher sur ces cas et les analyser. L’idée ici n’est pas de remettre en cause les résultats a priori, mais de signaler que dans le domaine des TIC les débats sont si vifs et si importants que l’on ne peut plus admettre que soient mis en pâture au débat des résultats d’enquête sans que l’on puisse accéder aux sources. Profitons ici de l’occasion pour lancer un appel à tous ceux qui publient des enquêtes pour permettre aux personnes intéressées d’accéder effectivement aux sources, au moins aux protocoles d’enquête. L’absence de ces documents, bien qu’arides, met à mal la crédibilité de toutes les enquêtes même les plus explicites.

Le travail sur les sources, une étape obligatoire.

L’impression que donnent ces chiffres est d’abord celle d’une tentative de manipulation. Si je veux faire passer une idée, alors il suffit que je fasse une communication sans expliciter les sources. Comment imaginer que l’on puisse interroger 35000 personnes en un mois alors que la plupart des enquêtes bien financées ont bien du mal à dépasser les 5000 et sur plusieurs mois. ? Loin de moi l’idée d’accuser qui que ce soit a priori, mais en l’absence de preuves je ne peux que m’inquiéter de la popularité donnée à de tels chiffres. D’ailleurs cela interroge aussi la professionnalité des médias qui se sont empressés de relayer ces chiffres sans faire le travail sur les sources.

Nous vivons une époque dans laquelle il convient d’être très prudent sur les chiffres que l’on diffuse. La première précaution est toujours que l’enquêteur critique sa propre méthode de travail et en montre les limites. La seconde est que l’enquêteur accepte de soumettre ses sources à d’autres personnes qui souhaiteraient les exploiter à leur tour ou tout au moins les vérifier. La troisième est que l’enquêteur ait toujours le soin de mettre son travail en perspective avec d’autres travaux identiques ou proches afin de permettre au lecteur de se faire une idée lui-même. En fait le risque de manipulation a été très bien expliqué dans l’ouvrage de Normand Baillargeon « PETIT COURS D’AUTO-DÉFENSE INTELLECTUELLE  » (Lux 2006) mais aussi dans de nombreux cours de doctorat… Malheureusement, même dans le monde scientifique, il semble que ces précautions soient souvent battues en brèche et que les résultats obtenus méritent de sérieuses critiques.

Ce qui est assez inquiétant c’est que les « médiateurs » de l’information sont aussi peu regardant que cela. Qu’en est-il du monde enseignant ? Est-il aussi au fait de ces questions, Malheureusement très peu, trop peu. J’entends souvent des adultes déplorer les attitudes des jeunes par rapport aux technologies en s’appuyant sur des enquêtes de ce type. D’autres, même des chercheurs patentés, s’appuient sur une trentaine d’entretiens approfondis pour tenir des discours globalisant sur tel ou tel aspect des pratiques TIC des jeunes. Nous percevons de plus en plus souvent que dès lors que des intérêts sont en jeu (ce n’est pas nouveau, je sais !) les manipulations peuvent rapidement intervenir. Notre devoir d’éducateur est justement de se doter des outils nécessaires pour questionner ces documents. Il semble qu’en l’occurrence il est nécessaire, dans le domaine des jeunes, de la culture et des TIC, de rappeler qu’il est essentiel que les documents proposés soient appuyés sur des éléments qui permettent réellement d’en mesurer la fiabilité…. Il est nécessaire que le monde enseignant souvent désarçonné face à Internet pratiqué par les jeunes ne cède pas aux sirènes de l’imprécision afin de construire des réponses mieux adaptées aux réalités du monde qui les entoure.

Juste avant de mettre la dernière main à ce billet (ce 13 janvier 2011), je me trouve conforté par la publication d’une nouvelle étude sur les jeunes et les TIC (la cinquième ou la sixième publiée cette année. Publiée en anglais, on peut trouver une synthèse en français). Cette enquête sur 25 pays et qui concerne 2510 internautes illustre bien les questions méthodologiques posées ci-dessus et renforce la mise en question de certaines enquêtes. On peut lire les éléments concrets de la méthode d’enquête employée et comprendre la faisabilité. On trouve aussi quelques précisions sur la notion d’enquête face à face. Dans cette enquête le point qui retient notre attention concerne ce chiffre étonnamment intéressant concernant les nuisances subies sur Internet. On y découvre qu’ils sont beaucoup moins nombreux que dans d’autres enquêtes. On peut rapidement constater que le biais de la question et de l’interprétation des réponses mérite que l’on soit très vigilant sur les chiffres restitués.

Renforçons notre vigilance !

On critique parfois la recherche scientifique pour sa « rugosité intellectuelle ». Mais à lire des enquêtes menées par des sociétés commerciales, on s’étonne grandement du différentiel méthodologique et donc des résultats de ces enquêtes. En suivant depuis 1997 tous ces travaux on se rend compte qu’il est nécessaire de renforcer notre vigilance. Les revues de littératures, les mises en cause de travaux publiés antérieurement sont des classiques de la recherche, reste maintenant à interroger le prisme idéologique

A suivre de près et à débattre.

—

Credit FlickR : JFGornet / The Bees