Yves-Marie Cann, Ifop: “Pourquoi s’en prendre au thermomètre ?”
Suite à la publication de l'analyse du sondage Ifop/Le Figaro sur les annonces sécuritaires du gouvernement, quelques critiques (constructives) ont été émises. La parole à Yves-Marie Cann, directeur d'études au Département Opinion et Stratégies d'entreprise de l'Ifop.
Étonnée par les conclusions tirées du sondage Ifop/Le Figaro au sujet des nouvelles annonces sécuritaires de Nicolas Sarkoy, la rédaction d’OWNI a publié un article s’interrogeant sur les méthodes sondagières en général et les méthodes employées par l’IFOP dans ce cas particulier. Yves-Marie Cann, Directeur d’études au Département Opinion et Stratégies d’entreprise de l’Ifop, a souhaité nous répondre.
Comment se passe le processus pour de tels sondages commandés ? Quels sont la place et le rôle du commanditaire ? Ne peut-on pas envisager qu’ils soient utilisés pour appuyer la politique ou les annonces du gouvernement ? Qui rédige les items, par exemple ? et quelle interaction y a-t-il eu ici avec Le Figaro ?
L’initiative d’un sondage peut revenir soit à l’institut soit au commanditaire de l’étude. Dans les deux cas, le questionnaire est toujours le fruit d’un échange approfondi entre les deux parties. À charge ensuite pour l’institut de mettre ceci en question puis de soumettre à son client un projet de questionnaire. Plusieurs allers-retours peuvent avoir lieu avant d’aboutir à la version finale qui sera administrée à un échantillon représentatif.
L’Ifop, comme tous ses confrères, veille en effet a ce que les libellés des questions soient les plus clairs possibles pour les personnes interrogées et ne prêtent pas à confusion. Lorsqu’une question porte sur l’actualité récente, celle-ci doit s’en tenir aux seuls faits et ne contenir aucun jugement de valeur : nous ne commentons pas la politique, ce n’est pas notre rôle. Sur ce point nous avons toujours le dernier mot et ceci peut parfois engendrer quelques tensions ! Il nous arrive d’ailleurs de refuser certaines questions, notamment lorsqu’elles auraient pour effet de susciter ou d’entretenir des attaques personnelles. Nous sommes très vigilants sur ce point.
Que pensez-vous de l’effet de l’accumulation de questions sur la sécurité sur la pertinence des réponses des sondés ? La tonalité des questions ne vous paraît-elle pas biaiser les réponses ?
La formulation d’une question et le choix des items de réponse peuvent “influer” sur les résultats obtenus. Ceci explique notamment que pour deux sondages réalisés sur un même sujet les résultats ne soient pas exactement les mêmes. D’où les écarts existant notamment entre notre enquête pour Le Figaro et celle réalisée par CSA pour L’Humanité. La première portait sur l’approbation des mesures annoncées, la seconde sur la nécessité perçue de ces mesures. Ce n’est pas tout a fait la même chose !
En revanche, ces deux enquêtes indiquent clairement que ces mesures rencontrent un écho favorable au sein d’une proportion élevée de la population.
N’y a-t-il pas une forme d’opportunisme dans un tel sondage, réalisé à chaud sur la base de déclarations d’intentions de la part du pouvoir ?
Sur l’opportunisme, je vous laisse juge : l’actualité récente ne portait-elle pas sur ce sujet ? En quoi serait-il illégitime d’interroger les Français sur les propositions présidentielles ?
Comment avez vous utilisé la méthode CAWI ? Avez vous utilisé des vidéos, documents sonores, images pour illustrer le questionnaire ? Peut-on en avoir des copies d’écrans ?
Les études par Internet suscitent d’important débats depuis quelques années, j’en suis bien conscient. Certains nous opposent d’ailleurs parfois l’argument selon lequel certains instituts n’utiliseraient pas ce mode de recueil car ils ne le jugent pas suffisamment fiable pour des études d’opinion. Qu’on m’explique alors pourquoi ce qui n’est pas suffisamment fiable pour de tels sujets l’est tous les jours pour des enquêtes marketing réalisées pour de grand groupes de l’agro-alimentaire, des cosmétiques, etc.
D’un point de vue méthodologique, les études CAWI, c’est-a-dire les sondages réalisés par Internet, sont aussi fiables que ceux réalisés en face-à-face ou par téléphone -précision devant être faite que, de notre point de vue, il n’existe pas de mode de recueil idéal-. En fait, seule la façon dont est collectée l’information diffère. Pour le reste, nous avons recours à la méthode des quotas et utilisons un logiciel professionnel dédié à ce type d’enquête. Celui-ci permet notamment de gérer automatiquement les quotas d’enquête et d’empêcher les participations multiples. Et contrairement à une rumeur avancée par certains chercheurs en science sociales, nos échantillons ne sont pas reconstitués à posteriori, ce serait pure folie !
Les questions portant sur des sujets politiques sont systématiquement posées en début de questionnaire (après les questions de quota permettant de qualifier la personne interrogée et de constituer l’échantillon, comme pour les autres modes de recueil). Pour ces questions, les interviewés ne sont exposés à aucun visuel ou vidéo.
Enfin, nos sondages (et ceux de nos confrères) ne sont pas réalisés en plaçant des bannières ou tout autre lien URL sur un ou plusieurs sites internet. Nous avons recours à des bases qualifiées et sollicitons par courrier électronique des individus qui en sont extraits aléatoirement.
Pour plus de précisions je ne peux que vous renvoyer à mon article sur le sujet, publié il y un près d’un an par la Revue politique et parlementaire.
Le sondage a eu lieu en plein mois d’août. N’y a-t-il pas un biais par rapport à la représentativité ?
Le débat sur la période de l’enquête n’a pas grand sens. Si pendant de nombreuses années les instituts ont banni les enquêtes du 15 juillet au 15 août, c’est davantage par commodité (la gestion des vacances de leurs collaborateurs et enquêteurs face-à-face et téléphone) que pour des raisons méthodologiques. Arrêtons l’hypocrisie : la France ne s’arrête pas en été ! S’il est effectivement un peu plus difficile qu’en plein hiver d’entrer en contact avec les personnes, ce problème reste très limité.
L’Internet est un média nomade, il n’est pas nécessaire d’être à domicile pour y avoir accès. De plus, tous les Français ne partent pas en vacances en même temps. Ce problème ne se pose plus non plus pour le téléphone puisque l’Ifop inclut systématiquement une proportion significative de téléphones cellulaires dans ses échantillons. Quelqu’un oserait-il avancer l’idée que les Français ne partent pas en congés avec leur téléphone mobile ? Les critiques sur la période d’enquête révèlent avant tout une méconnaissance de notre métier. Sans doute avons-nous notre part de responsabilité et devons faire preuve de davantage de pédagogie en la matière.
Quel est le nombre de personnes qui n’a pas répondu au questionnaire ? Ne pensez-vous pas que ne pas faire figurer les “NSPP” soit dangereux en terme d’interprétation ?
En matière de “sans opinion” il existe deux écoles : certains instituts offrent cette possibilité dans leurs enquêtes auto-administrées, d’autres non. Après réflexion, l‘Ifop a fait le choix de ne pas proposer cet item de réponse pour les questions portant sur des opinions. Il s’agit en effet d’un item dit “refuge” utilisé par les personnes ne souhaitant pas répondre à une question. S’il était proposé par Internet, cet item pourrait enregistrer des scores de 10 voire 15%. Pour une même question posée par téléphone, nous aurions 1 à 2% maximum, et 5% environ pour une enquête en face-à-face car les enquêteurs ont pour consigne d’effectuer des relances auprès des personnes cherchant à ne pas répondre.
Notre principal mode de recueil étant le téléphone (à taux de NSPP faible voir nul) et compte-tenu de la nécessité de pouvoir comparer des résultats d’enquête indépendamment du mode de recueil, nous avons fait le choix de ne pas laisser la possibilité aux personnes interrogées de ne pas répondre aux questions d’opinion. Ceci signifie aussi que si les questions avaient été posées par téléphone, nous aurions eu pratiquement les mêmes résultats car il y aurait eu très peu voir pas de NSP.
Comment définiriez-vous le pouvoir qu’ont aujourd’hui les instituts de sondage pour faire ou défaire l’opinion publique ? Ne pensez-vous pas que les sondages occupent une place trop importante dans le débat public alors qu’on en connaît les faiblesse et les carences ?
Je suis très étonné par cet éternel débat sur l’influence supposée des sondages sur l’opinion publique. Car finalement, c’est faire bien peu de cas du libre-arbitre de chacun. En quoi l’exposition aux résultats d’un sondage influerait-il sur vos opinions ?
Étrange conception de la nature humaine et plus globalement de la démocratie ! En revanche nos données peuvent effectivement être utilisées comme argument dans le jeu politique comme le sont tout autant celles d’autres acteurs. Nous parlons alors de l’interprétation qui peut être faite de nos données, notamment pas les journalistes et les politiques.
Pourquoi s’en prendre systématiquement au thermomètre ? Apporter l’information selon laquelle des mesures annoncées par le gouvernement sont approuvées par une majorité ne signifie pas que ces mesures sont nécessairement de bonnes mesures. Nous ne sommes pas ici pour porter un jugement de valeur, encore moins défendre une politique mais montrer que celle-ci peut rencontrer effectivement un écho favorable. À charge ensuite pour les opposants de défendre leurs contre-propositions, d’argumenter et de faire œuvre de pédagogie. C’est notamment le rôle des politiques et des intellectuels.
Pourquoi considérer d’emblée les résultats d’un sondage comme un horizon indépassable ? Quelle perspective pessimiste pour le débat démocratique ! Je prendrais le meilleur contre-exemple qui soit sur la nécessaire capacité de chacun à dépasser les données d’enquête : la peine de mort a été abrogée alors qu’une majorité de Français la défendait. Aujourd’hui, les enquêtes menées par l’Ifop démontrent clairement qu’une majorité de la population s’opposerait à son rétablissement. Ce retournement de tendance est à porter au crédit d’un travail de fond mené sur le sujet par les principaux acteurs publics. Nos enquêtes ne font que le mettre en lumière.
Notre travail consiste à mesurer des tendances, à identifier les contradictions et les lignes de fracture qui constituent l’opinion publique. Celle-ci est complexe par nature et impose beaucoup d’humilité dans notre travail au quotidien. Les données que nous produisons, notamment via les sondages réalisés pour la presse, n’ont pour seule vocation que d’apporter un éclairage sur un enjeu donné sans prétendre à présenter toute la vérité sur un sujet donné.
Illustrations CC FlickR par Guillaume Brialon, Stuart`Dootson
Assurer que le questionnaire est le “fruit d’un échange approfondi entre les parties”, revient à avouer que la fabrication du thermomètre est négociée par le médecin, le patient et la sécurité sociale.
Avec une telle méthode on ne mesure plus rien que l’équilibre des intérêts des uns et des autres. L’IFOP ferait mieux de réfléchir à ses arguments, s’il veut paraître un peu sérieux, sinon scientifique.