Un sondage 100% nul

Par  - 14 août 2010 - 18 h 06 min [English] [PDF] 

Belle démonstration. Une semaine à peine après le discours de Grenoble, Le Figaro publie un sondage réalisé par l’IFOP, repris par l’AFP et Reuters, qui semble démontrer l’appui massif de la population aux annonces xénophobes de Sarkozy, sous le titre « Sécurité: Les Français plébiscitent les projets du gouvernement ». Selon l’UMP, «Ce sondage prouve, s’il en est encore besoin, que le Président de la République est à l’écoute des Français».

Devant ces scores soviétiques, qui paraissent a priori étranges, plusieurs organes chaussent leurs lunettes pour chercher l’erreur. Premiers à dégainer, Vincent Truffy, sur Mediapart, puis Martin Clavey, Nicolas Kayser-Bril et Martin Untersinger, sur Owni, critiquent la rédaction des questions et la méthodologie du sondage (réalisé par questionnaire auto-administré en ligne). Nombreux sont ceux qui leur emboîtent le pas.

Mal leur en prend. Mes camarades d’Owni se font immédiatement taper sur les doigts par Yves-Marie Cann, directeur d’études au département Opinions et Stratégies d’entreprise de l’Ifop, qui leur reproche de «s’en prendre au thermomètre», ou Guillaume Main, ancien salarié d’institut de sondage, qui les met dans le même sac que Bourdieu et autres contempteurs de la mesure d’opinion: de quoi je me mêle, ils n’y connaissent rien, les questions sont les questions, il n’y a pas de biais, le client est roi.

Pan sur le bec, comme on dit au Canard! Il n’aura pas fallu attendre plus d’une semaine pour qu’une nouvelle enquête, cette fois réalisée par CSA pour le compte de Marianne, donne raison à ceux qui doutaient de la crédibilité de l’approbation figaresque. Non seulement 69 % des sondés jugent « inefficace » l’action de Sarkozy sur les questions de sécurité, mais le lien entre insécurité et immigration apparaît minoritaire dans l’opinion.

La comparaison terme à terme de la question portant sur la fameuse déchéance de nationalité pour les immigrés tueurs de flics selon l’IFOP ou l’institut CSA est édifiante.

Version IFOP: «Question. Vous savez que le gouvernement a annoncé différentes mesures pour lutter contre l’insécurité. Pour chacune de ces mesures, vous me direz si vous y êtes très favorable, plutôt favorable, plutôt opposé ou très opposé? (…) 5. Le retrait de la nationalité française pour les délinquants d’origine étrangère en cas d’atteinte à la vie d’un policier ou d’un gendarme: 70% favorables/30% opposés.»

Version CSA: «Question. A propos de la proposition de loi qui consisterait à retirer la nationalité française à une personne d’origine étrangère ayant volontairement porté atteinte à la vie d’un policier, d’un gendarme ou toute autre personne dépositaire de l’autorité publique ou ayant commis d’autres crimes graves, de laquelle des propositions suivantes vous sentez-vous le plus proche?»

«1) Vous êtes plutôt favorable à cette proposition car l’acquisition de la nationalité doit être remise en cause en cas d’acte grave: 46%. 2) Vous êtes plutôt défavorable à cette proposition car tous les Français doivent être égaux devant la loi quelle que soit leur origine: 51% (NSP: 3%).»

46% contre 70% pour une question similaire – il y a de quoi désespérer des sondages d’opinion. Comment expliquer un tel écart? Mettons de côté les erreurs de calculette ou de pondération de l’échantillon, pour partir du principe que les sondeurs ont appliqué avec rigueur les règles élémentaires. On écartera de même les options de méthodologie. Même si le CSA a pris soin de recourir au bon vieux sondage par téléphone et de mentionner les « NSP » (ne se prononcent pas), il semble peu probable qu’une différence aussi importante puisse provenir de facteurs qui ne devraient jouer qu’à la marge.

Reste la formulation des questions. Car contrairement à ce qu’affirment benoîtement Yves-Marie Cann ou Guillaume Main, une question dans un sondage n’est pas un simple énoncé interrogatif neutre devant lequel chacun est libre de se prononcer à sa guise. Plusieurs observateurs ont fait remarquer que dans le cas de l’IFOP, «les réponses étaient dans la question», sur le modèle: «Vaut-il mieux être riche et bien portant que pauvre et malade?». Cette perception est le résultat d’un ensemble de détails que la comparaison permet d’isoler.

Première différence: l’IFOP choisit de présenter comme un « paquet » l’ensemble des propositions répressives, en les ordonnant des plus « consensuelles » («Le contrôle par bracelet électronique des délinquants multirécidivistes pendant plusieurs années après la fin de leurs peines»), pour finir par les plus problématiques («La condamnation à deux ans de prison pour les parents de mineurs délinquants en cas de non respect par ces derniers des injonctions de la justice»; la question sur la déchéance de la nationalité intervient en cinquième position). Un ordre qui a visiblement son importance, puisqu’on constate que le taux de réponses favorables diminue au fur et à mesure (89%, 80%, 80%, 79%, 70%, 67%, 55%).

A l’inverse, le sondage CSA isole la question sur la déchéance de la nationalité. Du coup, pas d’effet « paquet » qui conduit à banaliser les énoncés les plus durs et qui, commençant par les plus acceptables, pousse mécaniquement à approuver les suivants.

La présentation des annonces est très différente. Pour l’IFOP, «le gouvernement a annoncé différentes mesures pour lutter contre l’insécurité». Pas d’hésitation: ces mesures qui émanent du sommet de l’Etat seront forcément mises en place. Leur objectif n’est pas une basse manœuvre politicienne, mais la juste cause de la lutte contre l’insécurité. Cela fait deux critères qui limitent d’emblée la marge d’appréciation, avant même que la question soit posée. Côté CSA, en revanche, on évoque au conditionnel «la proposition de loi qui consisterait…». Pas de label gouvernemental pour légitimer l’annonce, et une simple « proposition », dont le contenu lui-même est hypothétique. On sent bien qu’ici, l’avis du sondé a plus de valeur, qu’il peut peser dans la balance d’un débat qui n’est pas fermé.

Enfin, alors que l’IFOP ne présente qu’un énoncé sans alternative, à prendre ou à laisser, CSA fournit un choix de réponses commentées, qui  apportent des informations précieuses sur l’évaluation de la proposition. Le second commentaire («car tous les Français doivent être égaux devant la loi quelle que soit leur origine») est évidemment une précision qui pèse d’un poids décisif dans la balance, car elle rappelle la règle constitutionnelle fondatrice du contrat républicain, à laquelle une part majeure de la population doit théoriquement être sensible. Dans ces conditions, c’est logiquement la deuxième proposition qui l’emporte.

De 70 à 46%: pour une même question, ces petites différences de formulation sont les facteurs qui conduisent « l’opinion » à prendre deux visages très différents – radicalement xénophobe dans le premier cas, éclairée par la raison dans le second. Comme l’explique Eric Fassin: «Définir les questions, ce n’est pas un simple préalable méthodologique; c’est aussi un enjeu politique. Car les problèmes ne se posent jamais tout seuls; ce sont toujours des acteurs politiques qui les posent, et qui tentent d’en imposer les termes.»

Le deuxième sondage n’est pas moins partial que le premier. Alors que l’IFOP – respectant la demande de son client – épouse sans discussion la vision gouvernementale, qu’il présente comme un choix fermé, l’institut CSA pose un ensemble de questions contextuelles qui amènent le sondé à réfléchir aux fondements de la politique sécuritaire, ce qui modifie son approche des questions. Il y a donc bien deux choix d’influence opposés dans chacune des deux enquêtes. Toute la question est de savoir laquelle est la plus représentative de l’état de l’opinion.

On ne peut répondre à cette interrogation qu’à partir des autres éléments d’information à notre disposition. La France est-elle majoritairement xénophobe et sécuritaire? Si tel était le cas, ce n’aurait pas été Jacques Chirac, mais Jean-Marie le Pen qui aurait été élu en 2002, et le débat sur l’identité nationale aurait dû nécessairement conduire l’UMP à remporter les élections régionales. L’approbation plébiscitaire du sondage du Figaro ne cadre pas avec les autres données connues, comme le caractère désormais secondaire de la question sécuritaire ou encore cet autre sondage réalisé par le CSA pour L’Humanité, qui donne 57% (au lieu de 70%) pour le retrait de la nationalité pour meurtre de policier et 62% (contre 79 %) pour le démantèlement des camps illégaux de Roms.

Des observateurs éclairés ont conclu au caractère délibérément clivant des annonces présidentielles. Selon Marion Desreumaux, de l’institut CSA, «les annonces de Nicolas Sarkozy sur les Roms, les gens du voyage et la déchéance de nationalité ont atteint leur but et marchent auprès de ceux à qui elles étaient destinées». On notera que même la formulation réflexive de Marianne n’empêche pas près de la moitié des sondés d’enfreindre l’égalité postulée par la loi républicaine. Comme l’a observé le CERD, le sentiment xénophobe progresse, attisé par les manipulations gouvernementales. Mais à la question: «Les Français d’origine étrangère sont-ils des Français à part entière?», le CSA enregistre une proportion de 75% de réponses favorables (70% à droite).

En interrogeant ses sondés comme des poissons rouges enfermés dans un bocal, l’IFOP a biaisé les résultats de sa propre enquête. A en juger par les réactions de l’institut, c’est en toute bonne foi. On en a désormais la démonstration: faute d’avoir su construire avec intelligence un appareil de questions adapté, sur un sujet délicat, il n’a pas réussi à produire une image correcte du jugement de l’opinion. Le sondage publié par le Figaro n’est donc vraisemblablement ni truqué, ni bidonné. Simplement, comme une photo ratée, il est bon à jeter.

Références (ordre chronologique)

12 Reponses à “ Un sondage 100% nul ”

  1. Excellente analyse. Comme on dit en informatique: « Garbage in, garbage out ». Et c’est vrai aussi pour les sondages…

  2. Comme vous me citez à deux reprises dans votre billet, je me permets d’intervenir ici, et de glisser une ou deux remarques.

    Si vous aviez, à votre tour, fait preuve d’objectivité, vous auriez peut être pu signaler également cet article écrit par mes soins et republié sur ReadWriteWeb dans lequel je démonte un autre sondage réalisé lui aussi par IFOP :

    http://statosphere.fr/website/post/2010/08/10/snep-tente-de-jauger-force-dissuasion-hadopi-avec-sondage-ifop

    Pour en revenir au sondage de l’IFOP sur les questions sécuritaires, j’ai bien plus souligné le caractère inapproprié des accusations portées par OWNI sans avoir jamais nié le fait qu’il était opportun de signaler le manque de neutralité des questions (forcément partisanes : on ne va pas demander au Figaro de publier un sondage et un article en forme de brûlot contre la politique de Sarkozy, un peu de réalisme).

    Par contre, je salue la façon avec laquelle vous faites la part des choses tout au long de l’article : vous soulignez avec brio le parti pris de chacun des deux sondages (Le Figaro vs Marianne).

    Néanmoins, reprenons ce passage :

    « de quoi je me mêle, ils n’y connaissent rien, les questions sont les questions, il n’y a pas de biais, le client est roi. »

    C’est un fait le client est roi, je ne sais que vous dire… Exemple : mon père est libraire, il ne lui viendrait pas à l’esprit de refuser de vendre un livre sous prétexte qu’il ne concorde pas avec ses convictions. En revanche, je n’ai JAMAIS nié le biais des questions. J’en n’impute simplement pas la faute à l’institut de sondage mais au commanditaire qui fournit toujours la matière première du sondage. Par ailleurs, vous me prêtez des expressions qui ne me ressemblent absolument pas : « ils » n’y connaissent rien ? Qui est ce « ils » ? Ce « ils » convient parfaitement à certains articles sur le sujet, c’est un fait !

    Mais en affirmant cela, même si vous trouvez mes démonstrations « benoîtes », je ne pense ni à OWNI, ni même à vous.

  3. @Guillaume : le problème du sondage, c’est que les gens ont confiance en eux et ont confiance dans des noms comme IFOP, CSA, etc. Le gagne-pain de ces instituts de sondages, ce n’est pas la scientificité et la rigueur de leur approche (qui devrait aller jusqu’à la formulation des questions), c’est que les commanditaires ne pourraient pas être crédibles s’ils étaient les auteurs des études. L’Humanité ou le Figaro, que tout le monde tient pour des journaux politisés, seraient suspects s’ils réalisaient leurs sondages sans caution extérieure (car il s’agit bien de caution), donc bien sûr, le client est roi, bien entendu il faut remplir son frigo, bien entendu y’a pas de sot métier, bien sûr on ne peut pas empêcher les gens de se faire abuser, etc., mais en retour, il est capital que la légitimité des sondages d’opinion soit questionnée.

  4. […] be sure that one can invoke public support for such racist policies? Polling comes to the rescue. Culture Visuelle does the analysis, taking apart the supposed polling that shows the overwhelming, Stalinian-level […]

  5. @ Guillaume, vous dites: « En revanche, je n’ai JAMAIS nié le biais des questions. J’en n’impute simplement pas la faute à l’institut de sondage mais au commanditaire qui fournit toujours la matière première du sondage. »
    Quelle exécution en règle de la prétendue scientificité des sondages!
    Si je suis votre raisonnement, la « matière première » que les commanditaires apportent au sondeurs, ce ne peut qu’être les réponses ou les conclusions (l’orientation)! Le métier de sondeur consisterait à trouver (à confectionner avec art) les bonnes questions pour répondre aux attentes du client! Si le sondage n’est pas satisfaisant (c’est-à-dire impubliable), le client qui a perdu de l’argent ira voir un meilleur artisan !
    Les deux excellents exemples mis en avant et analysés par André le confirment… Marianne n’apporte pas la même matière première que Le Figaro.

    Il y a là ainsi deux types de sondages, celui qui vise à connaître qualitativement une opinion et celui qui a pour fonction de fabriquer du consentement par voie de presse… l’un se veut plus scientifique que l’autre…

    Le sondage quantitatif publié dans la presse confère une aura scientifique à des images fabriquées de l’opinion publique… C’est un outil de légitimation pas un outil d’investigation, mais j’ai l’impression que comme le dogme de la vérité photographique celui de la vérité des sondages quantitatifs est très tenace… (il y a d’ailleurs des jeux télés qui apprennent aux foules à deviner ce que pense la majorité! les chiffres deviennent des réalités à connaître, des éléments de savoir)

    Au fond ce sondage quantitatif de l’ifop joue le même rôle qu’un film comme « Le triomphe de la volonté », il se veut document mais sert à mettre en scène une émulation ou tout au moins du consentement à ce qu’on présente comme la vox populi… Et comme cette voix est inaudible et insondable, le sondeur joue les ventriloques, lui donne corps avec une marge d’honnêteté qui dépend des intentions de son client…

    Remarquons qu’on peut cependant sonder les intentions de vote avec précision, parce que nous disposons d’une réalité quantitative pour vérifier ces sondages et parce qu’il ne s’agit pas d’opinion mais d’intention d’agir… En revanche, vouloir mesurer l’adhésion des Français à des mesures qui suscitent autant de réactions diverses, et de somatisations nauséeuses… c’est une illusion… On ne peut pas représenter dans un résultat aussi sommaire ce que pense tout un peuple, cela relève du simple bon sens, les questions font ici l’opinion, elles donnent la réponse comme le montre André…
    Mais il est d’autant plus facile de faire croire au résultat qu’aucune réalité ne pourra le confirmer ou l’infirmer… en revanche l’image qu’on se fera du peuple français changera, et là, on peut dire que ce sondage est une agression caractérisée…
    Il nous dit : « regardez-vous, vous êtes xénophobes et fascisants! et Sarkozy est votre prophète! Il a su vous révéler à vous-mêmes! »
    C’est précisément de la propagande…

  6. La formulation des questions, leur organisation, leur succession, en dit souvent plus long sur leurs fabricants que les réponses qu’ils prétendent fournir sur la réalité étudiée. L’opacité plane toujours sur les conditions précises dans lesquelles ces questions ont été fabriquées.
    Quoiqu’il en soit, un ensemble de propositions n’est jamais neutre, il se caractérise par des limitations et des contraintes qui imposent une logique dans la phase ultérieure d’évaluation. Celle-ci se trouve en grande partie déterminée par la teneur des propositions. Cette phase d’évaluation comportera d’autant moins d’hésitations, de réflexion et d’ouverture, que les réponses se trouvent déjà implicitement tracées dans les formulations initiales. Leur intégration ne fait alors que convertir la réception en une conservation des schémas prédominants illustrés dans la succession des propositions, et c’est le règne de l’acquièscement.
    C’est tellement facile. Quelle déprime cette première page, sans parler des Ovnis. On pourra peut-être éviter la nausée en se disant que ce journal peut servir à emballer le poisson (c’est le cas de le dire !), à chasser les mouches ou éventuellement allumer le feu, mais cela serait encore une destination trop noble pour un tel torchon…

  7. Et si c’était parce qu’il utilisait les sondages pour déterminer sa politique que Sarkozy baissait dans les sondages?

    Dès lors que l’institut respecte la demande de son client, la réponse a de bonne chance d’être également conforme aux attentes du client. Mais de ce fait, le client est la première victime de son propre sondage. Les sondages lui donnent à entendre ce qu’il a envie d’entendre. Et alors qu’il pense surfer sur les attentes des français, il se contemple dans un miroir.
    Ce ne serait pas sans rappeler la façon dont les ex-dirigeants soviétiques étaient les premières victimes des statistiques dont ils n’ignoraient pas pourtant le caractère fantaisiste.

  8. […] c’est un article du blog Culture Visuelle qui a attiré notre attention cette semaine : Un sondage 100% nul de André […]

  9. […] du sondé, comme le démontre très clairement l’analyse comparative d’André Gunthert, ici, on peut considérer que le sondage relève plus de la création picturale que de la saisie […]

  10. Autre exemple intéressant du zèle du Figaro et de la manipulation orientée des questions…
    http://bigbrowser.blog.lemonde.fr/2010/08/27/sondite-le-sondage-sur-les-roms-du-figaro-contredit-celui-du-parisien/