Analyses

AccueilAnalysesFabrique de l'opinionExpertisesSondagesIpsos, Opinion Way, LH2, Harris Interactive, Sofres…. L’impossible palmarès des instituts de sondages – Tribune parue sur Slate.fr

Ipsos, Opinion Way, LH2, Harris Interactive, Sofres…. L’impossible palmarès des instituts de sondages – Tribune parue sur Slate.fr

Paru le 7 mai 2012 | dans Sondages
Rédigé par Franck Gintrand

Alors que certains instituts de sondages se félicitaient d’avoir annoncer les bons chiffres du premier tour des présidentielles, pas un sondeur n’a jugé bon de faire sa promotion au lendemain du second tour. Pour une raison simple : ceux qui avaient vu juste pour le premier tour ont fait preuve de moins de perspicacité pour le second. Et si les sondages n’avaient pas grand chose de scientifique ?

Fidèle à sa réputation de franc tireur, Jean-Daniel Levy de Harris Interactive aura été le premier à dégainer pour faire la promotion de son institut au lendemain du premier tour des présidentielles. Dans un article de Challenges paru le 30 avril dernier et intitulé « Présidentielle : tous les sondeurs ne se sont pas trompés », l’institut Harris est déclaré grand vainqueur de la bataille des pronostics qui s’est achevée par la déclaration des résultats le soir du 22 avril.

Quand les meilleurs instituts se retrouvent bons derniers

Outre le fait que ce titre est en réalité largement usurpé – TNS Sofres et Opinion Way ont donné des chiffres plus proches des résultats définitifs du premier tour – (1), aucun institut ne claironne au lendemain du second tour (2). Pourtant, tous ont pronostiqué la victoire de François Hollande, et ce depuis plusieurs mois. Il y aurait donc plutôt matière à le rappeler… et à s’en féliciter. Seulement voilà, il y a un « mais ». Et ce « mais » est de taille. Les instituts qui avaient vu le plus juste pour le premier tour n’ont pas réédité leur performance pour le second tour. Ce serait même plutôt l’inverse.

Ipsos et Opinion Way, qui n’avaient pas fait preuve de la plus grande clairvoyance au premier tour, se rapprochent fortement du résultat final du second tour, avec un écart de 0,87 point. Mais c’est LH2 qui fait le plus fort. Alors que cet institut fermait la marche pour les prévisions du 1er tour, il décroche la première place en ne se trompant, de même que l’Ifop, que de 0,33 point pour le second tour! Inversement, TNS Sofres surévalue François Hollande de 1,87 point, soit légèrement plus que Harris Interactive, qui crédite le candidat socialiste de 1,37 point en trop. Jean-Daniel Levy se fait soudain plus discret. Et à juste titre.

Un art très aléatoire

Morale de l’histoire : donner les bons chiffres à la veille d’un premier tour est une chose, rééditer cet exploit à la veille du second tour est autrement plus difficile. Dans un cas, on ne peut pas exclure une part de hasard. Dans l’autre, il devient plus tentant d’avancer comme explication la rigueur et la fiabilité de la méthodologie employée. Or la dernière présidentielle vient de montrer – et de façon particulièrement éclatante -, il n’existe pas de méthodologies plus fiables que d’autres, ni d’instituts plus professionnels que d’autres.

Le sondage reste un art, et qui plus est un art aléatoire. Une fois constitué l’échantillon, la façon dont est réalisée l’enquête sur le terrain (le plus souvent, au téléphone) peut avoir une incidence sur la qualité des résultats. Mais cette incidence reste limitée au regard du redressement des résultats bruts sachant que, dans ce domaine, la comparaison avec les résultats passés et ceux récoltés par les autres instituts tient au moins autant d’une approche « scientifique » que de la technique, plus prosaïque, du doigt mouillé.

Mis en cause régulièrement sur la fiabilité de leurs pronostics, les sondeurs rappellent chaque fois que nécessaire – c’est-à-dire le moins souvent possible - l’existence de la fameuse « marge d’erreur » (3% dans le cas d’un sondage sur un échantillon de 1000 personnes). Cette notion a l’avantage d’expliquer les différences de prévisions entre instituts eux-mêmes (quoi qu’il arrive que ces différences soient supérieures à 3%) tout en défendant le caractère scientifique des sondages (si erreur il y a, elle ne dépasse jamais un certain seuil).

Le concept absurde de « marge d’erreur »

En réalité, la notion d’erreur n’a aucun sens par rapport à des intentions de vote. Dire à 6 mois de l’élection que 25% des électeurs envisagent de donner leur voix à tel candidat et 30% à tel autre est une chose. Défendre l’idée que ces estimations sont exactes à 3% près est totalement absurde. Tant qu’elles ne se traduisent pas en votes, des intentions (quelles qu’elles soient) restent du domaine du déclaratif et donc du virtuel. Elles ne peuvent être mesurées par rapport à une réalité donnée. Tout au plus, un institut peut-il défendre l’idée que ses résultats sont plus fiables que ces concurrents mais il lui sera rigoureusement impossible de le prouver.

Le parallèle entre les intentions de vote et le vote lui-même est en revanche parfaitement pertinent pour peu que la période de réalisation des sondages soit proche de l’élection. Sur ce point la règle est très simple : plus on se rapproche du jour du scrutin, plus la comparaison entre les intentions et les votes définitifs est légitime et pertinente.  Il ne viendrait bien sûr à l’esprit de personne de comparer un sondage réalisé six mois avant le scrutin et les résultats définitifs. Mais les intentions de vote évoluent jusqu’à la dernière minute. Si le nombre des indécis tend à diminuer au fil du temps, il existe toujours des électeurs qui, dans les derniers jours, continuent d’hésiter entre le vote et l’abstention ou entre plusieurs candidats.

Savoir décrypter un sondage

Ces précisions étant données, que peut-on raisonnablement attendre des instituts en terme de fiabilité entre le résultat annoncé et le résultat effectif ? Tout dépend des écarts entre candidats à la veille de l’élection. Si les écarts sont relativement significatifs, des surprises sont toujours possibles mais il y a de fortes chances pour que l’ordre d’arrivée soit conforme aux prévisions. Si les écarts sont faibles, la méfiance doit, au contraire, rester de mise. A fortiori lorsque la participation est difficile à mesurer (ce qui est souvent le cas comme l’ont rappelé une nouvelle fois les primaires socialistes et le premier tour de l’élection). Evaluer les candidats à leur juste mesure devient beaucoup plus complexe. Ce qui peut avoir une incidence directe sur l’ordre d’arrivée et des conséquences graves comme nous l’avons vu en 2002.

Parler d’erreur pour les sondages réalisé à la veille du scrutin n’est pas dépourvu de sens. Encore faut-il garder à l’esprit qu’il n’existe à ce jour aucune méthodologie plus fiable qu’une autre. Le fait que certains instituts aient donné ls bons résultats à la veille du premier tour mais pas à la veille du second tour le montre de façon incontestable. Ce qui prouve par ailleurs que, quoi qu’en disent les sondeurs, les études n’ont pas grand chose de scientifique. Mais ne jetons pas le bébé avec l’eau du bain. Concentrons-nous sur la seule chose qui mérite notre attention dans les sondages : les tendances qui se dessinent d’un mois sur l’autre puis, dans le dernier tournant, l’importance des écarts entre candidats et leur ordre d’arrivée. Nous aurons alors réellement fait un pas de géant dans notre rapport aux sondages…

Franck Gintrand - Directeur général de Global conseil

(1) Premier tour des présidentielles 2012 : les instituts de sondages ne se sont pas trompés. Enfin plus ou moins…

(2) Les cinq instituts de sondage de référence (Ipsos, Opinion Way, LH2, Harris Interactive et TNS Sofres) ont tous réalisé une enquête sur les intentions de vote des Français au second tour de l’élection entre les 2 et 3 mai, soi 3 à 4 jours avant la tenu de ce second tour. TNS Sofres et Ipsos ont réalisé leurs dernières estimations le 3 mai, tandis que Opinion Way, Harris Interactive et LH2 les ont réalisées les 2 et 3 mai.

Comparaison entre les résultats du 2e tour des présidentielles 2012 et les intentions de vote mesurées par cinq instituts de sondages, quelques jours avant le scrutin. La comparaison pour le 1er tour est également consultable.

  François Hollande Nicolas Sarkozy
Résultat définitif 51.62 48.38
Estimation TNS Sofres(réalisation : 3 mai) 53.5 46.5
Estimation Ipsos(réalisation : 3 mai) 52.5 47.5
Estimation Opinion Way(réalisation : 2 et 3 mai) 52.5 47.5
Estimation Harris interactive(réalisation : 2 et 3 mai) 53 47
Estimation LH2(réalisation : 2 et 3 mai) 52 48

Revue de presse

Les débats du moment