Analyses

AccueilAnalysesFabrique de l'opinionExpertisesSondagesAux limites du Big data prédictif – Survey Magazine / Novembre 2017

Aux limites du Big data prédictif – Survey Magazine / Novembre 2017

Paru le 22 novembre 2017 | dans Sondages
Rédigé par Franck Gintrand

Cela aurait pu être une révolution aux dernières présidentielles françaises. Ce ne fut qu’une confirmation : l’analyse du big data ne permet pas de disposer d’une photographie plus claire de l’opinion et encore moins de prédire ce que cette opinion sera demain.

couverture-surveymag-T4-2017-722x1024

A chaque élection, c’est la même fébrilité dans les bureaux des instituts de sondage. Les résultats viendront-ils confirmer ou infirmer les chiffres publiés à la veille du scrutin ? Les sondologues pourront-ils commenter les résultats avec cette grave assurance qui caractérisent les experts sûrs de leur fait ou devront-ils commencer par se justifier et se défendre face aux politiques qui, dans ces cas-là, se font un malin plaisir de rappeler combien les sondages doivent être pris avec des pincettes ? La question hante tous les esprits depuis 2002. Cette année-là, les présidentielles françaises semblaient jouées d’avance. L’unique incertitude portait sur l’ordre d’arrivée de Lionel Jospin et de Jacques Chirac au premier tour, le candidat socialiste étant largement donné gagnant au second tour. C’est dire la stupeur des Français le soir du 21 avril lorsque les écrans affichèrent le visage du président du Front national aux côtés de celui de Jacques Chirac. Lionel Jospin ne s’en est jamais relevé. Les experts des sondages, eux, y ont perdu beaucoup de leur superbe (1). D’autant que le 21 avril n’a fait qu’ouvrir une longue série de déconvenues. De ce point de vue, 2015 restera une « annus horribilis ». Législatives israéliennes, législatives turques, élections générales britanniques, référendum grec… Rien ne se sera passé comme le prévoyaient les sondages (2). Et 2016 n’aura pas été plus faste. Là encore, les instituts se seront vus reprochés de n’avoir ni vu venir le Brexit, ni anticipé la victoire de Donald Trump quand, dans le même temps, des entreprises revendiquant d’autres méthodes affirmaient, quant à elles, avoir pronostiqué le bon résultat (3).

Big data contre méthode des quotas

En France, la société Filteris envisageait ainsi dès octobre 2015 la victoire de François Fillon tandis que les instituts le plaçaient deux jours avant le scrutin derrière Alain Juppé et Nicolas Sarkozy. De quoi donner des ailes à Filteris qui dès la proclamation de la victoire de François Fillon s’empressait de proclamer la victoire de « l’analyse Big data » sur la méthode des quotas avant de se lancer dans le suivi des présidentielles (4). Dans son sillage, Vigiglobe, une startup française dirigée par un ancien directeur de TNS (5) et Predict The President (6), un programme initié et animé par cinq étudiants de l’école Télécom Paris Tech pour l’hebdomadaire le Point. Alors que les instituts laissaient entrevoir la probable sélection d’Emmanuel Macron et de Marine Le Pen au second tour, ces trois acteurs du big data pariaient sur un duel de François Fillon / Marine Le Pen. A la veille du premier tour, Filteris reprenait même sur Twitter l’interrogation formulée par La Tribune : « le big data donne Fillon au second tour, pas les sondages. Qui aura raison ? » (7) On connait depuis la réponse. François Fillon éliminé, le big data a été officiellement mis K.O. par la méthode des quotas.

Opinion assistée contre opinion volontaire

Le séisme n’aura donc pas eu lieu. Les présidents d’instituts auront tremblé, retenu leur souffle avant de respirer. Après avoir justifié leur échec par un revirement de dernière minute de l’opinion, les partisans du Big data se font aujourd’hui plus discrets. Mais le débat n’est pas clos. Critiqués pour avoir longtemps cultivé l’ambiguïté sur le caractère prédictif de leur approche, les instituts font désormais preuve d’une modestie à toute épreuve. Par prudence, tous mettent désormais un point d’honneur à rappeler combien les sondages ne sont qu’une « photographie de l’opinion » et, en aucun cas, une prévision des résultats définitifs. Pour les acteurs du big data, ce point de vue n’est pas acceptable. Dans la mesure où le sondage ne reflète qu’une opinion sollicitée et volontaire, cette photographie serait selon eux profondément biaisée. Par ailleurs, elle serait dans l’incapacité de rendre compte de la dynamique de l’opinion et de son point ultime de cristallisation. Par rapport à cette double limite, le big data présenterait l’avantage de porter sur le traitement de données non sollicitées et sur l’attention portée aux signaux faibles. Quand les sondages se contenteraient de prendre une série de clichés, le big data permettrait d’anticiper la fin du film électoral (8).

Compréhension du présent contre anticipation du futur

Le débat entre big data et méthode des quotas ne concernerait que le suivi des élections, sa portée n’aurait qu’un intérêt mineur. Mais les divergences de méthode dépassent largement la sphère politique. Au-delà des sondages, c’est le marché autrement plus rémunérateur des entreprises qui est visé. Les outils du marketing traditionnel que sont les panels ont l’inconvénient trop souvent de ne refléter que les attentes présentes des consommateurs. Henry Ford s’amusait à dire que « si (il) avais(t) demandé au consommateur ce qu’il voulait lorsque (il a) conçu la Ford T, il ne fait aucun doute qu’il (lui) aurait répondu « un cheval plus rapide » ». Soit. Mais la banalité de la réponse ne tiendrait-elle pas surtout à celle de la question ? L’analyse prédictive du big data pourrait-elle se révéler plus performante en relevant des corrélations dont l’opinion n’est pas (encore) consciente ? L’outil permettrait ainsi de lever les réticences qui pèsent à l’égard de la stratégie Océan bleu dans la mesure où, la plupart du temps, l’absence de choix stratégique clair – dénoncée par les concepteurs de cette stratégie – constitue la meilleure, sinon l’unique façon de limiter les risques (9).

La question centrale de l’évaluation du risque

Le débat sur les élections ne fait en réalité qu’essayer de répondre à cette question : le big data prédictif peut-il aider les entreprises à surmonter et dépasser ces stratégies de non-choix en limitant au maximum les risques associés aux changements majeurs ou aux décisions radicales ? Que des sociétés réussissent à prédire le chiffre d’affaire généré par la sortie d’un film pendant une année, juste en analysant les réactions des internautes au moment de la sortie en salle, est une chose (10). Qu’il puisse y avoir une méthode permettant de parvenir au même résultat avant la sortie en salle, avant même le tournage, en est évidemment une autre. Filteris ou Vigiglobe, fortes de pronostics qui se sont vérifiés dans les faits sur le Brexit, la victoire de Trump ou encore le résultat des primaires de gauche et de droite, sont convaincues que cet objectif n’a rien d’illusoire. Pour se livrer à ses prévisions dans le dernier tournant de l’élection, Filteris déclare avoir principalement utilisé le « social media monitoring » qui consiste à recueillir les opinions exprimées à grande échelle sur les réseaux sociaux et à les rediriger sur des algorithmes chargés de distribuer des scores en termes de « popularité » et de « sentimentalité » (11). De son côté, Vigiglobe dit utiliser des algorithmes de « machine learning » capable d’analyser z mais surtout qualitativement les messages postés sur les réseaux sociaux (12).  Ces explications sont quelque peu obscures mais au bout du compte, quelle que soit la méthode revendiquée et les ingrédients du big data, la recette consiste pour l’essentiel en une veille des réseaux sociaux – en l’occurrence Twitter et Facebook –, à savoir un recueil et un traitement d’opinions à grande échelle.

Les limites du big data prédictif

Les instituts ont bien entendu critiqués l’absence de représentativité de ces réseaux. Seulement 10% de la population serait inscrite sur Twitter, principalement des jeunes surdiplômés et principalement des jeunes urbains surdiplômés (13) et Facebook ne concernerait quant à lui qu’un Français sur deux (14), ce que les animateurs de Predict The President ont admis. Ce biais s’accentuerait même durant les élections en fonction du cours de la campagne. On sait que pour ces présidentielles, les sympathisants de François Fillon ont fait preuve d’un activisme exceptionnel pour défendre leur champion face aux accusations dont il faisait l’objet. « Fillon est évidemment surcoté chez nous », reconnaissait le fondateur de de l’application GOV à deux mois du scrutin. « Le décalage donne quand même une information ; Fillon dispose de partisans déterminés, convaincus, mobilisés qui veulent le montrer. » (15) Une indication, donc. Mais en aucun cas une prévision. Plus largement les instituts ont dénoncé le manque de rigueur et de clarté des méthodes utilisées : indicateurs retenus, modélisation des données, nature des croisements, etc (16).

Les algorithmes issus du machine learning sont-ils réellement en mesure d’identifier les aspects positifs et négatifs des commentaires mais aussi les nuances attachées au langage et à sa diversité. Comment distinguer le sarcasme, la démonstration par l’absurde, l’ironie, bref le second du premier degré ? Est-ce même possible ? En réalité si ces critiques sont recevables aujourd’hui, il n’est pas non plus absurde d’imaginer que des progrès technologiques puissent en venir à bout. Pourquoi ne pas imaginer des méthodes de redressement pour corriger les distorsions liées aux spécificités des internautes sur les réseaux sociaux ? Après tout, les instituts y recourent depuis des années pour corriger la sous-déclaration de certains votes (d’extrême-droite, notamment) ou la sous-représentativité de certains groupes sociaux (les ouvriers) et de certaines classes d’âge (les jeunes actifs) avec un certain succès. De la même façon on ne voit pas pourquoi les progrès en matière d’intelligence artificielle ne parviendraient pas à maîtriser les nuances du langage au-delà d’un simple décompte des occurrences. On admettra sans crainte de beaucoup se tromper que le secteur du big data n’en est qu’à ses débuts et que l’expérience aidant les difficultés que l’on connait aujourd’hui pour parvenir à une appréciation juste des opinions sur les réseaux sociaux seront de mieux en mieux maitrisées au fil du temps.

L’impossible addition des données qualitatives et quantitatives

Même si le big data n’est pas en soi une discipline dédiée à la prédiction, la recherche et l’identification de corrélations ouvre la possibilité de construire des scénarios prédictifs. Gilles Badinet cite l’exemple de Recorded Future qui « travaille sur des prédictions aussi étonnantes que celles des attaques de sites Web, de banque… » (17). Et c’est loin d’être le seul. Cela dit, outre le fait que Badinet se montre prudent lorsqu’il dit Recorded Future qu’elle « travaille sur des prédictions » et non qu’elle « prédit » ou qu’elle « est en mesure de prédire » des attaques et que ces « prédictions » semblent limitées à l’univers du net (18), le Big data prédictif en matière d’opinion risque bien de se heurter à un autre obstacle, définitivement insurmontable : la différence de nature radicale, inconciliable, entre la donnée représentative et celle qui ne l’est pas. Le principe du big data est de traiter des données extrêmement hétérogènes. Mais donnée quantitative et donnée qualitative sont séparées par une frontière infranchissable : celle de la représentativité. Bien sûr les études qualitatives peuvent s’enrichir de l’étude de sondages. Elles sont également utilisées pour établir les questionnaires des sondages et éclairer les résultats. Mais il s’avère illusoire sinon absurde d’imaginer le processus inverse, à savoir pondérer les résultats d’une étude représentative par une étude qui ne l’est pas. Or c’est exactement ce que se proposaient de faire Filteris, Vigiglobe ou Predict The President : tirer des statistiques de l’étude sémantique des réseaux sociaux puis s’en servir pour corriger les chiffres des sondages. Une cuisine pour le moins curieuse. Prenons l’exemple d’un candidat progressant de 4% dans les intentions de vote selon les sondages et dont le nom connaitrait une augmentation de 8% d’occurrences positives durant la même période sur les réseaux sociaux ? Est-il possible d’imaginer procéder à une quelconque moyenne entre le premier et le second chiffre ? Evidemment non. Il ne s’agit pas des mêmes types de données.

Que l’analyse prédictive gagne en précision grâce au big data prédictif n’a rien d’un mythe. Les progrès des prévisions météo et leur utilisation en agriculture en constituent sans doute la preuve la plus évidente. Même constat dans le domaine de la santé où le développement d’une médecine préventive pourrait générer des économies considérables, de l’énergie pour le dimensionnement des unités de production et des réseaux ou des transports pour anticiper les flux principaux de déplacement et accompagner l’introductions de véhicules autonomes et connectés. Mais ces exemples, aussi intéressants soient-ils, reposent sur des données scientifiques et comportementales et non des données déclaratives. Quoi qu’en aient dit les instituts en leur temps et quoi qu’en disent aujourd’hui certains acteurs du big data, il est impossible de prévoir le score d’une élection, a fortiori en faisant un mixte de données qualitatives et quantitatives. Ne serait-ce que pour une raison : l’opinion peut évoluer jusqu’au jour du vote, dans le secret de l’isoloir. Chaque mesure de l’opinion n’est bel et bien qu’une photographie ou, alors dans le meilleur des cas, la confirmation ou l’infirmation d’une tendance passée. Ce qui n’est en soi déjà pas si mal. Encore faut-il qu’après les instituts, les partisans du big data se résignent à admettre cette limite.

Franck Gintrand

Directeur général de Global conseil corporate, auteur de plusieurs articles sur les sondages, notamment : « Sondages présidentiels 2012 : mais où sont passés les indécis ? » Le Monde, 22/03/2011, « Une vérité que les instituts de sondages préfèrent ne pas crier sur les toits », Le Monde, 23/02/2011 et « L’impossible palmarès des instituts de sondages », Slate.fr, 22/05/2012 

Notes

(1) Les instituts de sondage divisés pour expliquer la « surprise » du premier tour, Alain Ruello et Nathalie Silbert, Les Echos, 23/04/2002

(2) Sondages politiques : les plus gros flops de 2015, Richard Sénéjoux, Télérama, 26/01/2016 ; L’erreur record des sondages sur le référendum grec, Alain Garrigou, Le Monde diplomatique, 13/07/2015

(3) Trump président : pourquoi tous les sondages se sont trompés, Anna Benjamin, L’Express, 09/11/2016

(4) Adrien Sénécat note néanmoins à juste titre : « A la veille du premier tour de ce même scrutin, les données de Filteris plaçaient certes François Fillon en tête, mais d’une courte tête devant Nicolas Sarkozy (22,1 % contre 20,7 %) et loin devant Alain Juppé (16,0 %). Les autres candidats, avec des scores de 8,8 % à 12,0 %, étaient quant à eux largement surestimés. », Election présidentielle : Filteris, la pseudo-enquête électorale à prendre avec des pincettes, Le Monde, 03/04/2017

(5) Présidentielle 2017 : « Fillon pourrait se qualifier au second tour et pas Le Pen », interview de Leendert de Voogd, Sylvain Rolland, La Tribune, 20/04/2107

(6) Comment peut-on prédire une élection ?, propos recueillis par Jérôme Béglé, Le Point, 18/04/2017

(7) Présidentielle 2017 : le big data donne Fillon au second tour, pas les sondages. Qui aura raison ?, Sylvain Rolland, La Tribune, 20/04/2017

(8) Sondages de plus en plus dénigrés : la disruption guette-t-elle le secteur ?, Guillaume Main, Statosphère, 15 septembre 2015

(9) Approche critique de la stratégie Océan bleu, Franck Gintrand, Le Journal du Net, 11/02/2011

(10) Les Big data vont révolutionner nos vies, notre travail et notre pensée, interview de Viktor Mayer-Schönberger par Dominique Leglu, Sciences et Avenir, 12/07/2013

(11) La popularité de Macron est surestimée par les sondages affirme la chaîne de télé financière Bloomberg, Jean Patrick Grumberg, dreuz.info, 04/04/2017

(12) François Fillon au second tour des présidentielles, prédisent les spécialistes du big data, Alain de Fooz, Digital Energy Solutions, 22/04/2017

(13) Twitter, un nouveau « baromètre de l’opinion publique ?, Julien Boyadjian », Participations, 2014

(14) Facebook est-il mort ?, Etienne Mercier et Christelle Craplet, Ipsos.fr

(15) GOV, l’appli big data qui donne Fillon président, Claude ASkolovitch, Slate.fr, 17/03/2017

(16) Etudier les réseaux sociaux pour comprendre l’opinion, « ce n’est pas un sondage », selon Brice Teinturier, M Pixels, Le Monde, 24/04/2017

(17) et (18) Big Data, penser l’homme et le monde autrement, Gilles Badinet, février 2015

A lire

Predict the president – le Big Data reste dans la course, Bertrand de Véricourt, HastagMonde, 27/04/2017

Le Big Data remplacera-t-il un jour les sondages ? Hugo Bonnafé, 21/12/2015, OVH Blog

Tous les mêmes ? Les votes pour les partis de gouvernement en temps de crise, Florent Gougou et Vincent Tiberj, Revue européenne des sciences sociales, 2015 (53-1)

Marketing politique et big data, Jacques Bille, Commentaire, 2015/2

> La version publiée de l’article de Franck Gintrand

Revue de presse

Les débats du moment