20 avril 2012
Le premier tour approchant, certains camarades en lecture de courbes ont eu la bonne idée de s’intéresser à la performance prédictive des sondages avant le premier tour des présidentielles précédentes. C’est en particulier le cas de Thomas Wieder du Monde, qui rappelle fort justement que les sondeurs se sont plantés grave en 2002, au moins sur l’essentiel, et que leur performance était beaucoup plus respectable en 2007, à un swap Sarkozy (plus haut) et Le Pen (plus bas) près. Tout en démontrant qu’il est encore possible en 2012 de faire des tableaux sous DOS.
Comme d’habitude, je pense qu’on peut affiner l'analyse. Au moins sur 2007, dans la mesure où je n’ai pas (encore ?) pris la peine de rassembler les données de sondage de 2002. Il y a 5 ans, donc, les 3 derniers mois de campagne considérés au prisme des sondages ressemblaient à ça (cliquer sur l'image pour l'agrandir, tendance calculée comme dans les notes précédentes, résultats électoraux triangulés).
Vu de 2012, l’élément le plus frappant est la relative stabilité des rapports de force. Certes, il y a la très spectaculaire percée de François Bayrou, qui part de très bas (6 % dans un sondage CSA du 6 janvier 2007), parvient à rattraper Ségolène Royal (au moins selon Ifop, qui les place tous les deux à 23 % dans un sondage du 9 mars), avant de voir sa courbe piquer du nez jusqu’à la présidentielle. Mais la tendance des intentions de vote en faveur de Jean-Marie Le Pen selon les sondeurs était quasiment constante de janvier à avril 2012, entre 12 et 14 %.
Surtout, comme le montre le zoom ci-dessous, la tendance de l’écart entre Nicolas Sarkozy et Ségolène Royal est aussi restée très stable, entre 3 et 4 points de janvier à avril 2007, même si quelques rares sondages pouvaient faire croire à un croisement des courbes (2 points d’avance pour Royal dans une enquête Ifop du 5 janvier, 1 point dans un sondage CSA du 20 février).
Si bien que la dernière présidentielle apporte un démenti cinglant (version hollandaise) / une exception qui confirme la règle (version sarkozyste) à l’adage selon lequel « le favori de janvier n’est pas le vainqueur de juin ».
Comment s’étaient comportés alors les sondeurs ? Une façon frustre de le faire est de calculer une moyenne sur les derniers sondages publiés par les différents instituts et de la comparer ensuite avec les votes effectifs du premier tour. Une manière plus élaborée consiste à calculer une erreur moyenne pour chaque institut de sondage. Le tableau ci-dessous donne l’erreur moyenne (plus précisément la racine carrée de l'erreur quadratique moyenne, RMSE en anglais, qui permet de surpondérer les erreurs importantes) de chaque institut pour les 4 candidats arrivés en tête en 2007 : je pars du principe que la bonne prévision du score des petits candidats est moins importante. On constate qu'Ipsos avait eu la meilleure performance, LH2 et surtout CSA les moins bonnes.
Est-ce que mes outils permettaient de prévoir de façon satisfaisante les résultats du premier tour ? Pour le savoir, j’ai regardé ce que donnait la tendance des sondages, calculée sur les 7 derniers jours, au samedi 21 avril 2007. Et j’ai comparé le résultat à ceux du premier tour et à une prévision naïve (la moyenne des dernières enquêtes des différents instituts). La bonne nouvelle est que mon modèle aurait obtenu un bon classement : s’il était en compétition avec les autres instituts, il aurait été deuxième derrière Ipsos, avec une erreur moyenne de 2,5 pts. La moins bonne nouvelle est qu’il n’est que légèrement plus performant (0,1 pt) qu’une prévision consistant à faire la moyenne des différents instituts.
Est-il possible d'améliorer la prévision pour faire mieux ? Ma méthode actuelle permet de sous-pondérer des prévisions datées, ce qui était utile en 2007 pour diminuer le poids accordé à l’enquête LH2, achevée une semaine avant le premier tour, et qui s’est avérée loin du compte. Mais elle ne permet pas d’écarter les mauvaise prévisions récentes, ce qui était le cas de l’enquête CSA du vendredi 20, qui avait considérablement surestimé le score de Jean-Marie Le Pen et sous-estimé celui de Nicolas Sarkozy.
Une idée serait d’utiliser les résultats passés pour pondérer de manière différente les instituts en fonction de leur performance. Par exemple, je pourrais faire une prévision 2012 à la lumière des erreurs de 2007. La difficulté est que les méthodes et les équipes ont pu beaucoup changer en 5 ans. Sous les probables sarcasmes de certains de mes lecteurs, j'affirme qu'on peut ainsi espérer que les sondeurs dont les résultats ont été décevants ont cherché à améliorer leurs outils depuis. L’idéal serait de pouvoir juger de la performance des sondeurs dans les mois précédant l’élection. Outre-Atlantique, la tâche est facilitée par l’organisation de primaires dans
Une solution plus créative est de tenter d’évaluer la performance des instituts en calculant un RMSE correspondant à l'écart entre le résultat de leurs enquêtes et la tendance moyenne, qui dépend de l'ensemble des résultats publiés par les sondeurs. L’intérêt de la méthode est de pouvoir pénaliser les instituts qui ont tendance à publier des résultats suffisamment éloignés de la tendance (des outliers, en bon angliche), pour qu'on puisse douter de leur validité. Une telle approche part du principe que la moyenne des sondeurs a plus de chance d’avoir raison qu’un sondeur unique, pris au hasard. Et que les outliers ne sont pas distribués totalement au hasard, mais nous disent quelque chose sur la valeur intrinsèque des méthodes employées par les différents sondeurs.
C’est un principe qui peut être discuté. Mais la méthode donne des résultats intéressants sur 2007 : l’écart à la tendance moyenne (calculée sur 7 jours, de début janvier 2007 au premier tour) permet ainsi de bien prévoir la capacité prédictive des différents instituts. En particulier, l’institut le plus proche de la tendance (Ipsos) était celui qui était le moins éloigné des résultats et l’inverse était également vrai pour CSA. La seule exception à la règle concerne LH2 mais on peut arguer qu’il était pénalisé par une enquête précoce par rapport au premier tour.
Si ça intéresse encore quelques lecteurs, je reviendrais demain sur 2012. Avec des courbes finales de premier tour. Et, si je trouve le temps et que mes camarades économètres n’ont pas démoli mes analyses d’ici-là, une prévision argumentée des résultats du premier tour.
Mis en ligne par Emmanuel à 21:34 | Lien permanent |
