23 avril 2012

[Sondages] Les sondeurs se sont-ils plantés? 

Sur TF1 ce soir, Nadine Morano a fustigé "le plantage total des instituts de sondage", en mettant en avant le fait que "ce qui est arrivé ce soir, c'est que les deux [premiers] candidats sont arrivés dans un mouchoir de poche".

La ministre chargée de l'apprentissage et de la formation professionnelle ne pouvait pas plus parfaitement se tromper. Une comparaison des derniers sondages des 8 instituts avec les résultats du premier tour (la moyenne des estimations à minuit) montre en effet que la performance des sondeurs a été plutôt bonne.

En 2007, comme je le notais vendredi, l'erreur moyenne de l'ensemble des sondeurs sur les scores des 4 grands candidats avait été de 2,6 pt, le meilleur institut (Ipsos) présentant une erreur moyenne de 2,2 pt. En 2012, comme le détaille le tableau ci-dessous (cliquer pour agrandir), l'erreur moyenne sur les 5 grands candidats n'est que de 1,8 pt, et le meilleur institut (TNS Sofres) est à seulement 1,4 pt.




Certes, comme le montre le graphique ci-dessous, l'écart entre le score final (triangulé) de Marine Le Pen a été de plus de deux point supérieur à la moyenne des dernière enquêtes. Et Jean-Luc Mélenchon se trouve à près de trois points plus bas.




Mais, à l'inverse de 2007, les scores des deux premiers candidats ont été très correctement prévus. Ce qui explique que, contrairement à ce que laisse penser Nadine Morano, l'écart au premier tour entre François Hollande et Nicolas Sarkozy est exactement celui auquel on pouvait s'attendre en suivant la tendance des sondages.




Et le score de Ceteris Paribus, dans tout ça? Il est correct, sans plus : une simulation sur la base des tendances des derniers sondages aurait présentée une erreur moyenne de 1,8 pt. Soit exactement le même score que la moyenne des sondages. Ce n'est pas déshonorant. Mais pas spécialement glorieux non plus. Finalement, la loi de 1977 a peut-être du bon.

Post scriptum (25/04) : avec les résultats définitifs, la performance des sondeurs est encore meilleure. L'erreur moyenne (RMSE) est à 1,6. Les bons élèves : TNS Sofres (erreur moyenne à 1,3), Harris et Opinion Way (1,4 tous les deux). Soit un sondeur par téléphone et deux par Internet. Comme quoi...