Le hérisson et le renard, ou l’art et la science des prédictions

prediction

Le renard connait beaucoup de choses, mais le hérisson en connait une seule grande. (Archiloque)

Dans son essai Le Hérisson et le Renard, Isaiah Berlin divise les auteurs et les penseurs en deux catégories selon le vers du poète grec Archiloque. D’un côté les hérissons, qui ne voient le monde que par une règle simple (les exemples donnés incluent Platon, Pascal, Dostoïevski, Nietzsche, ou Proust). De l’autre les renards, qui tirent parti d’une grande variété d’expériences et pour qui le monde ne peut être réduit à une idée unique (des exemples donnés incluent Aristote, Shakespeare, Montaigne, Molière, ou Balzac).

Les philosophes, symboles d’une pensée unitaire qui ramène tout à un seul principe d’explication, seront généralement des hérissons. Et les anthropologues, par exemple, adeptes du travail de terrain et des savoirs locaux sans rapport entre eux, pencheront du côté des renards.

Les hérissons sont de manière générale bien plus populaires. Les médias aiment les prédictions audacieuses et les théories simples et bien définies. Les gens attendent des experts et des politiciens une certaine dose de confAiance et de certitude. Personne n’aime l’incertitude.

Mais l’art et la science de la prédiction se situe justement dans cette capacité à être confortable avec l’incertitude.

Le hérisson et l’illusion de la connaissance

Dans Superforecasting, Philip Tetlock analyse la qualité des prédictions d’experts dans une étude qui a duré 18 ans. Le but était de savoir si les gens considérés comme étant experts dans leur domaine pouvaient prédire le futur avec plus de précision que les généralistes. Tetlock a suivi des centaines d’experts de plusieurs disciplines, enregistrant les résultats de 28000 prédictions.

Les résultats sont frappants. Les prédictions des généralistes dépassent de loin celles des experts. Les experts qui se sont confiné à leur domaine spécialisé en ignorant le savoir interdisciplinaire ont les pires résultats. Ils ont aussi tendance à être plus confiants dans leurs prédictions – erronées – que les généralistes. Et leurs prédictions sont plus catégoriques – ce qui d’après la théorie des probabilités est une mauvaise chose.

L’explication vient du fait que le fait de tout filtrer à travers une seule et même idée principale – le profil même du hérisson – exacerbe le biais de confirmation, augmentant la confiance tout en écartant les détails contradictoires importants.

Le pire ennemi de la connaissance n’est pas l’ignorance, mais l’illusion de la connaissance. (Daniel Boorstin)

Les experts sont souvent trop dépendants de leur spécialité. Ils éprouvent des difficultés à appliquer leur connaissance en dehors du contexte de leur domaine de prédilection. Du coup ils perdent en calibration (refus de considérer les alternatives) et en résolution (excès de confiance dans leur jugement).

Selon Tetlock, les renards surpassent les hérissons à la fois en calibration et en résolution – les deux éléments du score de Brier, qui mesure la précision de prévisions probabilistes. Plus que l’expertise, la diversité semble donc être la clé de la qualité d’une prédiction. C’est là qu’avoir à sa disposition un ensemble de modèles mentaux est utile.

La diversité l’emporte sur l’expertise

Pour comprendre la façon de penser du hérisson, considérez sa grande idée comme une paire de lunettes qu’il n’enlèverait jamais. Le hérisson voit tout à travers ces lunettes. Mais ce n’est pas une paire ordinaire – les verres sont teintés en vert. La plupart du temps, ces verres teintés déforment la réalité. Partout où il regarde, il voit du vert, même quand ce n’est pas vert. Et bien souvent, ce n’est pas vert.

Avoir plus d’information n’aide pas forcément parce que cette nouvelle information sera toujours analysée à travers les verres teintés. Avoir plus d’information va augmenter la confiance du hérisson dans sa prédiction, mais pas sa précision. C’est un cocktail très mauvais pour la prédiction.
Les spécialistes sont atteints du syndrome de « l’homme avec un marteau », pour qui tout problème ressemble à un clou. Leur domaine d’expertise devient la lentille à travers laquelle ils observent tout.

Michael Mauboussin écrit dans Think Twice que, « les gens bloqués dans leurs vieilles habitudes de pensée sont dans l’incapacité d’utiliser des nouvelles façons d’obtenir une autre perspective sur leurs problèmes. Savoir quand aller au-delà de l’avis d’experts demande un effort qui ne vient pas naturellement. Ça ne veut pas dire que le futur pour les experts est sombre. Ils gardent un avantage dans des domaines importants. Le challenge est de savoir quand et comment faire appel à eux. »

L’agrégation de perspectives différentes est un très bon moyen d’améliorer son jugement. Mais le mot-clé ici est « différentes. »
Il ne faut pas seulement considérer plusieurs avis, il faut s’assurer que ces avis soient différents.

Mais ce n’est pas une vraie dichotomie ici. Si la diversité l’emporte sur la spécialité, il ne s’agit pas de faire un choix : les meilleurs résultats seront obtenus par un ajustement précis entre les deux.

***

Cette étude est souvent interprétée comme la preuve que les prédictions des experts sont toujours fausses, mais le message important est ailleurs. Tetlock nous donne les clés pour comprendre pourquoi et comment certaines personnes sont capables ou non de prédire l’avenir.

J’aime beaucoup cette idée parce qu’en plus d’être basée sur des nombreuses études scientifiques et psychologiques, elle a produit d’excellents résultats sur des problèmes réels avec des profils de participants très différents. Lors d’une compétition de prédictions organisée par l’IARPA (l’organisme de recherche avancée du renseignement américain), le Good Judgment Project mené par Tetlock a en effet démoli les autres équipes inscrites, y compris toutes les agences américaines de renseignement.

Soyez un renard, pas un hérisson.

Si c’est assez bon pour la CIA, il y a de bonnes chances que ça soit le cas pour vous aussi.