Le Théorème de Bayes, outil à l'emploi compliqué

Dans cet article, je voudrais revenir sur le Théorème de Bayes, et en particulier ses difficultés d'utilisation. Il y a aujourd’hui un certain nombre de personnes avec pas mal de visibilité qui, faute d'un meilleur mot, me semblent verser dans l'« hooliganisme bayésien ». Ceci risque, à mon sens, de créer chez elles et leur public une tendance à l'excès de confiance dans le Théorème de Bayes, et surtout dans leur capacité à l'utiliser correctement.

Il est de nombreuses critiques philosophiques qui peuvent être faites sur le Bayésianisme à outrance, mais je ne les maîtrise pas, et vais donc me garder d'en parler¹. Je vais plutôt me focaliser sur le Bayésianisme en tant qu'outil. Comme tous les outils, il est important de comprendre ce qui peut mal se passer si on l'utilise mal.

Cet article a donc pour propos de détailler la thèse suivante : Le Théorème de Bayes est certes un outil puissant, mais il est extrêmement facile de mal l'utiliser, et ceci mène souvent à des conclusions très erronées.

$$ P(T | D) = \frac{P(D | T)}{P(D)} P(T) $$

L'excès de confiance Bayésien

Commençons par le commencement : l'excès de confiance. Il est dit et répété : l'excès de confiance vient de notre échec à raisonner en termes de probabilités, et il nous faut nous habituer à penser bayésien pour nous en prémunir. Évaluer notre incertitude, et éviter de donner des prédictions plus tranchées que ce que nous savons réellement.

Si je suis dans l'absolu d'accord avec ça, il me semble cependant que c'est l'arbre qui cache la forêt. On l'observe régulièrement en Apprentissage Automatique : les modèles bayésiens ne sont pas immunisés contre l'overfitting[ref]Ou sur-apprentissage en français. Il s'agit du phénomène où un modèle n'arrive pas à généraliser correctement depuis les données sur lesquelles il a été entraîné.[/ref]. C'est surtout la qualité des données sur lesquelles le modèle est entraîné qui sont déterminantes. Un modèle bayésien calibré sur des données biaisées sera tout aussi biaisé que ces données.

Cette problématique s'applique de manière plus large : les prédictions du Théorème de Bayes ne peuvent pas être de meilleure qualité que les données sur lesquelles on l'applique. Un adage que l'on se répète beaucoup dans la communauté de l'apprentissage statistique, c'est que la valeur est dans les données. Dit autrement, il vaut mieux appliquer un algorithme simple sur des données larges et de bonne qualité, qu'un algorithme très élaboré sur des données biaisées et/ou en faible nombre.

En ce sens, l'excès de confiance vient à mon sens beaucoup plus d'une vision incomplète ou biaisée de la problématique, plutôt que d'une mauvaise maîtrise de la « pensée Bayésienne ». Et croire que s'habituer à penser en probabilités peut magiquement nous prémunir de cet excès de confiance relève, justement, de l'excès de confiance en le Bayésianisme.

L'inévitable vide théorique des prédictions

Lorsqu'on veut prédire une grandeur, avec un intervalle de confiance par exemple, la pensée Bayésienne nous prescrit de faire une moyenne probabiliste des prédictions de toutes les théories d'intérêt :

$$ P(X) = \sum_i P(X|T_i) P(T_i) $$

Cependant, il est une question implicite que cela soulève, et à laquelle le Théorème de Bayes est bien incapable de répondre : Quelles sont les théories d'intérêt ? Comment être sûr qu'on a considéré toutes les alternatives pertinentes ? Le Bayésianisme ne nous dit rien sur cette question. Pourtant, comme illustré avec les données dans la partie précédente, s'assurer d'avoir considéré toutes les théories pertinentes est une condition indispensable à faire une prédiction pertinente !

Il est donc extrêmement important de ne pas s'arrêter de chercher à comprendre dès que l'on a trouvé une explication satisfaisante : il peut en exister d'autres, complémentaires ou contradictoires, et le Bayésianisme ne peut pas nous guider vers elles, seulement nous aider à les comparer une fois qu'on les a trouvées.

Sur ce point en particulier, je pense que Lê, avec sa dernière vidéo[ref]Sur sa chaîne Youtube : L'excès de confiance tue | Bayes 31 [/ref] sur l'excès de confiance justement, tombe dans ce piège. Il juge les prédictions de quelques experts sur la base du fait que leurs intervalles de confiance ne sont pas compatible en forme avec ceux d'une croissance exponentielle avec une incertitude donnée sur le rythme de croissance.

Mais ce faisant, il choisit la prédiction d'un unique modèle comme étant la "bonne" prédiction à suivre, se basant sur la croissance exponentielle des épidémies en début de crise. En face, sait-on sur quel(s) modèle(s) se sont basés ces experts ? Non. Peut-être avaient-ils des raisons de croire que la croissance exponentielle avait des chances d'être endiguée ? Peut-être avaient-ils répondu à la question des journalistes rapidement, sans beaucoup y réfléchir ? Peut-être avaient-ils sous-estimé la capacité de déploiement des tests à grande échelle dans le pays (en effet, la question porte sur le nombre de cas confirmés) ? Bref, on peut concevoir beaucoup de raisons qui ont pu pousser ces experts à faire ces prédictions, compte-tenu de l'information qui leur était disponible au moment où ils ont été questionnés, et il ne me semble pas clair que la mécompréhension de ce qu'est une croissance exponentielle soit la plus crédible[ref] En ne considérant qu'une seule théorie qui pourrait expliquer les faits (ici, que les experts ne savent pas ce qu'est une croissance exponentielle), on est plus dans le raisonnement motivé que dans le raisonnement Bayésien, d'autant que quand il a découvert ce sondage, Lê était dans un état d'esprit où il considérait déjà que trop de gens comprenaient mal la croissance exponentielle, à en croire ses messages sur Twitter. Mais je me dois d'éviter le piège que je pointe : il est probable que Lê a d'autres raisons de penser ce qu'il pense. Dans ce cas, il serait de bon ton d'exposer les autres théories crédibles qui concordent avec sa conclusion.[/ref].

On peut également interpréter cette formule bayésienne de moyennage des théories ainsi : À moins d'avoir une théorie qui a déjà solidement fait ses preuves, une explication basée sur une unique cause est très probablement fausse. C'est particulièrement vrai quand il s'agit de comprendre des comportement de personnes ou sociaux : il s'agit de sujets complexes qu'on ne peut analyser que de manière nuancée.

Le biais de confirmation Bayésien

Le Théorème de Bayes nous offre une formule pour itérativement mettre à jour nos croyances en plusieurs théories au fur et à mesure que de nouvelles données nous sont accessibles : sachant une nouvelle donnée $d$, il suffit de calculer $P(d | T_i)$ pour chacune de nos théories et appliquer le théorème de Bayes, non ?

Et bien non. Ce n'est pas tout à fait ce que dit le théorème de Bayes. Son application rigoureuse donne plutôt, si on note $D$ les données accumulées jusqu'à maintenant, et $d$ la nouvelle donnée :

$$ P(T | d, D) \propto P(d | T, D) P(T | D) $$

En particulier, notez que la probabilité de la donnée $d$ dépend des données accumulées jusqu'à maintenant $D$. Dans l'évaluation de l'information apportée par une nouvelle donnée $d$, il nous faut prendre en compte à quel point nos connaissances actuelles on affecté l'obtention de cette information. En effet, si on a volontairement cherché une donnée $d$ en accord avec nos croyances actuelles, alors elle ne nous apporte pas d'information, et l'application du théorème de Bayes ne devrait pas changer nos croyances[ref]En effet, dans cette situation, le terme $p(d | T, D)$ ne dépend plus vraiment de $T$, car il résulte de notre action à chercher $d$ confirmant nos croyances, et non pour tester nos théories. Dans ce cas, le facteur étant plus ou moins le même pour chaque théorie $T$, le théorème de Bayes modifie très peu les probabilités des théories.[/ref].

Dit autrement, le théorème de Bayes ne protège pas du biais de confirmation, bien au contraire. Il est nécessaire d'évaluer le biais de confirmation contenu dans nos informations avant d'appliquer la formule de Bayes.

Finalement, gardons donc à l'esprit que pour un ensemble de données $d_1, \dots, d_n$ la formule de Bayes simplifiée :

$$ p(T | d_1, \dots, d_n) \propto p(d_1 | T) \dots p(d_n |T) p(T) $$

n'est valide que si les données $d_1, \dots, d_n$ ont été obtenues de manière totalement indépendante les unes des autres. Dès lors que l'une de ces données a été cherchée sachant les autres en vue d'affiner ses croyances, elle ne l'est plus.

Conclusion

J'espère avoir pu illustrer dans cet article que la qualité des raisonnements dépend probablement plus de la qualité des informations à partir desquelles on raisonne que de l'aspect « Bayésien » du raisonnement.

Sachant des informations de bonne qualité, les méthodes Bayésiennes permettent d'en tirer des conclusions les plus précises possibles, mais elles ne peuvent en aucun cas compenser ou même mettre en évidence une mauvaise qualité de ces informations !

En particulier, et en appliquant ça de manière plus large, si quelqu'un n'a pas les mêmes conclusions que vous vis-à-vis d'une question donnée, il est bien plus probable que ça soit parce que vous n'avez pas les mêmes informations à votre disposition, ou n'accordez pas la même importance aux mêmes aspects de cette problématique, que parce que quelqu'un « ne sait pas raisonner correctement de manière Bayésienne ».

Réduire les désaccords aux fautes de raisonnements me semble simpliste et dangereux, car générateur d'un gros excès de confiance dans la qualité de nos propres raisonnements, occultant de ce fait les faiblesses de nos propres conclusions, toutes Bayésiennes qu'elles soient.

Comme on dit en science des données : « Garbage in, garbage out ».