Bayésianisme

Si l'on veut discuter des modèles bayésiens, leur utilisation et leurs limites, il faut commencer par répondre à la question « Mais qu'est-ce que c'est, un modèle bayésien ? ». C'est donc le point de départ de cette série et le sujet de ce premier billet. Je vais ici tâcher de donner une vue générale d'à quoi ressemble un modèle bayésien, et comment on l'utilise.

J'entame une série sur la Modélisation Bayésienne, où je compte explorer les enjeux pratiques liées à l'utilisation de modèles bayésiens. Il s'agit de présenter les outils existants, leurs compromis, et les questionnements que lève leur utilisation, en fonction du contexte. Ce billet introduit cette série, en donnant une vue d'ensemble de sujet et de la manière dont je compte l'aborder.

Les statistiques bayésiennes sont à la mode en ce moment. Avec le big data et l'intelligence artificielle, mais également de manière plus large dans des communauté rationalistes ou sceptiques, repris à toutes les sauces de manière plus ou moins rigoureuses c'est un outil qui a du succès. Au delà des débats sur la « bonne manière » de faire du bayésianisme ou de quand il est approprié de s'en emparer, ce qui m'intéresse dans ce billet c'est les limites de cet outil. Si « Tous les modèles sont faux, mais certains sont utiles. », je m'attaque ici à la question : mais que ce passe-t-il quand on utilise un modèle faux, en pratique ? Dans le langage technique bayésien, plutôt que parler de modèle « faux », on va ici parler de modèle mal-spécifié : ils sont le sujet de ce billet.

Les probabilités peuvent être propices à la confusion, notamment car elles semblent selon comment on les utilise représenter des très choses différentes. Entre l'étude des mécanismes aléatoires dans la conception fréquentiste, la représentation de l'incertitude dans la conception bayésienne, et les axiomes formels de Kolmogorov, on peine à saisir le lien sous-jacent. Mais cependant ces différentes formulations sont en réalité des facettes différentes d'un même concept. Je vous propose dans ce billet d'étudier ces liens afin de comprendre comment on peut passer de l'une à l'autre.

Je constate depuis un certain temps un décalage entre la manière dont j'aborde la question du raisonnement bayésien, et la manière dont il est abordé dans la communauté sceptique et rationaliste. Je vais avec ce billet profiter de la sortie de la dernière vidéo de Julia Galef, qui expose de manière claire sa conception de la question, pour mettre à plat ce décalage.

Dans le billet précédent, j'ai exploré quelques conséquences pratiques que l'on peut tirer du Bayésianisme au delà de la « pensée probabiliste ». Ce billet s'inscrit à sa suite, avec pour objectif de mettre le Bayésianisme en parallèle avec les démarches scientifiques, afin d'illustrer comment les deux se rejoignent quand il s'agit de passer à la pratique. Ce billet va donc se centrer autour de deux questions liées aux limites de nos capacités pratiques : quelles hypothèses ou théories priviléger ou laisser de côté, et comment focaliser notre démarche d'observation et d'expérimentation ?

Ce billet a pour objectif d'analyser les conséquences de l'approche Bayésienne sous un angle plutôt pratique, sur la base d'une expérience de pensée : la conception d'un robot bayésien. Cette angle d'attaque vise à mettre en évidence les difficultés que pose la mise en pratique du Bayésianisme, notamment en termes de ce qu'elle ne dit pas. L'idée étant par la suite de ré-élargir la réflexion en prenant en compte cette analyse focalisée.

Dans cet article, je voudrais revenir sur le Théorème de Bayes, et en particulier ses difficultés d'utilisation. Il y a aujourd’hui un certain nombre de personnes avec pas mal de visibilité qui, faute d'un meilleur mot, me semblent verser dans l'« hooliganisme bayésien ». Ceci risque, à mon sens, de créer chez elles et leur public une tendance à l'excès de confiance dans le Théorème de Bayes, et surtout dans leur capacité à l'utiliser correctement.

Le théorème de Cox est un résultat mathématique très intéressant portant sur la logique et les probabilités. Le physicien Richard Threlkeld Cox cherchait un moyen d'étendre les règles de la logique afin de traiter des propositions dont la véracité n'est pas certaine, et il a montré par ce théorème qu'en partant de quelques critères assez simples, seule la formulation mathématique des probabilités pouvait remplir ce rôle. Je vous propose ici d'étudier un peu ce théorème, ses prémisses, et son interprétation.

Dans cet article, je voudrais faire un retour sur les probabilités Bayésiennes et leur interprétation épistémologique, ainsi que présenter un petit projet d'été lié à tout ça. Un outil facilitant l'utilisation de Réseaux Bayésiens dans ce contexte : le Bayes-O-Matic.