Interprétation de données: l'approche bayésienne

Soient $g$ un ensemble de données, i.e. un échantillon, et $C$ un contexte ($C$ englobera tout ce qui n'est pas directement en relation avec le processus sous-jacent aux données). Le problème de l'estimation est un cas particulier d'un problème plus général qui est celui de l'interprétation des données. Soit $i$ cette interprétation. Notre problème est donc de déterminer $i$ connaissant $g$ et $C$. Une approche possible est de choisir l'interprétation la plus probable. C'est à dire chercher $i$ qui maximise la probabilité conditionnelle $P[i\vert g,C]$. Cette probabilité n'est pas directement évaluable mais on peut se servir du théorème de Bayes.

$$P[i,g,C] = P[i\vert g,C] P[g,C] = P[g\vert i,C] P[i,C] = P[g\vert i,C] P[i\vert C] P[C]$$

d'où l'on déduit $P[i\vert g,C] = \frac{P[g\vert i,C] P[i\vert C] P[C]}{P[g,C]}$

La maximisation de cette expression se faisant sur l'interprétation $i$, on peut supprimer le dénominateur et ne pas tenir compte de la probabilité du contexte $P[C]$. Si de plus on suppose que le contexte est indépendant des données, on trouve l'interprétation la plus probable en maximisant le produit $P[g\vert i] P[i\vert C]$.

Dans cette expression, $P[g\vert i]$ est la validation a posteriori des données par l'interprétation. $P[i\vert C]$ est l'a priori, indépendant des données. Ce deuxième terme traduit le biais qui fait que l'on ne part jamais avec tous les modèles équiprobables (soit parce que l'on tient compte de l'application sous-jacente, soit par habitude ou connaissance).