Le traitement de l'a posteriori

L'a posteriori traduit l'écart entre les données et la prédiction faite par l'interprétation / modèle. Afin de formaliser cet écart, il est nécessaire de faire des hypothèses sur la distribution des données et plus particulièrement sur la distribution des écarts entre les données et le modèle. Les hypothèses minimales sont généralement au nombre de trois. Soient $g_j$ une donnée de l'échantillon et $\hat g_j$ la prédiction du modèle.

$\bullet$ Symétrie: $P[g_j - \hat g_j > 0] = P[g_j - \hat g_j < 0 ]$

$\bullet$ Décroissance avec le module: $P[\vert g_j - \hat g_j\vert]$ décroit quand $\vert g_j - \hat g_j\vert$ croit.

$\bullet$ Indépendance des erreurs: $P[g\vert i] = \prod_{j=1}^n P[g_j - \hat g_j]$

Pour aller plus loin, on suppose le plus souvent que la distribution des erreurs suit une loi normale de moyenne nulle (pas de biais) et d'écart-type $\sigma$. On peut donc construire la fonction de vraisemblance par $L(i) = K e^{-\frac{1}{2} \sum \frac{e_j^2}{\sigma^2}}$

où $e_j = g_j - \hat g_j$.

On peut alors en déduire un estimateur par la recherche du maximum de vraisemblance, ce qui conduit à la méthode des moindres carrés qui est abordée dans la suite de ce chapitre.

Depuis l'origine des statistiques, les statisticiens ont toujours adoré le fait que la distribution de la somme d'un très grand nombre de petites variations aléatoires converge toujours vers une distribution normale (cf Théorème central limite).

Le principal problème de ce choix est que la probabilité d'un écart égal à $20$ fois $\sigma$ est de l'ordre de $2 \times 10^{-88}$ ce qui est beaucoup trop faible pour traduire la fréquence d'apparition d'un écart très fort du à une donnée abérente. De plus, dans le cas de la loi normale, $95\%$ des écarts doivent se trouver à au plus $2$ fois l'écart type.

On peut donc être amené à choisir des distributions dont la décroissance est moins rapide. Par exemple, on peut utiliser la distribution de Cauchy, ou une distribution exponentielle.