Le traitement de l'a priori

Malheureusement, on ne sait pas traduire l'a priori et donc sa probabilité, c'est pourquoi, on suppose toujours qu'il est soit négligeable soit qu'il contraint suffisamment l'application pour que toutes les interprétations possibles soient de la même catégorie.

Prenons le cas de l'interprétation de données bruitées. Dans ce cas, on suppose que les données $g$ sont des prélèvements d'un phénomène $f$ perturbé par un bruit additif $b$, ce qui nous donne $g = f + b$. Dans ce cas, la probabilité traduisant l'a priori s'écrit $P[f,b\vert C]$. Si le bruit n'est pas corrélé avec le phénomène $f$, on obtient en fait un produit de deux probabilités $P[f\vert C] P[b\vert C]$. La maximisation de ce produit ne conduit pas à une solution unique car les complexités de $f$ et $b$ s'équilibrent. En effet, pour un jeu de données fixé, plus le modèle sera d'ordre faible plus il faudra supposer un modèle de bruit complexe. A l'inverse, pour $n$ données, on peut toujours envisager une forme polynomiale de degré $n-1$ qui prédit exactement tous les points, et dans ce cas, le bruit $b$ est nul, donc de complexité très faible. Mais avons-nous l'habitude de manipuler des modèles d'ordre très élevé ?