Méthode du maximum de vraisemblance

Le critère d'efficacité permet de comparer des estimateurs. On peut aussi s'en servir pour construire un estimateur. Soit $X$ une variable aléatoire de densité de probabilité $f(x,\theta)$ connue analytiquement mais dont l'un des paramètres $\theta$ est inconnu (numériquement). Le problème consiste donc à construire une expression analytique fonction des réalisations de cette variable dans un échantillon de taille $n$, permettant de trouver la valeur numérique la plus vraisemblable pour le paramètre $\theta$.

Si $\{x_1,\ldots,x_n\}$ sont des réalisations indépendantes de la v.a., on peut dire que

$\vec{x} = \left( \begin{array}{c} x_1 \\ \vdots \\ x_n \end{array} \right)$ est une réalisation d'un vecteur aléatoire $\vec{X} = \left( \begin{array}{c} X_1 \\ \vdots \\ X_n \end{array} \right)$ dont les composantes $X_i$ sont indépendantes deux à deux.

L'approche retenue consiste à chercher la valeur de $\theta$ qui rend le plus probable les réalisations que l'on vient d'obtenir. La probabilité d'apparition a priori de l'échantillon en question peut alors être caractérisée par le produit des probabilités d'apparition de chacune des réalisations (puisque celles-ci sont supposées indépendantes deux à deux).

$$P(\vec{X} = \vec{x}) = \prod_{i=1}^{n} f(x_i,\theta)$$

La méthode du maximum de vraisemblance consiste à rechercher la valeur de $\theta$ qui rend cette probabilité maximale. Comme nous l'avons vu plus haut, le produit des valeurs $f(x_i,\theta)$ est aussi noté $L(x_1,\ldots,x_n,\theta)$ et appelé fonction de vraisemblance. La valeur $\hat{\theta}$ qui rend maximum la fonction de vraisemblance $L$ est donc la solution de:

$$\frac{\partial Ln L}{\partial \theta} = 0~\Rightarrow~ \hat{\theta}: \frac{\partial^2 Ln L}{\partial \theta^2} < 0$$

L'emploi du logarithme sur la fonction $L$ permet de passer de la maximisation d'un produit à celle d'une somme, le résultat restant le même car la fonction logarithme est monotone strictement croissante.

Propriétés de la fonction de vraisemblance:

$\bullet~ \int_{\Re^n} L(\vec{x},\theta) d\vec{x} = 1$

$\bullet~ \int_{\Re^n} \frac{\partial L(\vec{x},\theta)} {\partial \theta} d\vec{x} = 0$

$\bullet~ E \left[ \frac{\partial Ln L(\vec{x},\theta)} {\partial \theta} \right] = 0$

$\bullet~ E \left[ \left( \frac{1}{L(\vec{x},\theta)} \frac{\partial L(\vec{x},... ... -E \left[ \frac{\partial^2 Ln L(\vec{x},\theta)} {\partial \theta^2} \right]$

Théorème: Si il existe un estimateur efficace sans biais, il sera donné par la méthode du maximum de vraisemblance.

Théorème: L'estimateur efficace $T_n$ existe si $\frac{\partial L(\vec{x},\theta)}{\partial \theta} = A(\theta) [T_n - \tau(\theta) ]$ où $A(\theta)$ ne dépend pas des observations $x_i$. On peut alors montrer que

$$V[T_n] = \left\vert \frac{\tau'(\theta)}{A(\theta)} \right\vert$$

Cette approche est très théorique mais possède l'avantage d'être parfaitement formalisée.

Exemple 1: Soit $X$ une loi normale ${\cal N}(\mu,\sigma)$ avec $\sigma$ connu mais $\mu$ inconnue. L'objectif est de construire un estimateur de la valeur $\mu$, étant donné un échantillon de réalisation $\vec{x}=(x_1,\ldots,x_n)$. Pour cela, on part de la fonction de vraisemblance de cet échantillon:

$$L(\vec{x},\mu) = \prod_{i=1}^{n} f(x_i,\mu) = \prod_{i=1}^{n... ...sigma} e^{-\frac{1}{2}\left(\frac{x_i-\mu} {\sigma} \right)^2}$$

$$L(\vec{x},\mu) = K \prod_{i=1}^{n} e^{-\frac{1}{2}\left(\frac{x_i-\mu} {\sigma} \right)^2}$$

$$Ln L(\vec{x},\mu) = K' - \frac{1}{2} \sum_{i=1}^{n} \left(\frac{x_i-\mu} {\sigma} \right)^2$$

$$\frac{\partial Ln L}{\partial \mu} = 0~\Rightarrow~ \hat{\mu}... ... \sum_{i=1}^{n} \left(\frac{x_i-\hat{\mu}}{\sigma} \right) = 0$$

$$\hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i$$

La moyenne arithmétique est l'estimateur le plus efficace de l'espérance mathématique dans le cas de la loi normale. Quel est le biais de cet estimateur ?

$$\hat{\mu}_n(\vec{X}) = \frac{1}{n} \sum_{i=1}^{n} X_i$$

où $X_i$ est une v.a. ${\cal N}(\mu,\sigma)$.

$$E[\hat{\mu}] = E[ \frac{1}{n} \sum_{i=1}^{n} X_i ] = \frac{1}{n} \sum_{i=1}^{n} E[X_i] = \mu$$

de part la propriété de linéarité de l'opérateur espérance mathématique. L'estimateur est donc sans biais.

$\diamondsuit$