Estimateur sans biais

Un estimateur $T_n$ est dit sans biais lorsque son espérance mathématique est égale à la valeur vraie du paramètre.

$$E(T_n) = \theta$$

Un estimateur $T_n$ est dit asymptotiquement sans biais si le biais diminue si la taille de l'échantillon augmente:

$$\lim_{n \rightarrow \infty} E(T_n) = \theta$$

Exemples:

$\bullet~$ X : ${\cal N}(\theta,1)$: ${\bar X} = \frac{1}{n} \sum x_i$ est un estimateur convergent sans biais de la moyenne vraie de cette v.a.

$\bullet~$ X : ${\cal N}(4,\theta)$: $S^2 = \frac{1}{n} \sum (x_i - 4)^2$ est un estimateur convergent sans biais de la variance vraie de cette v.a.

$\bullet~$ X : ${\cal N}(\mu,\theta)$ ($\mu$ est supposée inconnue): $S^2 = \frac{1}{n} \sum (x_i - {\bar X})^2$ est un estimateur convergent avec biais de la variance vraie de cette v.a. Cet estimateur est considéré sans biais asymptotiquement.

$\bullet~$ X : ${\cal N}(\mu,\theta)$ ($\mu$ est supposée inconnue): $S^2 = \frac{1}{n-1} \sum (x_i - {\bar X})^2$ est un estimateur convergent sans biais de la variance vraie de cette v.a.

La différence entre ces deux derniers exemples se limite au dénominateur de la formule de calcul de $S$. Le deuxième estimateur est sans biais car il prend en compte par le terme $n-1$ le fait qu'il faut utiliser une estimation préalable de la moyenne pour pouvoir faire l'estimation de la variance, i.e. il n'y a donc plus $n$ données disponibles (ou degrés de libertés) mais $n-1$. Cette appréciation intuitive peut bien sûr être démontrée.

Soit $S^2 = \frac{1}{n} \sum (x_i - {\bar X})^2$ un estimateur de la variance. On pose comme hypothèse que l'échantillon $\{x_i\}$ est constitué de $n$ réalisations de V.A. indépendantes 2 à 2 et de même nature que la V.A. X inconnue et dont on veut estimer la variance. Pour estimer le biais de $S^2$, on calcule l'espérance mathématique de l'estimateur

$$\hat{V}[X] = \frac{1}{n} \sum \left( X_i - \frac{1}{n} \sum_j X_j \right)^2$$

où $X_i$ est la V.A. associée à la réalisation $x_i$.

$$E[\hat{V}[X]] = E[\frac{1}{n} \sum \left( X_i - \frac{1}{n} \sum_j X_j \right)^2]$$

Soit $\mu = E[X]$.

$$E\left[\hat{V}[X]\right] = E[\frac{1}{n} \sum \left( X_i - \mu - \frac{1}{n} \sum_j (X_j - \mu) \right)^2]$$

En posant $Y_i = X_i - \mu$, on obtient une V.A. centrée et de même variance que $X_i$.

$$E\left[\hat{V}[X]\right] = E\left[\frac{1}{n} \sum \left( Y_i - \frac{1}{n} \sum_j Y_j \right)^2\right]$$

On simplifie l'équation précédente en tenant compte de la linéarité de l'opérateur espérance mathématique.

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i E\left[\left( Y_i - \frac{1}{n} \sum_j Y_j \right)^2\right]$$

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i E\left[Y_i^2 -... ...ac{2}{n} Y_i \sum_j Y_j + \frac{1}{n^2} (\sum_j Y_j)^2 \right]$$

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i E\left[Y_i^2\r... ...j \right] + \frac{1}{n^3} \sum_i E\left[(\sum_j Y_j)^2 \right]$$

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i E\left[Y_i^2\r... ...j \right] + \frac{1}{n^2} E\left[\sum_i \sum_j Y_i Y_j \right]$$

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i E\left[Y_i^2\right] - \frac{1}{n^2} \sum_i \sum_j E\left[Y_i Y_j \right]$$

Pour aller plus loin, on tient compte de quelques propriétés :

• $\forall i \neq j, E[Y_i Y_j] = 0$ car les V.A. sont indépendantes 2 à 2.
• $V[Y] = E[Y^2]$ car $Y$ est centrée.
• $\forall i, V[Y_i] = V[Y]$ d'après la propriété énoncée sur $X_i$ et $V[Y] = V[X]$ par propriété de la variance.

$$E\left[\hat{V}[X]\right] = \frac{1}{n} \sum_i V\left[Y_i\right] - \frac{1}{n^2} \sum_i E\left[Y_i^2\right]$$

$$E\left[\hat{V}[X]\right] = V[Y] - \frac{1}{n} V[Y] = \frac{n-1}{n} V[Y] = \frac{n-1}{n} V[X]$$

On constate bien un biais qui se traduit par le facteur $\frac{n-1}{n}$. Pour le compenser, on multiplie l'estimateur $\hat{V}$ par $\frac{n}{n-1}$ et on obtient un nouvel estimateur sans biais (car $E[a\hat{V}] = a E[\hat{V}]$)

$$\hat{V}[X] = \frac{1}{n-1} \sum_i \left( x_i - \frac{1}{n} \sum_j^n x_j \right)^2$$

$\diamondsuit$

En développant cette formule, on obtient une forme plus efficace

$$\hat{V}[X] = \frac{1}{n-1} \sum_i x_i^2 - \frac{1}{n(n-1)} \left( \sum_i x_i \right)^2$$