Estimateur efficace

La variance d'un estimateur représente sa précision. Pour tous les estimateurs (ayant même moyenne), il est possible de trouver celui dont la précision sera la meilleure, i.e. dont la variance sera la plus faible. On parle alors d'estimateur à variance minimum.

Lorsque l'on compare deux estimateurs, on dira également que $T_n$ est plus efficace que $T_n^*$ si $V(T_n) < V(T_n^*)$.

Une estimation est liée à un échantillon de taille finie. Si la population-mère est de taille infinie, il n'est pas possible d'avoir accès à la valeur vraie $\theta$. La précision que l'on pourra obtenir sur $T_n$ ne pourra donc pas descendre en deça d'une certaine limite (borne inférieure de la variance de l'estimateur ou Minimum Variance Bound (MVB)) qui est déterminée par l'inégalité de Cramer-Rao:

$$V(T_n) \geq \frac{\tau'(\theta)^2}{I(\theta)}$$

où $I(\theta)$, appelée quantité d'information de l'échantillon, est définie par:

$$I(\theta) = E\left[ \left( \frac{\partial Ln L(X,\theta)}{\partial \theta} \right)^2 \right]$$

$L(X,\theta)$ est appelée fonction de vraisemblance et se calcule par:

$$L(x_1,\ldots,x_n,\theta) = \prod_{i=1}^{n} f(x_1,\theta) f(x_2,\theta)\ldots f(x_n,\theta)$$

$f$ désignant la ddp de la v.a. $X$ et

$$\tau(\theta) = E[T_n] ~~ \tau'(\theta) = \frac{\partial \tau(\theta)}{\partial \theta}$$

Si un estimateur atteint la limite inférieure, on parle alors de MVB estimateur. On démontre aussi que cet estimateur est obligatoirement convergent et sans biais.

Remarque: La notion d'information a été proposée dans les années 20 par le chercheur anglais Ronald A. Fisher (considéré comme le père de la statistique mathématique). La démarche de Fisher est la suivante: si l'on s'intéresse aux caractéristiques d'une population nombreuse (voire infinie, c'est le cas limite auquel on est en permanence ramené), on ne peut ni connaître ni traiter les informations trop abondantes relatives à chacun des individus qui la composent. Le problème devient donc d'être capable de décrire correctement la population au moyen d'indicateurs de synthèse pouvant être fournis par des échantillons issus de la population à étudier. Plus les données chiffrées que l'on peut extraire d'un échantillon représentent correctement la population de référence et plus l'information contenue dans cet échantillon doit être considérée comme élevée.

Partant de cette hypothèse, Fisher a définie techniquement l'information comme la valeur moyenne du carré de la dérivée du logarithme de la loi de probabilité étudiée. La célèbre inégalité de Cramer permet alors de montrer que la valeur d'une telle information est proportionnelle à la faible variabilité - c'est à dire au fort degré de certitude - des conclusions qu'elle permet de tirer. Cette idée, qui est à la racine de toute la théorie de l'estimation et de l'inférence statistique, est exactement celle que l'on retrouvera vingt ans plus tard chez Shannon, exprimée cette fois en des termes non plus statistiques mais probabilistes.