Introduction

A partir de données d'échantillons représentatifs, on va induire des résultats sur la population-mère (i.e. population dans laquelle les échantillons ont été prélevés).

Plus exactement, soit $\theta$ un paramètre inconnu ²intervenant dans la loi de probabilité d'une variable aléatoire $X$. La loi de probabilité de cette variable aléatoire doit être connue analytiquement (on choisit parmi les modèles existants la loi la plus appropriée au phénomène observé). Seule la valeur numérique du paramètre $\theta$ intervenant dans cette loi de probabilité est inconnue.

Soient $x_1,\ldots,x_i,\ldots,x_n$ les $n$ valeurs prises par la v.a. $X$ dans un échantillon de taille $n$ prélevé dans la population-mère.

On appelle estimateur de $\theta$, et l'on note $T_n$, la fonction qui aux valeurs $x_i$ de l'échantillon fait correspondre la valeur du paramètre $\theta$. On note la valeur numérique de cette estimation par

$$\hat{\theta} = T_n(x_1,\ldots,x_n)$$

Par définition, $T_n$ est une fonction des réalisations d'une v.a., $T_n$ est donc une v.a. dont on peut chercher à déterminer les caractéristiques (loi, ddp, FR, moments, ...).

Exemple: On observe un phénomène de production de pièces manufacturées. Chaque pièce est associée à une mesure (un indicateur de qualité par exemple). Comme on ne peut pas vérifier chaque mesure, on procède à un échantillonnage qui nous fournit donc un échantillon. Supposons que la connaissance de la nature de cet indicateur nous permet de faire l'hypothèse qu'il obéit à une loi de probabilité normale. Le problème est maintenant, au vue de l'échantillon $\{x_i\}$, de proposer une valeur pour la moyenne de cette loi normale. Il faut procéder à une estimation du paramètre vrai $\mu$ qui se traduit par la valeur $\hat{\mu}$. Il y a une infinité de manière possible parmi lesquelles on peut citer

$\bullet~\hat{\mu} = \frac{1}{n} \sum_i x_i$

$\bullet~\hat{\mu} =$médiane$\{x_i\}$

$\bullet~\hat{\mu} =$mode$\{x_i\}$

$\bullet~\hat{\mu} = x_7$

Quel est le meilleur estimateur de la moyenne ? Existe-t-il ?

Sur ce simple exemple, est résumé le problème fondamental de l'estimation: quelle est la définition mathématique de meilleur?

La réponse est simple, il n'en existe pas. Alors comment comparer les estimateurs. Pour cela, on se sert de plusieurs critères, le plus souvent liés au bon sens:

le biais: On souhaite que l'estimation ne soit pas systématiquement décalée par rapport à la valeur vraie.

la précision: Si l'on répète l'estimation sur un autre échantillon, on souhaite obtenir une estimation cohérente, donc peu de variation d'un échantillon à l'autre. On parlera aussi d'efficacité.

la convergence: Si l'on peut estimer la valeur du paramètre sur toute la population-mère, la valeur de l'estimation obtenue doit être la valeur vraie du paramètre.

la compléxité: Toute estimation nécessite un calcul donc un temps. On s'attachera donc à évaluer la complexité du calcul en fonction de la taille des données (i.e. $n$).

la robustesse: Dans tout cas concrèt, il existe des sources de perturbations. On souhaite que l'estimation ne soit pas sensible à la présence de valeurs abérantes (outliers en anglais).

Ces différents critères ne sont pas forcément compatibles entre eux, et l'on retrouve des dilemmes classiques, précision vs robustesse, convergence vs complexité.