Estimation itérative

Tous les estimateurs que nous avons abordés sont des méthodes directes, et, le plus souvent, il faut faire un compromis entre efficacité et faible complexité d'une part, et robustesse d'autre part.

Pour cela on peut procéder en plusieurs étapes pour essayer de combiner tous les avantages. Dans un premier temps, un estimateur classique non robuste permet de quantifier l'adéquation de chaque donnée au modèle, i.e. par l'écart. Chaque donnée est alors affectée d'un poids, le plus souvent inversement proportionnel à l'écart. On peut alors itérer le processus d'estimation. L'hypothèse sousjacente est qu'une donnée abérente aura un écart initial fort et donc une adéquation et un poids faibles. Il n'interviendra donc que très peu dans la deuxième phase d'estimation. Le processus peut être itéré jusqu'à convergence de l'estimation.

Prenons pour exemple l'estimation de l'espérance mathématique par la moyenne arithmétique à partir d'un échantillon $\{x_i, i=1 \ldots n \}$. On peut résumer le processus par l'algorithme suivant:

1. Première estimation ($k = 1$): $m_k = \frac{1}{n} \sum_{i=1}^{i=n} x_i$

2. Calcul des écarts: $e_i = x_i - m_k$

3. Calcul des poids: $w_i = \frac{\psi(e_i)}{e_i}$ (cf le chapitre précédent pour diverses possibilités pour $\psi$).

4. Nouvelle estimation (itération $k+1$): $m_k = \frac{\sum_{i=1}^{i=n} w_i x_i}{\sum_{i=1}^{i=n} w_i}$

5. test de convergence: Si non convergence (par exemple $\frac{\vert m_k - m_{k+1}\vert}{m_k} > \epsilon$ et $k < k_{max}$) alors retour au pas $2$.

Dans cet exemple, on augmente la robustesse au bruit avec comme coût une complexité un peu plus forte ($O(kn)$ au lieu de $O(n)$). En pratique, on utilise peu d'itérations car le processus a tendance à rejeter de nouveaux points (i.e. $w_i \approx 0$) à chaque itération. Le risque est donc non négligeable de voi le processus converger vers une estimation reposant sur très peu de données (une seule réalisation à la limite). On peut, pour éviter cet écueil, arréter le processus lorsque $\alpha\%$ de la population initiale a un poids nul ou quasi-nul. Puisque l'objectif de l'itération est de recherche la robustesse, on fixe le plus souvent $\alpha_{max} = 50\%$.