Nous allons dans ce paragraphe reprendre le problème de l'estimation au tout début afin de montrer qu'il est possible de dériver des estimateurs très différents de ceux que nous avons abordés jusque là. Ces estimateurs relèvent du domaine que l'on nomme les statistiques robustes et dont Legendre (le créateur de la méthode des moindres carrés) a été le précurseur puisque parlant des écarts entre les données et l'interprétation, il déclarait (en 1805 dans sa première publication sur les moindres carrés):
Si parmi ces erreurs, certaines apparaissent trop importantes pour être admises, alors les observations qui ont générées ces erreurs seront rejetées, comme provenant d'expériences trop peu fiables, et les inconnues seront déterminées grâce aux autres observations, qui de ce fait induiront moins d'erreurs.