Résolution dans le cas d'une distribution normale des écarts

Nous avons vu qu'il est nécessaire dans ce type de problème de faire un choix sur la nature de la distribution des écarts. Nous adopterons le choix classique de la distribution normale. Dans ce cas, nous avons vu que cela revient à utiliser $\rho(x) = x^2$. On obtient alors le système d'équations linéaires suivant:

$$2 \sum_{j=1}^n e_j \frac{\partial \hat f(\vec x_j,a)}{\partial a_k} = 0 ~ k = 1, \ldots, p$$

Soit

$$\sum_{j=1}^n \left( \hat f(\vec x_j,a) - y_j \right) x_{jk} = 0 ~ k = 1, \ldots, p$$

$$\sum_{j=1}^n \left( x_{j1} x_{jk} a_1 + x_{j2} x_{jk} a_2 + \ldots + x_{jp} x_{jk} a_p \right) = \sum_{j=1}^n y_j x_{jk}$$

Ce système étant linéaire, il a une solution unique $\hat a$ sauf si le déterminant du système est nul. On peut montrer que ce cas intervient si il existe une relation linéaire d'ordre $m < p$ entre les vecteurs $\vec x_j$. On dit alors que le système est surdimensionné et un traitement des données est nécessaire afin d'elliminer préalablement cette dépendance. La dimension du nouveau vecteur de paramètres recherché est alors de $p-m$.

Le système à résoudre est de plus symétrique. On peut donc faire appel à des techniques spécifiques telles que la décomposition LU (méthode directe de complexité $O(p^3)$) ou les algorithmes Gauss-Seidel ou Jacobi (méthodes itératives de complexité $O(bp^2)$ où $b$ est le nombre d'itérations nécessaires à la convergence). Pour plus de détails sur ces techniques, référez vous au cours d'analyse numérique ou à tout bon livre sur la résolution de systèmes linéaires.