Approximation linéaire par les moindres carrès

Cet article explique comment réaliser une approximation linéaire sur un exemple simple. Supposons que l’on veuille approximer un nuage de points avec une droite : y(x)=ax+b.

LinearApproximation

Le nuage de points est donné par un ensemble de n points ayant pour coordonnées {x_i,y_i}. L’objectif est d’estimer \hat{a} et \hat{b} de façon à ce que la droite d’équation y(x)=\hat{a}x+\hat{b} approche au mieux le nuage de points. Pour chaque point x_i nous allons minimiser la différence entre y_i et y(x_i), c-a-d. nous voulons minimiser \sum\limits_{i=1}^n{(y_i-y(x_i))^2}. La formulation matricielle du système est donnée par:

 \left[ \begin{matrix} x_1 & 1 \\x_2 & 1 \\... & ... \\x_n & 1 \\\end{matrix} \right].\left[ \begin{matrix} \hat{a} \\\hat{b}\end{matrix} \right]=\left[ \begin{matrix} y_1 \\y_2 \\... \\y_n \\\end{matrix} \right]

Définissons A, B et \hat{x}:

 \begin{matrix}A=\left[ \begin{matrix} x_1 & 1 \\ x_2 & 1 \\ ... & ... \\ x_n & 1 \\ \end{matrix} \right] &B=\left[ \begin{matrix} y_1 \\y_2 \\...  \\y_n \\\end{matrix} \right] &\hat{x}=\left[ \begin{matrix} \hat{a} \\\hat{b}\end{matrix} \right] \end{matrix}

Le système est maintenant donné par:

 A.\hat{x}=B

La solution optimale est donnée par:

 \hat{x}=A^{+}.B = A^{T}(A.A^{T})^{-1}.B

A^{+} est la pseudo-inverse de A donnée par A^{+}=A^{T}(A.A^{T})^{-1}.

Téléchargement

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *