Méthode carrée minimale, exercices résolus et services



La méthode de moindres carrés est l'une des applications les plus importantes dans l'approximation des fonctions. L'idée est de trouver une courbe telle que, étant donné un ensemble de paires ordonnées, cette fonction se rapproche mieux des données. La fonction peut être une ligne, une courbe quadratique, une courbe cubique, etc.

L'idée de la méthode est de minimiser la somme des carrés des différences dans les ordonnées (composante Y), entre les points générés par la fonction choisie et les points appartenant à l'ensemble de données.

Index

  • 1 méthode des moindres carrés
  • 2 exercices résolus
    • 2.1 Exercice 1
    • 2.2 Exercice 2
  • 3 À quoi ça sert?
  • 4 références

Méthode des moindres carrés

Avant de donner la méthode, il faut d’abord être clair sur ce que signifie «meilleure approche». Supposons que nous recherchions une ligne y = b + mx qui représente le mieux un ensemble de n points, à savoir {(x1, y1), (x2, y2) ..., (xn, yn)}.

Comme indiqué dans la figure précédente, si les variables x et y étaient liées par la ligne y = b + mx, alors pour x = x1, la valeur correspondante de y serait b + mx1. Cependant, cette valeur est différente de la valeur vraie de y, qui est y = y1.

Rappelons que dans l’avion, la distance entre deux points est donnée par la formule suivante:

Dans cette optique, pour déterminer la manière de choisir la ligne y = b + mx qui se rapproche le mieux des données données, il semble logique d'utiliser comme critère la sélection de la ligne qui minimise la somme des carrés des distances entre les points. et la ligne.

Puisque la distance entre les points (x1, y1) et (x1, b + mx1) est y1- (b + mx1), notre problème se réduit à trouver des nombres m et b tels que la somme suivante soit minimale:

La ligne qui répond à cette condition est appelée "approximation de la ligne des moindres carrés aux points (x1, y1), (x2, y2), ..., (xn, yn)".

Une fois le problème résolu, il ne reste plus qu'à choisir une méthode pour trouver l'approximation des moindres carrés. Si les points (x1, y1), (x2, y2), ..., (xn, yn) sont tous sur la ligne y = mx + b, il faudrait être colinéaire et:

Dans cette expression:

Enfin, si les points ne sont pas colinéaires, alors y-Au = 0 et le problème peut être traduit en trouvant un vecteur ou tel que la norme euclidienne soit minimale.

Trouver le vecteur de minimisation n'est pas aussi difficile que vous pourriez le penser. Puisque A est une matrice nx2 et que u est une matrice 2 × 1, on a que le vecteur Au est un vecteur dans Rn et il appartient à l'image de A, qui est un sous-espace de Rn avec une dimension non supérieure à deux.

Nous supposerons que n = 3 pour montrer quelle est la procédure à suivre. Si n = 3, l'image de A sera un plan ou une ligne qui traverse l'origine.

Soit v le vecteur minimisant. Dans la figure, nous observons que y-Au est minimisé lorsqu'il est orthogonal à l'image de A. C'est-à-dire que si v est le vecteur minimisant, alors il arrive que:

Ensuite, nous pouvons exprimer ce qui précède de cette manière:

Cela ne peut arriver que si:

Enfin, pour v, nous devons:

Il est possible de faire cela depuis AtA est inversible tant que les n points donnés en tant que données ne sont pas colinéaires.

Maintenant, si au lieu de chercher une ligne, nous voudrions trouver une parabole (dont l'expression serait de la forme y = a + bx + cx2) qui était une meilleure approximation des n points de données, la procédure serait décrite ci-dessous.

Si les n points de données étaient dans ladite parabole, il faudrait:

Alors:

De la même manière, nous pouvons écrire y = Au. Si tous les points ne sont pas dans la parabole, nous avons que y-Au est différent de zéro pour tout vecteur u et notre problème est de nouveau: trouver un vecteur u dans R3 tel que sa norme || y-Au || être aussi petit que possible.

En répétant la procédure précédente, on peut arriver au vecteur recherché:

Exercices résolus

Exercice 1

Trouvez la ligne qui correspond le mieux aux points (1,4), (-2,5), (3, -1) et (4,1).

Solution

Nous devons:

Alors:

Par conséquent, nous concluons que la ligne qui correspond le mieux aux points est donnée par:

Exercice 2

Supposons qu'un objet est tombé d'une hauteur de 200 m. En tombant, les mesures suivantes sont prises:

On sait que la hauteur dudit objet, après avoir passé un temps t, est donnée par:

Si on veut obtenir la valeur de g, on peut trouver une parabole qui est une meilleure approximation des cinq points donnés dans le tableau, et on aurait donc le coefficient qui accompagne t2 ce sera une approximation raisonnable de (-1/2) g si les mesures sont précises.

Nous devons:

Et après:

Ainsi, les points de données sont ajustés par l'expression quadratique suivante:

Ensuite, vous devez:

C'est une valeur raisonnablement proche de la valeur correcte, qui est g = 9,81 m / s2. Pour obtenir une approximation plus précise de g, il serait nécessaire de partir d'observations plus précises.

A quoi ça sert?

Dans les problèmes qui se posent dans les sciences naturelles ou sociales, il convient d’écrire les relations qui se produisent entre différentes variables au moyen d’une expression mathématique.

Par exemple, on peut associer le coût (C), le revenu (I) et les bénéfices (U) en économie au moyen d’une formule simple:

En physique, nous pouvons relier l'accélération causée par la gravité, le moment où un objet est tombé et la hauteur de l'objet par la loi:

Dans l'expression précédente so est la hauteur initiale de cet objet et vo C'est votre vitesse initiale.

Cependant, trouver des formules comme celles-ci n'est pas une tâche simple; En général, il appartient au professionnel de travailler avec de nombreuses données et d'effectuer plusieurs expériences à plusieurs reprises (afin de vérifier que les résultats obtenus sont constants) pour trouver des relations entre les différentes données.

Une manière courante d'y parvenir est de représenter les données obtenues dans un plan en tant que points et de rechercher une fonction continue qui approche ces points de manière optimale.

Une des manières de trouver la fonction qui "se rapproche le mieux" des données données est la méthode des moindres carrés.

De plus, comme nous l'avons vu dans l'exercice, grâce à cette méthode, nous pouvons obtenir des approximations assez proches des constantes physiques.

Références

  1. Algèbre linéaire de Charles W Curtis. Springer-Velarg
  2. Kai Lai Chung Théorie élémentaire de la proabilité avec processus stochastiques. Springer-Verlag New York Inc
  3. Richar L Burden et J.Douglas Faires. Analyse numérique (7ed). Thompson Apprentissage
  4. Stanley I. Grossman. Applications de l'algèbre linéaire. MCGRAW-HILL / INTERAMERICANA DE MEXICO
  5. Stanley I. Grossman. Algèbre linéaire. MCGRAW-HILL / INTERAMERICANA DE MEXICO