Quand des mesures expérimentales forment un nuage de points imparfait, on cherche rarement une courbe qui passe exactement par chacun d’eux. On veut plutôt trouver le modèle qui décrit le mieux la tendance générale, tout en mesurant l’incertitude restante. La méthode des moindres carrés fournit précisément ce cadre, avec des calculs applicables en mathématiques, en sciences, en économie et en informatique.
L’essentiel pour ajuster un modèle à des données
- Objectif réduire au minimum la somme des carrés des écarts entre observations et prédictions.
- Régression linéaire une droite s’écrit généralement y = ax + b.
- Exemple concret les paramètres se calculent à partir des moyennes et des écarts aux moyennes.
- Indicateur important R² mesure la part de la variabilité expliquée, mais ne prouve pas une causalité.
- Limite majeure les valeurs aberrantes peuvent influencer fortement le résultat.
Comprendre ce que l’on minimise réellement
Pour chaque observation, je note xi la variable explicative et yi la valeur mesurée. Si le modèle prévoit ŷi, l’écart entre la mesure et la prévision est le résidu ei = yi - ŷi. L’ajustement consiste à choisir les paramètres qui rendent aussi petite que possible la quantité suivante.
S = Σ(yi - ŷi)². Les écarts sont élevés au carré afin d’éviter qu’un résidu positif compense un résidu négatif. Cette opération donne aussi davantage de poids aux grandes erreurs, ce qui est utile lorsqu’elles sont réellement problématiques, mais rend la méthode sensible aux valeurs aberrantes.
Dans le cas le plus courant, on cherche une droite ŷ = ax + b. Le coefficient a indique la variation moyenne de y lorsque x augmente d’une unité, tandis que b correspond à l’ordonnée à l’origine. Cette interprétation n’a de sens que si une relation linéaire constitue une approximation raisonnable des données.
Calculer une droite de régression étape par étape
Pour une série de points, je commence par calculer les moyennes x̄ et ȳ. La pente et l’ordonnée à l’origine s’obtiennent ensuite avec les formules suivantes, à condition que les valeurs de x ne soient pas toutes identiques.
a = Σ(xi - x̄)(yi - ȳ) / Σ(xi - x̄)²
b = ȳ - ax̄
Prenons les quatre points suivants, qui peuvent représenter par exemple une grandeur physique mesurée à différents instants.
| x | y |
|---|---|
| 1 | 2 |
| 2 | 3 |
| 3 | 5 |
| 4 | 4 |
Les moyennes valent x̄ = 2,5 et ȳ = 3,5. Le calcul donne a = 0,8, puis b = 1,5. La droite ajustée est donc ŷ = 0,8x + 1,5. Pour x = 3, le modèle prévoit 3,9 alors que la mesure vaut 5, ce qui produit un résidu de 1,1.
La somme des carrés des résidus vaut ici 1,8. Ce nombre n’est utile que pour comparer plusieurs modèles établis sur les mêmes données et avec la même variable mesurée. Une valeur de 1,8 n’est pas automatiquement bonne ou mauvaise, car son interprétation dépend de l’unité et de l’échelle de y.
Interpréter la pente, les résidus et le coefficient R²
La pente est souvent le résultat le plus facile à commenter. Dans notre exemple, une augmentation d’une unité de x est associée à une hausse moyenne de 0,8 unité de y. Le mot « associée » est important, car un ajustement statistique ne suffit pas à établir qu’une variable provoque l’autre.
Les résidus montrent ce que la droite ne parvient pas à expliquer. Je les examine toujours dans un graphique, plutôt que de me contenter de leur somme. Une structure en courbe, un éventail qui s’élargit ou quelques écarts très isolés signalent souvent que le modèle est mal choisi ou que les données contiennent un problème.
Le coefficient de détermination R² compare la variabilité expliquée par le modèle à la variabilité totale. Dans l’exemple, R² = 0,64, ce qui signifie que la droite explique environ 64 % de la dispersion observée. Les 36 % restants proviennent des erreurs de mesure, de variables absentes ou d’une relation qui n’est pas parfaitement linéaire.
Je me méfie cependant des interprétations trop rapides. Un R² élevé ne garantit ni la qualité d’une extrapolation, ni l’absence de biais, ni une relation de cause à effet. À l’inverse, un R² modeste peut être acceptable lorsqu’il s’agit de phénomènes naturellement variables, comme certains comportements humains ou certaines mesures biologiques.
Choisir la bonne variante selon les données
La version classique, appelée moindres carrés ordinaires ou MCO, suppose que les observations contribuent de manière comparable à l’estimation. Ce n’est pas toujours réaliste. La précision d’un capteur peut varier, certaines observations peuvent être plus fiables que d’autres, et le modèle peut être courbe tout en restant linéaire par rapport à ses paramètres.
| Variante | Quand l’utiliser | Point de vigilance |
|---|---|---|
| MCO | Observations de précision similaire | Sensible aux valeurs aberrantes |
| Moindres carrés pondérés | Chaque mesure possède une incertitude différente | Les poids doivent être justifiés |
| Régression polynomiale | La tendance présente une courbure | Risque de surajustement |
| Moindres carrés non linéaires | Les paramètres apparaissent dans une fonction non linéaire | Le calcul peut dépendre de l’estimation initiale |
| Régression robuste | Des valeurs aberrantes sont plausibles | Le résultat ne répond plus exactement au critère classique |
La régression polynomiale mérite une précision. Un modèle comme y = a + bx + cx² reste linéaire par rapport aux paramètres a, b et c, même si la courbe n’est pas une droite. On peut donc encore utiliser l’algèbre linéaire habituelle. En revanche, une expression comme y = aebx demande une procédure non linéaire, sauf transformation particulière.
Utiliser les équations matricielles sans tomber dans le piège
Avec plusieurs variables explicatives, la droite devient un modèle de la forme y = Xβ + ε. X contient les observations et les variables, β regroupe les paramètres à estimer, tandis que ε représente les erreurs. La solution théorique s’écrit souvent β̂ = (XTX)-1XTy.
Cette formule est très utile pour comprendre la méthode, mais je déconseille de calculer directement l’inverse de XTX dans un programme numérique. Lorsque les variables sont fortement corrélées ou que les nombres sont mal conditionnés, les erreurs d’arrondi peuvent devenir importantes. Les bibliothèques sérieuses utilisent plutôt une décomposition QR ou une décomposition en valeurs singulières.
La régression multiple facilite la prise en compte de plusieurs facteurs, mais elle complique l’interprétation. Si deux variables évoluent presque toujours ensemble, le modèle peut avoir du mal à distinguer leurs effets. Ce phénomène, appelé multicolinéarité, augmente l’incertitude sur les coefficients même lorsque les prédictions globales semblent bonnes.
Reconnaître les erreurs qui faussent l’ajustement
Le premier piège consiste à ajuster une droite par habitude. Si le nuage de points dessine une parabole, une saturation ou deux groupes distincts, une droite peut donner un résultat numériquement propre mais scientifiquement trompeur. Je commence donc par représenter les données et par examiner les résidus avant de choisir la forme du modèle.
- Confondre corrélation et causalité conduit à des conclusions excessives.
- Ignorer une valeur aberrante peut déplacer fortement la pente et l’ordonnée à l’origine.
- Extrapoler au-delà de la plage observée augmente le risque d’erreur.
- Ajouter trop de variables ou de puissances peut produire un modèle qui mémorise les données au lieu de généraliser.
- Négliger les unités rend les coefficients difficiles à comparer et parfois impossibles à interpréter.
Pour une analyse statistique, d’autres hypothèses comptent aussi. Les erreurs doivent idéalement être indépendantes, leur variance doit rester relativement stable et les observations doivent être suffisamment représentatives. La normalité des résidus n’est pas indispensable pour calculer les coefficients, mais elle devient utile pour certaines constructions d’intervalles de confiance et certains tests.
Quand une mesure possède une incertitude connue, les moindres carrés pondérés sont souvent plus cohérents. Une observation très précise peut recevoir un poids élevé, tandis qu’une mesure incertaine pèse moins dans l’ajustement. Ce choix améliore le modèle seulement si les poids reflètent réellement la qualité des données.
Le bon réflexe avant de faire confiance au résultat
Un ajustement est une représentation, pas une vérité automatique. Je vérifie d’abord le graphique du nuage de points, puis la distribution des résidus, la présence de points influents et la cohérence des unités. Cette routine prend peu de temps et révèle souvent davantage qu’un R² affiché avec plusieurs décimales.
Pour une prédiction, je distingue aussi l’intervalle de confiance du modèle et l’intervalle de prédiction d’une nouvelle observation. Le second est plus large, car il inclut à la fois l’incertitude sur la droite et la variabilité propre d’une nouvelle mesure.
Retenez surtout ceci. Les moindres carrés sont excellents pour transformer un ensemble de points bruités en modèle lisible, à condition de vérifier que la forme choisie, les hypothèses et la qualité des données correspondent bien au problème réel. C’est cette vérification, plus encore que la formule elle-même, qui fait la différence entre un calcul élégant et une conclusion fiable.
