-
Support de cours sur la statistique économétrie
Modèle de régression linéaire simple
1.1 Modèle et hypothèses
1.1.1 Régression linéaire simple
Nous cherchons à mettre en avant une relation de dépendance entre les variables Y et X.
- Y est celle que l'on cherche à expliquer (à prédire), on parle de variable endogène (dépendante) ; X est la variable explicative (prédictive), on parle de variable exogène (indépendante).
Le modèle de régression linéaire simple s'écrit :
yi = a xi + b + "i
(1.1)
a et b sont les paramètres (les coe cients) du modèle. Dans le cas spéci que de la régression simple, a est la pente, b est la constante.
Nous disposons d'un échantillon de n observations i.i.d (indépendantes et identiquement distribuées) pour estimer ces paramètres.
Le terme aléatoire ", que l'on appelle l'erreur du modèle, tient un rôle très important dans la régression. Il permet de résumer toute l'information qui n'est pas prise en compte dans la relation linéaire que l'on cherche à établir entre Y et X c.-à-d. les problèmes de spéci cations, l'approximation par la linéarité, résumer le rôle des variables explicatives absentes, etc. Comme nous le verrons plus bas, les propriétés des estimateurs reposent en grande partie sur les hypothèses que nous formulerons à propos de ". En pratique, après avoir estimé les paramètres de la régression, les premières véri cations portent sur l'erreur calculée sur les données (on parle de "résidus") lors de la modélisation [13] (Chapitre 1).
Dans cet exemple tiré de l'ouvrage de Bourbonnais
(page 12), nous disposons de n = 10 observations (Figure 1.1) 1. On cherche à expliquer Y le rendement en maïs (en quintal) de parcelles de terrain, à partir de X la quantité d'engrais (en kg) que l'on y a épandu. L'objectif est de modéliser le lien à travers une relation linéaire. Bien évidemment, si l'on ne
1. regression_simple_rendements_agricoles.xlsx - "data"
…
1 Modèle de régression linéaire simple
met pas d'engrais du tout, il sera quand même possible d'obtenir du maïs, c'est le sens de la constante b de la régression. Sa valeur devrait être positive. Ensuite, plus on mettra de l'engrais, meilleur sera le rendement. On suppute que cette relation est linéaire, d'où l'expression a x, on imagine à l'avance que a devrait être positif.
Fig. 1.1. Tableau de données "Rendements Agricoles" - Bourbonnais, page 12
Le graphique nuage de points associant X et Y semble con rmer cette première analyse (Figure 1.2) 2. Dans le cas contraire où les coe cients estimés contredisent les valeurs attendues ( b ou/et a sont négatifs), cela voudrait dire que nous avons une perception faussée du problème, ou bien que les données utilisées ne sont pas représentatives du phénomène que l'on cherche à mettre en exergue, ou bien... On entre alors dans une démarche itérative qui peut durer un moment avant d'obtenir le modèle dé nitif 3. C'est le processus de modélisation .
…
1.1.2 Hypothèses
Ces hypothèses pèsent sur les propriétés des estimateurs (biais, convergence) et l'inférence statistique (distribution des coe cients estimés).
H1 Hypothèses sur Y et X. X et Y sont des grandeurs numériques mesurées sans erreur. X est une donnée exogène dans le modèle. Elle est supposée non aléatoire. Y est aléatoire par l'intermédiaire de " c.-à-d. la seule erreur que l'on a sur Y provient des insu sances de X à expliquer ses valeurs dans le modèle.
H2 Hypothèses sur le terme aléatoire ". Les "i sont i.i.d (indépendants et identiquement distribués). H2.a E("i) = 0, en moyenne les erreurs s'annulent c.-à-d. le modèle est bien spéci é.
H2.b V ("i) = "2, la variance de l'erreur est constante et ne dépend pas de l'observation. C'est l'hypothèse d'homoscédasticité.
H2.c En particulier, l'erreur est indépendante de la variable exogène c.-à-d.
H2.d Indépendance des erreurs. Les erreurs relatives à 2 observations sont indépendantes c.-à-d.
COV ("i; "j) = 0. On parle de "non auto-corrélation des erreurs".
Remarque : Cette hypothèse est toujours respectée pour les coupes transversales. En e et l'échan-tillon est censé construit de manière aléatoire et les observations i.i.d. Nous pouvons donc interver-tir aléatoirement les lignes sans porter atteinte à l'intégrité des données. En revanche, la question se pose pour les données temporelles. Il y a une contrainte qui s'impose à nous (contrainte tem-porelle - les données sont ordonnées) dans le recueil des données.
H2.e "i N (0; "). L'hypothèse de normalité des erreurs est un élément clé pour l'inférence statistique.
1.2 Principe de l'ajustement des moindres carrés
1.2.1 Estimateur des moindres carrés ordinaires (MCO)
Notre objectif est de déterminer les valeurs de a et b en utilisant les informations apportées par l'échantillon. Nous voulons que l'estimation soit la meilleure possible c.-à-d. la droite de régression doit approcher le nuage de points.
Si graphiquement, la solution semble intuitive. Il nous faut un critère numérique qui réponde à cette spéci cation pour réaliser les calculs sur un échantillon de données.
Le critère des moindres carrés consiste à minimiser la somme des carrés des écarts (des erreurs) entre les vraies valeurs de Y et les valeurs prédites avec le modèle de prédiction (Figure 1.3). L'estimateur des moindres carrées ordinaires (MCO) des paramètres a et b doit donc répondre à la minimisation de
…
1 Modèle de régression linéaire simple
Fig. 1.3. Comptabilisation de l'erreur : écart entre Y observé et Y prédit par le modèle linéaire
∑n S = "2i
i=1
∑n = [yi (axi + b)]2
i=1
∑n = [yi axi b]2
i=1
Pour déterminer les valeurs de a et b, les conditions suivantes sont nécessaires :
En appliquant ces dérivées partielles, nous obtenons les équations normales 25 ; Bourbonnais, page 21 ; Johnston et DiNardo, page 22) :
(Giraud et Chaix, page
Que l'on retrouve également sous la forme suivante dans la littérature (Tenenhaus, page 70).
En appelant a^ et b les solutions de ces équations normales, nous obtenons les estimateurs des moindres carrés :
Détail des calculs
Quelques pistes pour obtenir ces résultats. Voyons tout d'abord la dérivée partielle @S
…
I En multipliant le tout par 2
n , nous avons :
b = y ax
Occupons-nous maintenant de @S
@S
= ∑i
2( xi)(yi
axi
b) = 0
@a
En introduisant le résultat relatif à b ci-dessus, nous obtenons :
∑n a = i=1∑(yi y)(xi x) n (xi x)2 i=1
1.2.2 Calculs pour les données "Rendements agricoles"
Revenons à notre exemple des "Rendements agricoles" (Figure 1.1). Nous montons la feuille Excel permettant de réaliser les calculs (Figure 1.4) 4.
Fig. 1.4. Estimation des coe cients "Rendements agricoles" - Feuille de calcul Excel
Voici les principales étapes :
Nous calculons les moyennes des variables, y = 26:1 et x = 30:4.
Nous formons alors les valeurs de
(yi y), (xi
x), (yi y) (xi
x) et (xi x)2.
Nous réalisons les sommes ∑i(yi
y) (xi
x) = 351:6 et ∑i(xi
x)2 = 492:4.
4. regression_simple_rendements_agricoles.xlsx - "reg.simple.1"
1 Modèle de régression linéaire simple
Nous déduisons en n les estimations :
La droite de régression peut être représentée dans le graphique nuage de points. Nous avons utilisé l'outil "Courbe de tendance" d'Excel (Figure 1.5) 5.
Fig. 1.5. Droite de régression - "Rendements agricoles"
Nous constatons que la droite passe peu ou prou au milieu du nuage de points. Mais nous ne saurions pas dire dans quelle mesure notre modélisation est su samment intéressante. La simple évaluation visuelle ne su t pas. La seule manière d'obtenir une réponse rigoureuse est de produire un critère quantitatif que l'on saura interpréter. Nous nous pencherons sur cette question dans la section consacrée à l'évaluation du modèle (section 1.3).
1.2.3 Quelques remarques
Autre écriture de l'estimateur de la pente. Il y a une relation directe entre l'estimateur de la pente et le coefficient de corrélation linéaire de Pearson ryx.
De fait, nous le verrons dans la partie inférentielle, tester la signi cativité de la pente revient à tester la signi cativité de la corrélation entre Y et X.
5. regression_simple_rendements_agricoles.xlsx - "reg.simple.1"
…
Erreur et résidu. " est l'erreur inconnue introduite dans la spéci cation du modèle. Nous avons alors estimé les paramètres a^ et b à partir de l'échantillon et nous appuyant sur le principe des moindres carrés. Nous pouvons obtenir la valeur prédite de l'endogène Y pour l'individu i avec
y^i = y^(xi) ^ = a^ xi + b
On peut en déduire l'erreur observée, appelée "résidu" de la régression
La distinction "erreur vs. résidu" est importante car, comme nous le verrons par la suite, les expressions de leurs variances ne sont pas les mêmes.
Toujours concernant le résidu, notons une information importante :
La somme (et donc la moyenne) des résidus est nulle dans une régression avec constante . En e et :
∑ ∑ ^ "^i = [yi (^axi + b)]
I = ny na^x nb
= ny na^x n (y a^x) = 0
Centre de gravité du nuage de points. La droite de régression passe forcément par le centre de gravité du nuage de points. Pour le véri er simplement, réalisons la projection pour le point x :
^ y^(x) = a^x + b = a^x + (y a^x) = y
Dans notre exemple des "Rendements agricoles", nous constatons e ectivement que la droite passe le point G(x; y) de coordonnées (x = 30:4; y = 26:1) (Figure 1.6).
1.3 Décomposition de la variance et coe cient de détermination
1.3.1 Décomposition de la variance - Équation d'analyse de variance
L'objectif est de construire des estimateurs qui minimisent la somme des carrés des résidus
…
Dans la régression avec constante, et uniquement dans ce cas, on montre que
On obtient dès lors l'équation d'analyse de variance :
SCT
= SCE + SCR
(1.8)
∑i
(yi y)2
= ∑i
(^yi y)2 + ∑i
(yi y^i)2
(1.9)
Comment interpréter ces quantités ?
SCT est la somme des carrés totaux. Elle indique la variabilité totale de Y c.-à-d. l'information disponible dans les données.
SCE est la somme des carrés expliqués. Elle indique la variabilité expliquée par le modèle c.-à-d. la variation de Y expliquée par X.
SCR est somme des carrés résiduels. Elle indique la variabilité non-expliquée (résiduelle) par le modèle c.-à-d. l'écart entre les valeurs observées de Y et celles prédites par le modèle.
Deux situations extrêmes peuvent survenir :
Dans le meilleur des cas, SCR = 0 et donc SCT = SCE : les variations de Y sont complètement expliquées par celles de X. On a un modèle parfait, la droite de régression passe exactement par tous les points du nuage(y^i = yi).
Dans le pire des cas, SCE = 0 : X n'apporte aucune information sur Y . Ainsi, y^i = y, la meilleure prédiction de Y est sa propre moyenne.
A partir de ces informations, nous pouvons produire une première version du tableau d'analyse de variance (Tableau 1.1). La version complète nous permettra de mener le test de signi cativité globale de la régression comme nous le verrons plus loin (section 3.1).
Source de variation Somme des carrés
Tableau 1.1. Tableau simplifié d'analyse de variance
1.3.2 Coefficient de détermination
Il est possible de déduire un indicateur synthétique à partir de l'équation d'analyse de variance. C'est le coefficient de détermination R2.
- 1 Modèle de régression linéaire simple
Plus il sera proche de la valeur 1, meilleur sera le modèle, la connaissance des valeurs de X permet de deviner avec précision celle de Y .
Lorsque R2 est proche de 0, cela veut dire que X n'apporte pas d'informations utiles (intéressantes) sur Y , la connaissance des valeurs de X ne nous dit rien sur celles de Y .
Remarque 1 (Une autre lecture du coe cient de détermination.). Il existe une lecture moins usuelle, mais non moins intéressante, du coefficient de détermination.
On dé nit le modèle par défaut comme la régression qui n'utilise pas X pour prédire les valeurs de Y c.-à-d. le modèle composé uniquement de la constante.
…
avec le pire modèle possible, celui qui n'utilise pas l'information procurée par X c.-à-d. basée uniquement sur Y (y^i = y).
Par construction, dans la régression avec constante, on sait que SCR SCT , le coe cient de déter-mination nous indique donc dans quelle mesure X permet d'améliorer nos connaissances sur Y .
Cette lecture nous permet de mieux comprendre les pseudo- R2 calculés dans des domaines connexes telles que la régression logistique [14] (Section 1.6) où l'on confronte la vraisemblance du modèle complet (ou le taux d'erreur), incluant toutes les exogènes, avec celle du modèle réduit à la constante.
1.3.3 Coe cient de corrélation linéaire multiple
Le coe cient de corrélation linéaire multiple est la racine carrée du coe cient de détermination.
…
Dans le cas de la régression simple (et uniquement dans ce cas), on montre aisément qu'il est égal au coe cient de corrélation ryx entre Y et X. Son signe est dé ni par la pente a^ de la régression.
…
= SCESCT
= R2
1.3.4 L'exemple des rendements agricoles
Nous nous appuyons sur les coe cients estimés précédemment (section 1.2.2), à savoir a^ = 0:71405 et ^ b = 4:39277 pour construire la colonne des valeurs prédites y^i, en déduire le résidu obtenir les sommes des carrés. Le tableau de calcul est organisé comme suit (Figure 1.7)
…
Fig. 1.7. Décomposition de la variance - "Rendements agricoles"
…
Pour la SCE, nous sommons (^yi y)2 c.-a-d. SCE = (18:674 26:1)2 + = 55:148 + = 251:061
Nous pouvons obtenir la SCR par di érence, en faisant SCR = SCT SCE = 314:900 251:061 = 63:839.
…
1 Modèle de régression linéaire simple
Nous pouvons aussi la former explicitement en sommant les (yi y^i)2, soit SCR = (16 18:674)2 +
= 7:149 + = 63:839. Les deux résultats coïncident, il ne peut pas en être autrement (dans la régression avec constante tout du moins).
Le coe cient de détermination est obtenu avec sa forme usuelle (Équation 1.10) :
R2 = SCE = 251:061 = 0:797273
SCT 314:900
Puis, le coe cient de corrélation linéaire multiple
p
R = 0:797273 = 0:892901
a^ = 0:71405 étant positif, on véri era aisément dans notre exemple que ce dernier est identique au coe cient de corrélation de Pearson entre Y et X :
R = ryx = 0:892901
Propriétés des estimateurs
Ce chapitre est assez théorique. Sa lecture n'est pas nécessaire pour la compréhension de la mise en pratique de la régression linéaire. J'invite donc les lecteurs surtout intéressés par les aspects opérationnels à se reporter au chapitre suivant
Ce chapitre est essentiel en revanche pour la compréhension des propriétés des estimateurs des MCO. Il permet notamment de circonscrire les hypothèses qui conditionnent leur e cacité. Sa lecture est conseillée pour ceux qui s'intéressent à ces aspects théoriques.
Pour les étudiants de la licence L3-IDS, vous devez lire ce chapitre !
Deux propriétés importantes sont mises en avant dans l'évaluation d'un estimateur. (1) Est-ce qu'il est sans biais c.-à-d. est-ce qu'en moyenne nous obtenons la vraie valeur du paramètre ? (2) Est-ce qu'il est convergent c.-à-d. à mesure que la taille de l'échantillon augmente, l'estimation devient de plus en plus précise ?
2.1 Biais
On dit que ^ ^
est un estimateur sans biais de si E[ ] = .
Comment procéder à cette véri cation pour a^ et b ?
Voyons ce qu'il en est pour a^. Il y a deux étapes principalement dans la démonstration : dans un premier temps, il faut exprimer a^ en fonction de a ; dans un deuxième temps, en passant à l'espérance mathématique, il faut souhaiter que tout ce qui ne dépend pas de a devienne nul, au besoin en s'appuyant
sur quelques hypothèses pour le coup bien commodes énoncées en préambule de notre présentation (section 1.1).
Nous reprenons ici la démarche que l'on retrouve dans la plupart des références citées en bibliographie (Bourbonnais, page 24 pour la régression simple ; Giraud et Chaix, page 25, qui a servi de base pour les calculs ci-dessous ; Labrousse, page 24 pour la régression multiple ; Dodge et Rousson, page 25).
2 Propriétés des estimateurs
Soit yi = axi + b + "i, nous pouvons calculer :
…
Il nous reste à démontrer que la partie après l'addition est nulle en passant à l'espérance mathématique. Nous devrons introduire les hypothèses adéquates pour ce faire.
(x
x)"
E(^a) = E(a) + E [
∑ii(xii
x)2i
]
= a + E [∑i
∑(xi
x)
"i]
∑j(xj
x)2
Pour simpli er les écritures, posons
La variable exogène X n'est pas stochastique par hypothèse. Donc
∑ E(^a) = a + !i E("i)i
Autre hypothèse, E("i) = 0. A la sortie nous obtenons
E(^a) = a
Conclusion. L'estimateur des moindres carrés ordinaires (EMCO) est sans biais, si et seulement si les deux hypothèses suivantes sont respectées :
- (H1) L'exogène X n'est pas stochastique ( X est non aléatoire) ;
- (H2.a) E("i) = 0, l'espérance de l'erreur est nulle.
Concernant la constante
De manière analogue, en partant de ^
…
- 2 Propriétés des estimateurs
- (H2.b) E("2i) = V ("i) = "2, la variance de l'erreur est constante. C'est l'hypothèse d'homoscédasticité.
- (H2.d) COV ("i′ "i) = E("i′ "i) = 0. Les erreurs sont deux à deux indépendantes. C'est l'hypothèse de non-autocorrélation des erreurs.
A la sortie, nous pouvons simpli er grandement l'expression de la variance :
….
2.2.2 Convergence de la pente
Qu'en est-il de la convergence alors ?
Nous observons que :
"2 est une valeur qui ne dépend pas de n, c'est la variance de l'erreur dé nie dans la population.
…
2.2.3 Variance et convergence de la constante
En suivant la même démarche, nous pouvons produire l'expression de la variance de l'estimateur de b est convergent, aux mêmes conditions (hypothèses) que l'estimateur de la pente.
2.2.4 Quelques remarques sur la précision des estimateurs
En scrutant un peu les formules de la variance produites dans les sections précédentes, nous remar-quons plusieurs éléments. Les estimateurs seront d'autant plus précis, les variances seront d'autant plus petites, que :
La variance de l'erreur est faible c.-à-d. la régression est de bonne qualité.
La dispersion des X est forte c.-à-d. les points recouvrent bien l'espace de représentation. Le nombre d'observations n est élevé.
Nous pouvons illustrer cela à l'aide de quelques graphiques caractérisant les di érentes situations (Figure 2.1).
Fig. 2.1. Quelques situations caractéristiques - In uence sur la variance de la pente
…
20 2 Propriétés des estimateurs
2.3 Théorème de Gauss-Markov
Les estimateurs des MCO de la régression sont sans biais et convergents. On peut même aller plus loin et prouver que parmi les estimateurs linéaires sans biais de la régression, les estimateurs MCO sont à variance minimale c.-à-d. il n'existe pas d'autres estimateurs linéaires sans biais présentant une plus petite variance. Les estimateurs des MCO sont BLUE (best linear unbiased estimator). On dit qu'ils sont e caces (pour les démonstrations montrant qu'il est impossible d'obtenir des variances plus faibles, voir Johnston, page 27 et pages 40-41 ; Labrousse, page 26).
Inférence statistique
3.1 Évaluation globale de la régression
Nous avions mis en avant la décomposition de la variance et le coe cient de détermination R2 pour évaluer la qualité de l'ajustement (section 1.3). Le R2 indiquait dans quelle proportion la variabilité de
Y pouvait être expliquée par X. En revanche, il ne répond pas à la question : est-ce que la régression est globalement signi cative ? En d'autres termes, est-ce que les X (il n'y en a qu'un seul pour l'instant dans la régression simple) emmènent signi cativement de l'information sur Y , représentative d'une relation linéaire réelle dans la population, et qui va au-delà des simples uctuations d'échantillonnage ?
Un autre point de vue est de considérer le test d'évaluation globale comme un test de signi cativité du R2 : dans quelle mesure s'écarte-t-il réellement de la valeur 0 ? On a des réticences à le présenter ainsi dans la littérature francophone car le R2 n'est pas un paramètre de la population estimée sur l'échantillon ; on a moins de scrupules dans la littérature anglo-saxonne (cf. par exemple D. Garson, Multiple
Quoiqu'il en soit, l'hypothèse nulle correspond bien à l'absence de liaison linéaire entre l'endogène et les exogènes.
3.1.1 Tableau d'analyse de Variance - Test de signi cativité globale
Pour répondre à cette question, nous allons étendre l'étude de la décomposition de la variance en complétant le tableau d'analyse de variance par les degrés de liberté (Tableau 3.1).
1. Note : Tout le monde aura remarqué que je blinde mon discours avec des références facilement véri ables pour éviter que les puristes me tombent dessus à coups de hache.
…
Tableau 3.1. Tableau d'analyse de variance pour la régression simple
Un petit mot sur les degrés de liberté, on peut les voir de di érentes manières. La dé nition la plus accessible est de les comprendre comme le nombre de termes impliqués dans les sommes (le nombre d'observations) moins le nombre de paramètres estimés dans cette somme (Dodge et Rousson, page 41). Ainsi :
Nous avons besoin de l'estimation de la moyenne y pour calculer la somme SCT.
Nous avons besoin des coe cients estimés a^ et b pour obtenir la projection y^i et former la SCR.
Interprétation. Cette statistique indique si la variance expliquée est signi cativement supérieure à la variance résiduelle. Dans ce cas, on peut considérer que l'explication emmenée par la régression traduit une relation qui existe réellement dans la population (Bourbonnais, page 34).
Écriture à partir du coe cient de détermination. D'aucuns considèrent le test F comme un test de signi cativité du coe cient de détermination, on peut le comprendre dans la mesure où il peut s'écrire en fonction du R2
…
Décision à partir de la p-value. Dans la plupart des logiciels de statistique, on fournit directe-ment la probabilité critique (p-value) ′, elle correspond à la probabilité que la loi de Fisher dépasse la statistique calculée F.
Ainsi, la règle de décision au risque devient :
3.1.2 Exemple : les rendements agricoles
Revenons à notre exemple des rendements agricoles. Nous complétons notre feuille de calcul précédente (Figure 1.7) de manière à mettre en exergue le tableau d'analyse de variance complet et le test F de signi cativité globale (Figure 3.1) 2.
Fig. 3.1. Tableau d'analyse de variance et Test de signi cativité globale - "Rendements agricoles"
Voici le détail des calculs :
Nous avions expliqué précédemment l'obtention des SCT, SCE et SCR (section 1.3.4).
Nous réorganisons les valeurs pour construire le tableau d'analyse de variance. Nous en déduisons
….
En passant par la probabilité critique, nous avons 4 ′ 0:00050, inférieure à = 5%. La conclusion est la même. Il ne peut pas y avoir de contradictions entre ces deux visions de toute manière.
3.2 Distribution des coe cients estimés
Pour étudier les coe cients estimés, il importe d'en calculer les paramètres (l'espérance et la variance essentiellement) et de déterminer la loi de distribution. Nous pourrons dès lors mettre en oeuvre les outils usuels de la statistique inférentielle : la dé nition des intervalles de variation à un niveau de con ance donné ; la mise en place des tests d'hypothèses, notamment les tests de signi cativité.
3.2.1 Distribution de a^ et b
Dans un premier temps, concentrons-nous sur la pente de la régresion. Rappelons que a^ est égal à X est non stochastique, Y l'est par l'intermédiaire du terme d'erreur ". Nous introduisons l'hypothèse selon laquelle :
"i N (0; ")
De fait, yi = axi + b + "i suit aussi une loi normale, et a^ étant une combinaison linéaire des yi, il vient
Ce résultat est très intéressant mais n'est pas utilisable en l'état, tout simplement parce que nous ne disposons pas de l'estimation de la variance de l'erreur "2. Pour obtenir une estimation calculable sur un échantillon de données de l'écart-type ^a^ du coe cient a^, nous devons produire une estimation de l'écart
type de l'erreur ^". La variance estimée s'écrirait alors
- INVERSE.LOI.F(0.05 ;1 ;8) dans Excel
- LOI.F(31.462 ;1 ;8) dans Excel.
…
De nouveau, si nous souhaitons obtenir son estimation c.-à-d. mettre un chapeau sur le de b comme j'ai coutume de le dire en cours, il faut mettre un chapeau sur le de ". C'est ce que nous faisons dans la section suivante.
3.2.2 Estimation de la variance de l'erreur
Estimateur sans biais de la variance de l'erreur
Le résidus "^i est l'erreur observée, on peut la ré-écrire de la manière suivante :
…
Remarque 2 (Espérance des résidus). On note au passage que l'espérance du résidu est nulle ( E[^"i] = 0)
si les estimateurs sont sans biais.
On montre que (Giraud et Chaix, page 31) :
On propose comme estimateur sans biais de la variance de l'erreur :
…
Au numérateur, nous avons la somme des carrés des résidus. Nous l'obtenons facilement comme nous avons pu le constater dans notre exemple des "Rendements agricoles".
Au dénominateur, nous avons les degrés de liberté de la régression. La valeur 2 dans (n 2)
représente le nombre de paramètres estimés. De fait, la généralisation de cette formule au cadre
de la régression linéaire multiple avec p variables exogènes ne pose aucun problème. Le nombre de degrés de liberté sera n (p + 1) = n p 1.
26 3 Inférence statistique
Distribution de l'estimation de la variance de l'erreur
Il nous faut connaître la distribution de l'estimation de la variance de l'erreur pour pouvoir déterminer la distribution des coe cients estimés lorsque nous introduirons ^"2 dans les expressions de leur variance.
On sait par hypothèse que "i N (0; 1). Comme "^i est une réalisation de "i, il vient
En passant au carré, nous avons un 2(1). Il ne nous reste plus qu'à former la somme des termes :
…
Ou, de manière équivalente, en se référant à l'estimateur de la variance de l'erreur (Équation 3.11) :
…
Nous pouvons maintenant revenir sur la distribution des coe cients calculés lorsque toutes ses com-posantes sont estimées à partir des données.
3.2.3 Distribution des coe cients dans la pratique
Voyons dans un premier temps la pente, la transposition à la constante ne pose aucun problème. Avec les équations 3.7 et 3.8, nous pouvons écrire :
…
De fait, la distribution réellement exploitable pour l'inférence statistique est la loi de Student à degrés de liberté.
…
Comment ?
N'oublions pas que la loi de Student est dé nie par un rapport entre une loi normale et la racine carrée d'un loi du 2 normalisée par ses degrés de liberté. Ainsi,
…
Nous disposons maintenant de tous les éléments pour analyser les paramètres estimés de la régression.
3.3 Étude de la pente de la droite de régression
3.3.1 Test de signi cativité de la pente
Le test de signi cativité de la pente consiste à véri er l'in uence réelle de l'exogène X sur l'endogène
Y . Les hypothèses à confronter s'écrivent :
< H0 : a = 0 : H1 : a ≠ 0
…
Elle suit une loi de Student à (n 2) degrés de liberté. La région critique (de rejet de H0) au risque s'écrit :
…
Test de signi cativité de la pente pour les "Rendements agricoles"
Testons la signi cativité de la pente pour la régression sur les "Rendements agricoles". Nous construi-sons la feuille Excel pour les calculs intermédiaires (Figure 3.2) 5 :
…
Fig. 3.2. Calculs intermédiaires pour les tests relatifs à la pente - "Rendements agricoles"
A ce stade, nous obtenons l'estimation de la variance de l'erreur, soit
L'écart-type estimé de l'erreur correspond à la racine carrée, il est bien de le préciser car de nombreux logiciels (la fonction DROITEREG d'Excel par exemple) l'a chent plutôt que la variance.
P ^" = 7:980 = 2:825
Pour obtenir l'estimation de l'écart-type de la pente, nous avons besoin de la somme des écarts à la moyenne au carré des X c.-à-d. i(xi x)2 = (20 30:4)2 + = 108:16 + = 492:4. Nous avons alors :
√ ^2 ^a^ = √∑i(xi" x)2 7:980
= p 492:4 = 0:01621
= 0:12730
Nous formons la statistique de test
…
Au risque = 5%, le seuil critique pour la loi de Student à (n 2) degrés de liberté pour un test bilatéral 6 est t1 2 = 2:30600. Puisque j5:60909j > 2:30600, nous concluons que la pente est signi cativement non nulle au risque 5%.
6. LOI.STUDENT.INVERSE(0.05 ;8) sous Excel. Attention, la fonction renvoie directement le quantile pour un test bilatéral !
Si nous étions passés par le calcul de la p-value, nous aurions obtenu 7 ′ = 0:00050. Puisque ′ < , nous rejetons de même l'hypothèse nulle.
3.3.2 Test de conformité à un standard
Nous pouvons aller plus loin que le simple test de signi cativité. En e et, la distribution de a^ (section 3.2.3, équation 3.16) est valable sur tout le domaine de dé nition de a et non pas seulement dans le voi-sinage (a = 0). Ainsi, nous pouvons dé nir tout type de test de conformité à un standard, où l'hypothèse nulle s'écrirait H0 : a = c ; c étant une valeur de référence quelconque.
Exemple sur les "Rendements agricoles"
On souhaite mettre en oeuvre le test d'hypothèses suivant pour les "Rendements agricoles"
< H0 : a = 0:5
: H1 : a > 0:5
Il s'agit d'un test de conformité à un standard unilatéral. La région critique au risque du test s'écrit
Voyons ce qu'il en est sur nos données,
A comparer avec t0:95(8) = 1:85955 pour un test à 5% 8. Nous sommes dans la région d'acceptation c.-à-d. nous ne pouvons pas rejeter l'hypothèse nulle. La valeur du paramètre a n'est pas signi cativement supérieur à la référence 0:5 au risque 5%.
3.3.3 Intervalle de con ance
Toujours parce que la distribution de a^ est dé nie sur tout l'intervalle de dé nition de a, nous pouvons construire des intervalles de variation (ou intervalle de con ance) au niveau de con ance (1 ).
Table des matières
Partie I Régression Linéaire Simple
1 Modèle de régression linéaire simple ........... 3
1.1 Modèle et hypothèses ............. . . . 3
1.1.1 Régression linéaire simple ........... . . . 3
1.1.2 Hypothèses ............. . . . . . . . 5
1.2 Principe de l'ajustement des moindres carrés ......... . . 5
1.2.1 Estimateur des moindres carrés ordinaires (MCO) ....... 5
1.2.2 Calculs pour les données "Rendements agricoles" ....... . 7
1.2.3 Quelques remarques ............8
1.3 Décomposition de la variance et coe‑cient de détermination ..... . . . . . . 9
1.3.1 Décomposition de la variance - Équation d'analyse de variance ... . . . . . . . 9
1.3.2 Coe‑cient de détermination ........... . 11
1.3.3 Coe‑cient de corrélation linéaire multiple ....... . . . . . . . 12
1.3.4 L'exemple des rendements agricoles ......... . . . . 13
2 Propriétés des estimateurs ............. . 15
2.1 Biais ................. . 15
2.2 Variance - Convergence ............. . . 17
2.2.1 Variance de la pente ............17
2.2.2 Convergence de la pente ........... . . . . . 18
2.2.3 Variance et convergence de la constante ......... 19
2.2.4 Quelques remarques sur la précision des estimateurs ..... . . . . . . . 19
2.3 Théorème de Gauss-Markov ........... . . . . . . . 20
3 Inférence statistique ............. . . . . . . . 21
3.1 Évaluation globale de la régression ........... . . 21
3.1.1 Tableau d'analyse de Variance - Test de signi cativité globale ....21
3.1.2 Exemple : les rendements agricoles ......... . . . . 23
3.2 Distribution des coe‑cients estimés ........... . 24
Page: 5 job: Econometrie_Regression macro: svmono.cls date/time: 11-Mar-2016/13:56
6 Table des matières
3.2.1 Distribution de aˆ et ˆb ........... . . . . . . . 24
3.2.2 Estimation de la variance de l'erreur ......... . . . 25
3.2.3 Distribution des coe‑cients dans la pratique ....... . . . . . 26
3.3 Étude de la pente de la droite de régression ......... . . . 27
3.3.1 Test de signi cativité de la pente ......... . . . . . . 27
3.3.2 Test de conformité à un standard ......... . . . . . . 29
3.3.3 Intervalle de con ance ........... . . . . . . 29
3.4 Intervalle de con ance de la droite de régression ........30
3.5 La régression avec la fonction DROITEREG d'EXCEL ....... . . 32
3.6 Quelques équivalences concernant la régression simple ....... . . . 34
3.6.1 Équivalence avec le test de signi cativité globale ....... . 34
3.6.2 Équivalence avec le test de signi cativité de la corrélation ..... . . 34
4 Prédiction et intervalle de prédiction ..........37
4.1 Prédiction ponctuelle ............. . . . . 37
4.2 Prédiction par intervalle ............. . . 38
4.2.1 Variance de l'erreur de prédiction......... . . . . . . 38
4.2.2 Loi de distribution de l'erreur de prédiction ....... . . . . . . 39
4.2.3 Intervalle de prédiction ........... . . . . . . 39
4.2.4 Application numérique - Rendements agricoles ....... . . . 39
5 Étude de cas - Consommation des véhicules vs. Poids ....... . 43
6 Non linéarité - Modèles dérivés et interprétation des coe‑cients ....47
6.1 Interprétation de la droite de régression ......... . . . . . . 47
6.2 Modèles non-linéaires mais linéarisables ......... . . . . . . 47
6.2.1 Modèle log-linéaire - Schéma à élasticité constante ....... 48
6.2.2 Modèle exponentiel (géométrique) ......... . . . . . 48
6.2.3 Modèle logarithmique ........... . . . . . . . 49
6.2.4 Le modèle logistique ............50
6.3 Un exemple de modèle logistique : taux d'équipement en magnétoscope des ménages . . . . 51
7 Régression sans constante ............. . 55
7.1 Cas des données centrées ............. . 55
7.2 Cas des données quelconques ........... . . . . . . . 56
7.2.1 Problématique ............. . . . . 56
7.2.2 Formules ............... 57
7.3 Un exemple d'application : comparaison de salaires ....... . . . . . 58
Page: 6 job: Econometrie_Regression macro: svmono.cls date/time: 11-Mar-2016/13:56
Table des matières 7
8 Comparaison des régressions ............61
8.1 Comparaison des régressions dans leur globalité ........62
8.1.1 Principe du test ............. . . . 62
8.1.2 Un exemple numérique ........... . . . . . . 63
8.2 Détecter la n
- 284
- Y est celle que l'on cherche à expliquer (à prédire), on parle de variable endogène (dépendante) ; X est la variable explicative (prédictive), on parle de variable exogène (indépendante).
Télécharger Support de cours sur la statistique econometrie
| 4 stars | 1 votes |
Votez ce document: ☆☆☆☆☆★★★★★