Cours gratuits » Cours statistique

Problème à signaler:
Impossible d'ouvrir le doc Impossible de télécharger le doc Violation du droit d'auteur

Télécharger Support de cours sur la statistique econometrie

★★★★★★★★★★4 étoiles sur 5 basé sur 1 votes.

4 stars

1 votes

Votez ce document: ☆☆☆☆☆★★★★★

Télécharger aussi :

• Statistique econometrie cours complet
• Formation sur la statistique econometrie pour debutant
• Support de cours sur la statistique econometrie
• Cours pour debuter avec la statistique econometrie
• Statistique sanitaire support de cours
• Support de cours en statistique inductive
• Support de cours sur la statistique correlation
• Support de formation sur la statistique loi normale

Support de cours sur la statistique econometrie

Support de cours sur la statistique économétrie

Modèle de régression linéaire simple

1.1 Modèle et hypothèses

1.1.1 Régression linéaire simple

Nous cherchons à mettre en avant une relation de dépendance entre les variables Y et X. Y est celle que l'on cherche à expliquer (à prédire), on parle de variable endogène (dépendante) ; X est la variable explicative (prédictive), on parle de variable exogène (indépendante).

Le modèle de régression linéaire simple s'écrit :

yi = a  xi + b + "i

(1.1)

a et b sont les paramètres (les coe cients) du modèle. Dans le cas spéci que de la régression simple, a est la pente, b est la constante.

Nous disposons d'un échantillon de n observations i.i.d (indépendantes et identiquement distribuées) pour estimer ces paramètres.

Le terme aléatoire ", que l'on appelle l'erreur du modèle, tient un rôle très important dans la régression. Il permet de résumer toute l'information qui n'est pas prise en compte dans la relation linéaire que l'on cherche à établir entre Y et X c.-à-d. les problèmes de spéci cations, l'approximation par la linéarité, résumer le rôle des variables explicatives absentes, etc. Comme nous le verrons plus bas, les propriétés des estimateurs reposent en grande partie sur les hypothèses que nous formulerons à propos de ". En pratique, après avoir estimé les paramètres de la régression, les premières véri cations portent sur l'erreur calculée sur les données (on parle de "résidus") lors de la modélisation [13] (Chapitre 1).

Dans cet exemple tiré de l'ouvrage de Bourbonnais

(page 12), nous disposons de n = 10 observations (Figure 1.1) 1. On cherche à expliquer Y le rendement en maïs (en quintal) de parcelles de terrain, à partir de X la quantité d'engrais (en kg) que l'on y a épandu. L'objectif est de modéliser le lien à travers une relation linéaire. Bien évidemment, si l'on ne

1. regression_simple_rendements_agricoles.xlsx - "data"

…

1 Modèle de régression linéaire simple

met pas d'engrais du tout, il sera quand même possible d'obtenir du maïs, c'est le sens de la constante b de la régression. Sa valeur devrait être positive. Ensuite, plus on mettra de l'engrais, meilleur sera le rendement. On suppute que cette relation est linéaire, d'où l'expression a x, on imagine à l'avance que a devrait être positif.

Fig. 1.1. Tableau de données "Rendements Agricoles" - Bourbonnais, page 12

Le graphique nuage de points associant X et Y semble con rmer cette première analyse (Figure 1.2) 2. Dans le cas contraire où les coe cients estimés contredisent les valeurs attendues ( b ou/et a sont négatifs), cela voudrait dire que nous avons une perception faussée du problème, ou bien que les données utilisées ne sont pas représentatives du phénomène que l'on cherche à mettre en exergue, ou bien... On entre alors dans une démarche itérative qui peut durer un moment avant d'obtenir le modèle dé nitif ³. C'est le processus de modélisation .

…

1.1.2 Hypothèses

 Ces hypothèses pèsent sur les propriétés des estimateurs (biais, convergence) et l'inférence statistique (distribution des coe cients estimés).

 H1 Hypothèses sur Y et X. X et Y sont des grandeurs numériques mesurées sans erreur. X est une donnée exogène dans le modèle. Elle est supposée non aléatoire. Y est aléatoire par l'intermédiaire de " c.-à-d. la seule erreur que l'on a sur Y provient des insu sances de X à expliquer ses valeurs dans le modèle.

 ^{H2 Hypothèses sur le terme aléatoire ". Les "}i sont i.i.d (indépendants et identiquement distribués). H2.a E("_i) = 0, en moyenne les erreurs s'annulent c.-à-d. le modèle est bien spéci é.

^{H2.b     V ("i) =}   "², la variance de l'erreur est constante et ne dépend pas de l'observation. C'est l'hypothèse d'homoscédasticité.

H2.c     En particulier, l'erreur est indépendante de la variable exogène c.-à-d.

H2.d       Indépendance des erreurs. Les erreurs relatives à 2 observations sont indépendantes c.-à-d.

 COV ("_i; "_j) = 0. On parle de "non auto-corrélation des erreurs". 

Remarque : Cette hypothèse est toujours respectée pour les coupes transversales. En e et l'échan-tillon est censé construit de manière aléatoire et les observations i.i.d. Nous pouvons donc interver-tir aléatoirement les lignes sans porter atteinte à l'intégrité des données. En revanche, la question se pose pour les données temporelles. Il y a une contrainte qui s'impose à nous (contrainte tem-porelle - les données sont ordonnées) dans le recueil des données.

H2.e "_i N (0; _"). L'hypothèse de normalité des erreurs est un élément clé pour l'inférence statistique.

 1.2 Principe de l'ajustement des moindres carrés

1.2.1 Estimateur des moindres carrés ordinaires (MCO)

Notre objectif est de déterminer les valeurs de  a et b en utilisant les informations apportées par l'échantillon. Nous voulons que l'estimation soit la meilleure possible c.-à-d. la droite de régression doit approcher le nuage de points.

Si graphiquement, la solution semble intuitive. Il nous faut un critère numérique qui réponde à cette spéci cation pour réaliser les calculs sur un échantillon de données.

 Le critère des moindres carrés consiste à minimiser la somme des carrés des écarts (des erreurs) entre les vraies valeurs de Y et les valeurs prédites avec le modèle de prédiction (Figure 1.3). L'estimateur des moindres carrées ordinaires (MCO) des paramètres a et b doit donc répondre à la minimisation de

…

1 Modèle de régression linéaire simple

Fig. 1.3. Comptabilisation de l'erreur : écart entre Y observé et Y prédit par le modèle linéaire

∑ⁿ S =          "²_i

i=1

∑ⁿ =        [y_i      (ax_i + b)]²

i=1

∑ⁿ =        [y_i      ax_i      b]²

i=1

Pour déterminer les valeurs de a et b, les conditions suivantes sont nécessaires :

En appliquant ces dérivées partielles, nous obtenons les équations normales 25 ; Bourbonnais, page 21 ; Johnston et DiNardo, page 22) :

 (Giraud et Chaix, page

Que l'on retrouve également sous la forme suivante dans la littérature (Tenenhaus, page 70).

En appelant a^ et b les solutions de ces équations normales, nous obtenons les  estimateurs des moindres carrés :

Détail des calculs

Quelques pistes pour obtenir ces résultats. Voyons tout d'abord la dérivée partielle @S

…

I En multipliant le tout par    2

n , nous avons :

b = y      ax

Occupons-nous maintenant de @S

@S	= ∑i	2(  xi)(yi	axi	b) = 0
@a

En introduisant le résultat relatif à b ci-dessus, nous obtenons :

^∑n _{a =         i=1∑}^(yi   ^y)(xi   ^{x) n} (x_i x)² i=1

1.2.2 Calculs pour les données "Rendements agricoles"

Revenons à notre exemple des "Rendements agricoles" (Figure 1.1). Nous montons la feuille Excel permettant de réaliser les calculs (Figure 1.4) ⁴.

Fig. 1.4. Estimation des coe  cients "Rendements agricoles" - Feuille de calcul Excel

Voici les principales étapes :

Nous calculons les moyennes des variables, y = 26:1 et x = 30:4.
	Nous formons alors les valeurs de	(yi   y), (xi	x), (yi   y)   (xi	x) et (xi   x)2.
	Nous réalisons les sommes ∑i(yi	y)   (xi	x) = 351:6 et ∑i(xi	x)2 = 492:4.

4. regression_simple_rendements_agricoles.xlsx - "reg.simple.1"

1 Modèle de régression linéaire simple

Nous déduisons en n les estimations :

La droite de régression peut être représentée dans le graphique nuage de points. Nous avons utilisé l'outil "Courbe de tendance" d'Excel (Figure 1.5) ⁵.

Fig. 1.5. Droite de régression - "Rendements agricoles"

Nous constatons que la droite passe peu ou prou au milieu du nuage de points. Mais nous ne saurions pas dire dans quelle mesure notre modélisation est su samment intéressante. La simple évaluation visuelle ne su t pas. La seule manière d'obtenir une réponse rigoureuse est de produire un critère quantitatif que l'on saura interpréter. Nous nous pencherons sur cette question dans la section consacrée à l'évaluation du modèle (section 1.3).

1.2.3 Quelques remarques

Autre écriture de l'estimateur de la pente. Il y a une relation directe entre l'estimateur de la pente et le coefficient de corrélation linéaire de Pearson r_yx.

De fait, nous le verrons dans la partie inférentielle, tester la signi cativité de la pente revient à tester la signi cativité de la corrélation entre Y et X.

5. regression_simple_rendements_agricoles.xlsx - "reg.simple.1"

…

Erreur et résidu. " est l'erreur inconnue introduite dans la spéci cation du modèle. Nous avons alors estimé les paramètres a^ et b à partir de l'échantillon et nous appuyant sur le principe des moindres carrés. Nous pouvons obtenir la valeur prédite de l'endogène Y pour l'individu i avec

y^_i = y^(x_i) ^ = a^    x_i + b

On peut en déduire l'erreur observée, appelée "résidu" de la régression

La distinction "erreur vs. résidu" est importante car, comme nous le verrons par la suite, les expressions de leurs variances ne sont pas les mêmes.

Toujours concernant le résidu, notons une information importante :

La somme (et donc la moyenne) des résidus est nulle dans une régression avec constante . En e et :

∑    ∑ ^ "^_i =        [y_i      (^ax_i + b)]

I = ny       na^x    nb

= ny na^x n (y a^x) = 0

Centre de gravité du nuage de points. La droite de régression                                 passe forcément par le centre de gravité du nuage de points. Pour le véri er simplement, réalisons la projection pour le point x :

^ y^(x) = a^x + b = a^x + (y a^x) = y

Dans notre exemple des "Rendements agricoles", nous constatons e ectivement que la droite passe le point G(x; y) de coordonnées (x = 30:4; y = 26:1) (Figure 1.6).

1.3 Décomposition de la variance et coe  cient de détermination

1.3.1 Décomposition de la variance - Équation d'analyse de variance

L'objectif est de construire des estimateurs qui minimisent la somme des carrés des résidus

…

Dans la régression avec constante, et uniquement dans ce cas, on montre que

On obtient dès lors l'équation d'analyse de variance :

	SCT	= SCE + SCR			(1.8)
∑i	(yi   y)2	= ∑i	(^yi   y)2 + ∑i	(yi   y^i)2	(1.9)

Comment interpréter ces quantités ?

SCT est la somme des carrés totaux. Elle indique la variabilité totale de Y c.-à-d. l'information disponible dans les données.

SCE est la somme des carrés expliqués. Elle indique la variabilité expliquée par le modèle c.-à-d. la variation de Y expliquée par X.

SCR est somme des carrés résiduels. Elle indique la variabilité non-expliquée (résiduelle) par le modèle c.-à-d. l'écart entre les valeurs observées de Y et celles prédites par le modèle.

Deux situations extrêmes peuvent survenir :

Dans le meilleur des cas, SCR = 0 et donc SCT = SCE : les variations de Y sont complètement expliquées par celles de X. On a un modèle parfait, la droite de régression passe exactement par tous les points du nuage(y^_i = y_i).

Dans le pire des cas, SCE = 0 : X n'apporte aucune information sur Y . Ainsi, y^_i = y, la meilleure prédiction de Y est sa propre moyenne.

A partir de ces informations, nous pouvons produire une première version du tableau d'analyse de variance (Tableau 1.1). La version complète nous permettra de mener le test de signi cativité globale de la régression comme nous le verrons plus loin (section 3.1).

Source de variation Somme des carrés

Tableau 1.1. Tableau simplifié d'analyse de variance

1.3.2 Coefficient de détermination

Il est possible de déduire un indicateur synthétique à partir de l'équation d'analyse de variance. C'est le coefficient de détermination R^2.

1. 1 Modèle de régression linéaire simple

Plus il sera proche de la valeur 1, meilleur sera le modèle, la connaissance des valeurs de X permet de deviner avec précision celle de Y .

Lorsque R² est proche de 0, cela veut dire que X n'apporte pas d'informations utiles (intéressantes) sur Y , la connaissance des valeurs de X ne nous dit rien sur celles de Y .

Remarque 1 (Une autre lecture du coe cient de détermination.). Il existe une lecture moins usuelle, mais non moins intéressante, du coefficient de détermination.

On dé nit le modèle par défaut comme la régression qui n'utilise pas X pour prédire les valeurs de Y c.-à-d. le modèle composé uniquement de la constante.

…

avec le pire modèle possible, celui qui n'utilise pas l'information procurée par X c.-à-d. basée uniquement sur Y (y^_i = y).

Par construction, dans la régression avec constante, on sait que SCR SCT , le coe cient de déter-mination nous indique donc dans quelle mesure X permet d'améliorer nos connaissances sur Y .

Cette lecture nous permet de mieux comprendre les pseudo- R^{2 calculés dans des domaines connexes} telles que la régression logistique [14] (Section 1.6) où l'on confronte la vraisemblance du modèle complet (ou le taux d'erreur), incluant toutes les exogènes, avec celle du modèle réduit à la constante.

1.3.3 Coe    cient de corrélation linéaire multiple

Le coe cient de corrélation linéaire multiple est la racine carrée du coe                cient de détermination.

…

Dans le cas de la régression simple (et uniquement dans ce cas), on montre aisément qu'il est égal au coe cient de corrélation r_yx entre Y et X. Son signe est dé ni par la pente a^ de la régression.

…

 =     ^SCE_SCT

=    R²

1.3.4  L'exemple des rendements agricoles

Nous nous appuyons sur les coe  cients estimés précédemment (section 1.2.2), à savoir  a^ = 0:71405 et ^ b = 4:39277 pour construire la colonne des valeurs prédites y^_i, en déduire le résidu obtenir les sommes des carrés. Le tableau de calcul est organisé comme suit (Figure 1.7)

…

Fig. 1.7. Décomposition de la variance - "Rendements agricoles"

 …

 Pour la SCE, nous sommons (^y_i                                                       y)² c.-a-d. SCE = (18:674  26:1)² +       = 55:148 +            = 251:061

Nous pouvons obtenir la SCR par di érence, en faisant SCR = SCT SCE = 314:900 251:061 = 63:839.

…

 1 Modèle de régression linéaire simple

Nous pouvons aussi la former explicitement en sommant les (y_i                                       y^_i)², soit SCR = (16 18:674)² +

= 7:149 + = 63:839. Les deux résultats coïncident, il ne peut pas en être autrement (dans la régression avec constante tout du moins).

Le coe cient de détermination est obtenu avec sa forme usuelle (Équation 1.10) :

_R2 ₌ ^SCE ₌ ^251:061 _{= 0:797273}

SCT         314:900

Puis, le coe               cient de corrélation linéaire multiple

p

R =      0:797273 = 0:892901

a^ = 0:71405 étant positif, on véri era aisément dans notre exemple que ce dernier est identique au coe cient de corrélation de Pearson entre Y et X :

R = r_yx = 0:892901

Propriétés des estimateurs

Ce chapitre est assez théorique. Sa lecture n'est pas nécessaire pour la compréhension de la mise en pratique de la régression linéaire. J'invite donc les lecteurs surtout intéressés par les aspects opérationnels à se reporter au chapitre suivant

Ce chapitre est essentiel en revanche pour la compréhension des propriétés des estimateurs des MCO. Il permet notamment de circonscrire les hypothèses qui conditionnent leur e cacité. Sa lecture est conseillée pour ceux qui s'intéressent à ces aspects théoriques.

Pour les étudiants de la licence L3-IDS, vous devez lire ce chapitre !

Deux propriétés importantes sont mises en avant dans l'évaluation d'un estimateur. (1) Est-ce qu'il est sans biais c.-à-d. est-ce qu'en moyenne nous obtenons la vraie valeur du paramètre ? (2) Est-ce qu'il est convergent c.-à-d. à mesure que la taille de l'échantillon augmente, l'estimation devient de plus en plus précise ?

2.1 Biais

On dit que ^                                                                          ^

est un estimateur sans biais de                si E[ ] =  .

Comment procéder à cette véri cation pour a^ et b ?

Voyons ce qu'il en est pour a^. Il y a deux étapes principalement dans la démonstration : dans un premier temps, il faut exprimer a^ en fonction de a ; dans un deuxième temps, en passant à l'espérance mathématique, il faut souhaiter que tout ce qui ne dépend pas de a devienne nul, au besoin en s'appuyant

sur quelques hypothèses pour le coup bien commodes énoncées en préambule de notre présentation (section 1.1).

Nous reprenons ici la démarche que l'on retrouve dans la plupart des références citées en bibliographie (Bourbonnais, page 24 pour la régression simple ; Giraud et Chaix, page 25, qui a servi de base pour les calculs ci-dessous ; Labrousse, page 24 pour la régression multiple ; Dodge et Rousson, page 25).

2 Propriétés des estimateurs

^Soit yi ^= axi ^+ b + "i, nous pouvons calculer :

…

Il nous reste à démontrer que la partie après l'addition est nulle en passant à l'espérance mathématique. Nous devrons introduire les hypothèses adéquates pour ce faire.

	(x	x)"
E(^a) = E(a) + E [	∑ii(xii	x)2i		]
= a + E [∑i	∑(xi	x)		"i]
	∑j(xj	x)2

Pour simpli er les écritures, posons

La variable exogène X n'est pas stochastique par hypothèse. Donc

∑ E(^a) = a +          !_i        E("_i)i

Autre hypothèse, E("_i) = 0. A la sortie nous obtenons

E(^a) = a

Conclusion. L'estimateur des moindres carrés ordinaires (EMCO) est sans biais, si et seulement si les deux hypothèses suivantes sont respectées :

1. (H1) L'exogène X n'est pas stochastique ( X est non aléatoire) ;
2. (H2.a) E("_i) = 0, l'espérance de l'erreur est nulle.

Concernant la constante

De manière analogue, en partant de ^

…

1. 2 Propriétés des estimateurs
2. ^(H2.b) E("2_i^{) = V ("}i^{) =}  _"²_{, la variance de l'erreur est constante. C'est l'hypothèse d'homoscédasticité.}
3. (H2.d) COV ("_i′ "_i) = E("_i′ "_i) = 0. Les erreurs sont deux à deux indépendantes. C'est l'hypothèse de non-autocorrélation des erreurs.

 A la sortie, nous pouvons simpli er grandement l'expression de la variance :

 ….

2.2.2 Convergence de la pente

 Qu'en est-il de la convergence alors ?

 Nous observons que :

 _"² _{est une valeur qui ne dépend pas de} n, c'est la variance de l'erreur dé nie dans la population.

 …

2.2.3 Variance et convergence de la constante

En suivant la même démarche, nous pouvons produire l'expression de la variance de l'estimateur de b est convergent, aux mêmes conditions (hypothèses) que l'estimateur de la pente.

2.2.4 Quelques remarques sur la précision des estimateurs

En scrutant un peu les formules de la variance produites dans les sections précédentes, nous remar-quons plusieurs éléments. Les estimateurs seront d'autant plus précis, les variances seront d'autant plus petites, que :

La variance de l'erreur est faible c.-à-d. la régression est de bonne qualité.

La dispersion des X est forte c.-à-d. les points recouvrent bien l'espace de représentation. Le nombre d'observations n est élevé.

Nous pouvons illustrer cela à l'aide de quelques graphiques caractérisant les di érentes situations (Figure 2.1).

Fig. 2.1. Quelques situations caractéristiques - In uence sur la variance de la pente

…

20         2 Propriétés des estimateurs

2.3 Théorème de Gauss-Markov

Les estimateurs des MCO de la régression sont sans biais et convergents. On peut même aller plus loin et prouver que parmi les estimateurs linéaires sans biais de la régression, les estimateurs MCO sont à variance minimale c.-à-d. il n'existe pas d'autres estimateurs linéaires sans biais présentant une plus petite variance. Les estimateurs des MCO sont BLUE (best linear unbiased estimator). On dit qu'ils sont e caces (pour les démonstrations montrant qu'il est impossible d'obtenir des variances plus faibles, voir Johnston, page 27 et pages 40-41 ; Labrousse, page 26).

Inférence statistique

3.1 Évaluation globale de la régression

Nous avions mis en avant la décomposition de la variance et le coe cient de détermination R^2 pour évaluer la qualité de l'ajustement (section 1.3). Le R^{2 indiquait dans quelle proportion la variabilité de}

Y pouvait être expliquée par X. En revanche, il ne répond pas à la question : est-ce que la régression est globalement signi cative ? En d'autres termes, est-ce que les X (il n'y en a qu'un seul pour l'instant dans la régression simple) emmènent signi cativement de l'information sur Y , représentative d'une relation linéaire réelle dans la population, et qui va au-delà des simples uctuations d'échantillonnage ?

Un autre point de vue est de considérer le test d'évaluation globale comme un test de signi cativité du _R2 : dans quelle mesure s'écarte-t-il réellement de la valeur 0 ? On a des réticences à le présenter ainsi dans _{la littérature francophone car le R}2 n'est pas un paramètre de la population estimée sur l'échantillon ; on a moins de scrupules dans la littérature anglo-saxonne (cf. par exemple D. Garson, Multiple

Quoiqu'il en soit, l'hypothèse nulle correspond bien à l'absence de liaison linéaire entre l'endogène et les exogènes.

3.1.1 Tableau d'analyse de Variance - Test de signi cativité globale

Pour répondre à cette question, nous allons étendre l'étude de la décomposition de la variance en complétant le tableau d'analyse de variance par les degrés de liberté (Tableau 3.1).

1. Note : Tout le monde aura remarqué que je blinde mon discours avec des références facilement véri ables pour éviter que les puristes me tombent dessus à coups de hache.

…

Tableau 3.1. Tableau d'analyse de variance pour la régression simple

Un petit mot sur les degrés de liberté, on peut les voir de di érentes manières. La dé nition la plus accessible est de les comprendre comme le nombre de termes impliqués dans les sommes (le nombre d'observations) moins le nombre de paramètres estimés dans cette somme (Dodge et Rousson, page 41). Ainsi :

Nous avons besoin de l'estimation de la moyenne y pour calculer la somme SCT.

Nous avons besoin des coe          cients estimés a^ et b pour obtenir la projection y^_{i et former la SCR.}

Interprétation. Cette statistique indique si la variance expliquée est signi cativement supérieure à la variance résiduelle. Dans ce cas, on peut considérer que l'explication emmenée par la régression traduit une relation qui existe réellement dans la population (Bourbonnais, page 34).

Écriture à partir du coe cient de détermination. D'aucuns considèrent le test F comme un test de signi cativité du coe cient de détermination, on peut le comprendre dans la mesure où il peut s'écrire en fonction du R²

…

Décision à partir de la p-value. Dans la plupart des logiciels de statistique, on fournit directe-_{ment la probabilité critique (p-value)} ′, elle correspond à la probabilité que la loi de Fisher dépasse la statistique calculée F.

Ainsi, la règle de décision au risque            devient :

3.1.2 Exemple : les rendements agricoles

Revenons à notre exemple des rendements agricoles. Nous complétons notre feuille de calcul précédente (Figure 1.7) de manière à mettre en exergue le tableau d'analyse de variance complet et le test F de signi cativité globale (Figure 3.1) ².

Fig. 3.1. Tableau d'analyse de variance et Test de signi cativité globale - "Rendements agricoles"

Voici le détail des calculs :

Nous avions expliqué précédemment l'obtention des SCT, SCE et SCR (section 1.3.4).

Nous réorganisons les valeurs pour construire le tableau d'analyse de variance. Nous en déduisons

….

En passant par la probabilité critique, nous avons 4 ^′ 0:00050, inférieure à = 5%. La conclusion est la même. Il ne peut pas y avoir de contradictions entre ces deux visions de toute manière.

3.2  Distribution des coe  cients estimés

Pour étudier les coe cients estimés, il importe d'en calculer les paramètres (l'espérance et la variance essentiellement) et de déterminer la loi de distribution. Nous pourrons dès lors mettre en oeuvre les outils usuels de la statistique inférentielle : la dé nition des intervalles de variation à un niveau de con ance donné ; la mise en place des tests d'hypothèses, notamment les tests de signi cativité.

3.2.1 Distribution de a^ et b

Dans un premier temps, concentrons-nous sur la pente de la régresion. Rappelons que  a^ est égal à X est non stochastique, Y l'est par l'intermédiaire du terme d'erreur ". Nous introduisons l'hypothèse selon laquelle :

"_i      N (0;  _")

De fait, y_i = ax_i + b + "_i suit aussi une loi normale, et a^ étant une combinaison linéaire des y_{i, il vient}

Ce résultat est très intéressant mais n'est pas utilisable en l'état, tout simplement parce que nous ne disposons pas de l'estimation de la variance de l'erreur _"²_{. Pour obtenir une estimation calculable sur un} échantillon de données de l'écart-type ^_a^ du coe cient a^, nous devons produire une estimation de l'écart

^{type de l'erreur ^}". La variance estimée s'écrirait alors

1. INVERSE.LOI.F(0.05 ;1 ;8) dans Excel
2. LOI.F(31.462 ;1 ;8) dans Excel.
   …

De nouveau, si nous souhaitons obtenir son estimation c.-à-d. mettre un chapeau sur le de b comme j'ai coutume de le dire en cours, il faut mettre un chapeau sur le de ". C'est ce que nous faisons dans la section suivante.

3.2.2 Estimation de la variance de l'erreur

Estimateur sans biais de la variance de l'erreur

^{Le résidus "^}i est l'erreur observée, on peut la ré-écrire de la manière suivante :

…

Remarque 2 (Espérance des résidus). On note au passage que l'espérance du résidu est nulle ( E[^"_i] = 0)

si les estimateurs sont sans biais.

On montre que (Giraud et Chaix, page 31) :

On propose comme estimateur sans biais de la variance de l'erreur :

…

Au numérateur, nous avons la somme des carrés des résidus. Nous l'obtenons facilement comme nous avons pu le constater dans notre exemple des "Rendements agricoles".

Au dénominateur, nous avons les degrés de liberté de la régression. La valeur                        2 dans (n         2)

représente le nombre de paramètres estimés. De fait, la généralisation de cette formule au cadre

de la régression linéaire multiple avec p variables exogènes ne pose aucun problème. Le nombre de degrés de liberté sera n                           (p + 1) = n          p             1.

 

26         3 Inférence statistique

Distribution de l'estimation de la variance de l'erreur

Il nous faut connaître la distribution de l'estimation de la variance de l'erreur pour pouvoir déterminer la distribution des coe cients estimés lorsque nous introduirons ^_"² _{dans les expressions de leur variance.}

^{On sait par hypothèse que "i}             N (0; 1). Comme "^_i est une réalisation de "_{i, il vient}

En passant au carré, nous avons un          ²(1). Il ne nous reste plus qu'à former la somme des termes :

…

Ou, de manière équivalente, en se référant à l'estimateur de la variance de l'erreur (Équation 3.11) :

…

Nous pouvons maintenant revenir sur la distribution des coe cients calculés lorsque toutes ses com-posantes sont estimées à partir des données.

3.2.3 Distribution des coe       cients dans la pratique

Voyons dans un premier temps la pente, la transposition à la constante ne pose aucun problème. Avec les équations 3.7 et 3.8, nous pouvons écrire :

…

De fait, la distribution réellement exploitable pour l'inférence statistique est la loi de Student à degrés de liberté.

^…

Comment ?

N'oublions pas que la loi de Student est dé nie par un rapport entre une loi normale et la racine _{carrée d'un loi du} 2 normalisée par ses degrés de liberté. Ainsi,

…

Nous disposons maintenant de tous les éléments pour analyser les paramètres estimés de la régression.

3.3 Étude de la pente de la droite de régression

3.3.1 Test de signi cativité de la pente

Le test de signi cativité de la pente consiste à véri er l'in uence réelle de l'exogène  X sur l'endogène

Y . Les hypothèses à confronter s'écrivent :

^< H₀ : a = 0 ^: H₁ : a ≠ 0

…

Elle suit une loi de Student à (n  2) degrés de liberté. La région critique (de rejet de H0) au risque s'écrit :

…

Test de signi cativité de la pente pour les "Rendements agricoles"

Testons la signi cativité de la pente pour la régression sur les "Rendements agricoles". Nous construi-sons la feuille Excel pour les calculs intermédiaires (Figure 3.2) ⁵ :

…

Fig. 3.2. Calculs intermédiaires pour les tests relatifs à la pente - "Rendements agricoles"

A ce stade, nous obtenons l'estimation de la variance de l'erreur, soit

L'écart-type estimé de l'erreur correspond à la racine carrée, il est bien de le préciser car de nombreux logiciels (la fonction DROITEREG d'Excel par exemple) l'a chent plutôt que la variance.

P ^_" =       7:980 = 2:825

Pour obtenir l'estimation de l'écart-type de la pente, nous avons besoin de la somme des écarts à la moyenne au carré des X c.-à-d. _i(x_i x)² = (20 30:4)² + = 108:16 + = 492:4. Nous avons alors :

√ ^^{2 ^a^ =} _√^∑_i(xi^"     _x)2 7:980

= _p 492:4 = 0:01621

= 0:12730

Nous formons la statistique de test

…

Au risque   = 5%, le seuil critique pour la loi de Student à (n            2) degrés de liberté pour un test bilatéral 6 est t_1 2 = 2:30600. Puisque j5:60909j > 2:30600, nous concluons que la pente est signi cativement non nulle au risque 5%.

6. LOI.STUDENT.INVERSE(0.05 ;8) sous Excel. Attention, la fonction renvoie directement le quantile pour un test bilatéral !

Si nous étions passés par le calcul de la p-value, nous aurions obtenu 7               ^′ = 0:00050. Puisque  ^′ <  , nous rejetons de même l'hypothèse nulle.

3.3.2 Test de conformité à un standard

Nous pouvons aller plus loin que le simple test de signi cativité. En e et, la distribution de a^ (section 3.2.3, équation 3.16) est valable sur tout le domaine de dé nition de a et non pas seulement dans le voi-sinage (a = 0). Ainsi, nous pouvons dé nir tout type de test de conformité à un standard, où l'hypothèse nulle s'écrirait H₀ : a = c ; c étant une valeur de référence quelconque.

Exemple sur les "Rendements agricoles"

On souhaite mettre en oeuvre le test d'hypothèses suivant pour les "Rendements agricoles"

^< H₀ : a = 0:5

^: H₁ : a > 0:5

Il s'agit d'un test de conformité à un standard unilatéral. La région critique au risque    du test s'écrit

Voyons ce qu'il en est sur nos données,

A comparer avec t_0:95(8) = 1:85955 pour un test à 5% 8. Nous sommes dans la région d'acceptation c.-à-d. nous ne pouvons pas rejeter l'hypothèse nulle. La valeur du paramètre a n'est pas signi cativement supérieur à la référence 0:5 au risque 5%.

3.3.3 Intervalle de con ance

Toujours parce que la distribution de a^ est dé nie sur tout l'intervalle de dé nition de a, nous pouvons construire des intervalles de variation (ou intervalle de con ance) au niveau de con ance (1 ).

Table des matières

Partie I Régression Linéaire Simple

1 Modèle de régression linéaire simple ........... 3

1.1 Modèle et hypothèses ............. . . . 3

1.1.1 Régression linéaire simple ........... . . . 3

1.1.2 Hypothèses ............. . . . . . . . 5

1.2 Principe de l'ajustement des moindres carrés ......... . . 5

1.2.1 Estimateur des moindres carrés ordinaires (MCO) ....... 5

1.2.2 Calculs pour les données "Rendements agricoles" ....... . 7

1.2.3 Quelques remarques ............8

1.3 Décomposition de la variance et coe‑cient de détermination ..... . . . . . . 9

1.3.1 Décomposition de la variance - Équation d'analyse de variance ... . . . . . . . 9

1.3.2 Coe‑cient de détermination ........... . 11

1.3.3 Coe‑cient de corrélation linéaire multiple ....... . . . . . . . 12

1.3.4 L'exemple des rendements agricoles ......... . . . . 13

2 Propriétés des estimateurs ............. . 15

2.1 Biais ................. . 15

2.2 Variance - Convergence ............. . . 17

2.2.1 Variance de la pente ............17

2.2.2 Convergence de la pente ........... . . . . . 18

2.2.3 Variance et convergence de la constante ......... 19

2.2.4 Quelques remarques sur la précision des estimateurs ..... . . . . . . . 19

2.3 Théorème de Gauss-Markov ........... . . . . . . . 20

3 Inférence statistique ............. . . . . . . . 21

3.1 Évaluation globale de la régression ........... . . 21

3.1.1 Tableau d'analyse de Variance - Test de signicativité globale ....21

3.1.2 Exemple : les rendements agricoles ......... . . . . 23

3.2 Distribution des coe‑cients estimés ........... . 24

Page: 5 job: Econometrie_Regression macro: svmono.cls date/time: 11-Mar-2016/13:56

6 Table des matières

3.2.1 Distribution de aˆ et ˆb ........... . . . . . . . 24

3.2.2 Estimation de la variance de l'erreur ......... . . . 25

3.2.3 Distribution des coe‑cients dans la pratique ....... . . . . . 26

3.3 Étude de la pente de la droite de régression ......... . . . 27

3.3.1 Test de signicativité de la pente ......... . . . . . . 27

3.3.2 Test de conformité à un standard ......... . . . . . . 29

3.3.3 Intervalle de conance ........... . . . . . . 29

3.4 Intervalle de conance de la droite de régression ........30

3.5 La régression avec la fonction DROITEREG d'EXCEL ....... . . 32

3.6 Quelques équivalences concernant la régression simple ....... . . . 34

3.6.1 Équivalence avec le test de signicativité globale ....... . 34

3.6.2 Équivalence avec le test de signicativité de la corrélation ..... . . 34

4 Prédiction et intervalle de prédiction ..........37

4.1 Prédiction ponctuelle ............. . . . . 37

4.2 Prédiction par intervalle ............. . . 38

4.2.1 Variance de l'erreur de prédiction......... . . . . . . 38

4.2.2 Loi de distribution de l'erreur de prédiction ....... . . . . . . 39

4.2.3 Intervalle de prédiction ........... . . . . . . 39

4.2.4 Application numérique - Rendements agricoles ....... . . . 39

5 Étude de cas - Consommation des véhicules vs. Poids ....... . 43

6 Non linéarité - Modèles dérivés et interprétation des coe‑cients ....47

6.1 Interprétation de la droite de régression ......... . . . . . . 47

6.2 Modèles non-linéaires mais linéarisables ......... . . . . . . 47

6.2.1 Modèle log-linéaire - Schéma à élasticité constante ....... 48

6.2.2 Modèle exponentiel (géométrique) ......... . . . . . 48

6.2.3 Modèle logarithmique ........... . . . . . . . 49

6.2.4 Le modèle logistique ............50

6.3 Un exemple de modèle logistique : taux d'équipement en magnétoscope des ménages . . . . 51

7 Régression sans constante ............. . 55

7.1 Cas des données centrées ............. . 55

7.2 Cas des données quelconques ........... . . . . . . . 56

7.2.1 Problématique ............. . . . . 56

7.2.2 Formules ............... 57

7.3 Un exemple d'application : comparaison de salaires ....... . . . . . 58

Page: 6 job: Econometrie_Regression macro: svmono.cls date/time: 11-Mar-2016/13:56

Table des matières 7

8 Comparaison des régressions ............61

8.1 Comparaison des régressions dans leur globalité ........62

8.1.1 Principe du test ............. . . . 62

8.1.2 Un exemple numérique ........... . . . . . . 63

8.2 Détecter la n

341