Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Julian Tugaut
Télécom Saint-Etienne´ Julian Tugaut Statistiques
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Soit X une variable aléatoire réelle de loi paramétrique (discrète ou continue), dont on veut estimer le paramètre ?. Alors, on définit une fonction f telle que
f (x,?) := f?(x)
si X est une variable aléatoire continue de densité f?
Soit X une variable aléatoire réelle de loi paramétrique (discrète ou continue), dont on veut estimer le paramètre ?. Alors, on définit une fonction f telle que
f (x,?) := f?(x)
si X est une variable aléatoire continue de densité f? et
f (x,?) := P? (X = x)
si X est une variable aléatoire discrète.
Principe de la méthode - 2
La méthode qui consiste à estimer ? par la valeur qui maximise
L(x1,···,xn) (la vraisemblance) s’appelle“méthode du maximum de vraisemblance”.
On appelle ?ˆ l’estimateur associé :
.
Ceci est un problème d’optimisation. On utilise généralement le fait que si L(x1,···,xn) est dérivable et si L(x1,···,xn) admet un maximum global en une valeur, alors la dérivée première de L(x1,···,xn) s’y annule et sa dérivée seconde y est négative.
Ceci est un problème d’optimisation. On utilise généralement le fait que si L(x1,···,xn) est dérivable et si L(x1,···,xn) admet un maximum global en une valeur, alors la dérivée première de L(x1,···,xn) s’y annule et sa dérivée seconde y est négative.
Réciproquement, si la dérivée première de L(x1,···,xn) s’annule en ?0 := ??, et si sa dérivée seconde est négative strictement en ??, alors ?? est un point ou` L(x1,···,xn) admet un maximum local (et non global). Il est alors nécessaire de vérifier que le maximum est global.
La vraisemblance étant positive et le logarithme népérien, log, étant une fonction croissante, il est équivalent et souvent plus simple de maximiser le logarithme népérien de la vraisemblance (le produit se transforme en somme, ce qui est plus simple à dériver) et plus facile à calculer numériquement.
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Soit un modèle statistique indexé par un ensemble ?. Supposons donné un n-échantillon (X1,··· ,Xn) d’une loi intégrable sous P? pour chaque ? ? ?. On cherche un estimateur ?cn de ??.
Soit un modèle statistique indexé par un ensemble ?. Supposons donné un n-échantillon (X1,··· ,Xn) d’une loi intégrable sous P? Supposons que ? est une partie de R. On suppose égalementcn ? pour chaque ? ? ?. On cherche un estimateur ? de ? .
qu’on a un intervalle I de R tel que P? (X1 ? I) = 1 pour tout ? ? ?. L’idée de la méthode des moments est de prendre comme estimateur ?cn une valeur de ? telle que E?bn =: m?cn co¨?ncide avec la moyenne empirique observée.
Si ? est une partie de Rd, on calcule
E?(X) =: m1(?),··· ,E?(X d) =: md(?). L’estimateur par la méthode des moments est la solution du système d’équations
1 n
XXi = m1?cn
n
i=1
1 n
n X ik k c
i=1
1 n
XXid = md?cn .
n
i=1
Exemple
Exemple
Dans certains cas, l’estimation par la méthode des moments est moins bonne que l’estimation par maximum de vraisemblance. Néanmoins, dans le cas de la loi Gamma par exemple, le calcul de la fonction de vraisemblance peut poser des problèmes (l’utilisation de l’ordinateur et d’algorithmes numériques est indispensable) tandis que l’estimation des moments est très facilement accessible.
Dans certains cas, l’estimation par la méthode des moments est moins bonne que l’estimation par maximum de vraisemblance. Néanmoins, dans le cas de la loi Gamma par exemple, le calcul de la fonction de vraisemblance peut poser des problèmes (l’utilisation de l’ordinateur et d’algorithmes numériques est indispensable) tandis que l’estimation des moments est très facilement accessible.
Lorsque la taille de l’échantillon n’est pas suffisamment grande, la loi des grands nombres ne s’applique pas et par conséquent, les moments empiriques n’approchent pas suffisamment les moments théoriques.
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
En statistiques, étant donné un échantillon (xi)1?i?n, un modèle de régression simple suppose que les résultats observés yi sont liés aux xi. On représente dans un graphe l’ensemble des observations (xi,yi). On peut alors proposer un modèle linéaire, c’est-à-dire chercher la droite dont l’équation est y = ax + b et qui passe au plus près des points du graphe. Passer au plus près signifie ici rendre minimale la somme des carrés des écarts des points à la droite n
D(a,b) := X(yi ? axi ? b)2.
i=1
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
En statistiques, étant donné un échantillon (xi)1?i?n, un modèle de régression simple suppose que les résultats observés yi sont liés aux xi. On représente dans un graphe l’ensemble des observations (xi,yi). On peut alors proposer un modèle linéaire, c’est-à-dire chercher la droite dont l’équation est y = ax + b et qui passe au plus près des points du graphe. Passer au plus près signifie ici rendre minimale la somme des carrés des écarts des points à la droite
n
D(a,b) := X(yi ? axi ? b)2.
i=1
Cela revient donc à trouver les valeurs des paramètres a et b qui minimisent cette somme.
Julian Tugaut Statistiques
Voyons maintenant la formulation statistique du problème.
Supposons donnée des variables Yi associées aux points x1,··· ,xn. Les résultats observées sont liés aux xi comme suit
ou` a et b sont les paramètres inconnus, ?i sont des erreurs indépendantes, de même loi centrée et de variance ?2 (connue ou non).
Voyons maintenant la formulation statistique du problème.
Supposons donnée des variables Yi associées aux points x1,··· ,xn. Les résultats observées sont liés aux xi comme suit
ou` a et b sont les paramètres inconnus, ?i sont des erreurs indépendantes, de même loi centrée et de variance ?2 (connue ou non).
On dit alors que les Yi suivent un modèle linéaire.
Voyons maintenant la formulation statistique du problème.
Supposons donnée des variables Yi associées aux points x1,··· ,xn. Les résultats observées sont liés aux xi comme suit
ou` a et b sont les paramètres inconnus, ?i sont des erreurs indépendantes, de même loi centrée et de variance ?2 (connue ou non).
On dit alors que les Yi suivent un modèle linéaire.
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Les coefficients â et bˆ s’obtiennent facilement par dérivation (en dimension un) :
â = CovVar(X(X,Y) ) = PPnini=1=1y(ix(ix?i ?x)x2)
Julian Tugaut Statistiques
Estimation par la méthode du maximum de vraisemblance
Estimation par la méthode des moments
Estimation au sens des moindres carrés
Les coefficients â et bˆ s’obtiennent facilement par dérivation (en dimension un) :
â = CovVar(X(X,Y) ) = PPnini=1=1y(ix(ix?i ?x)x2)
et
bˆ ( PPnin=1 yi(ixi ? x) .
i=1(x ? x)2
Julian Tugaut Statistiques
