New $M$-estimators in semi-parametric regression with errors in variables

Butucea, Cristina  ; Taupin, Marie-Luce 

Annales de l'I.H.P. Probabilités et statistiques, Tome 44 (2008) no. 3, pp. 393-421

Abstract (VO)

In the regression model with errors in variables, we observe $n$ i.i.d. copies of $(Y,Z)$ satisfying $Y=f_{{\theta }^0}\left(X\right)+\xi$ and $Z=X+\epsilon$ involving independent and unobserved random variables $X,\xi ,\epsilon$ plus a regression function $f_{{\theta }^0}$, known up to a finite dimensional ${\theta }^0$. The common densities of the $X_i$’s and of the ${\xi }_i$’s are unknown, whereas the distribution of $\epsilon$ is completely known. We aim at estimating the parameter ${\theta }^0$ by using the observations $(Y_1,Z_1),...,(Y_n,Z_n)$. We propose an estimation procedure based on the least square criterion ${\tilde{S}}_{{\theta }^0,g}\left(\theta \right)={𝔼}_{{\theta }^0,g}[\left({(Y-f_{\theta }\left(X\right))}^{2}w\left(X\right)\right]$ where $w$ is a weight function to be chosen. We propose an estimator and derive an upper bound for its risk that depends on the smoothness of the errors density $p_{\epsilon }$ and on the smoothness properties of $w\left(x\right)f_{\theta }\left(x\right)$. Furthermore, we give sufficient conditions that ensure that the parametric rate of convergence is achieved. We provide practical recipes for the choice of $w$ in the case of nonlinear regression functions which are smooth on pieces allowing to gain in the order of the rate of convergence, up to the parametric rate in some cases. We also consider extensions of the estimation procedure, in particular, when a choice of $w_{\theta }$ depending on $\theta$ would be more appropriate.

Résumé

Dans le modèle de régression avec erreurs sur les variables, nous observons $n$ v.a. i.i.d. de même loi que $(Y,Z)$ satisfaisant aux relations $Y=f_{{\theta }^0}\left(X\right)+\xi$ et $Z=X+\epsilon$, où les v.a. $X,\xi ,\epsilon$ sont indépendantes, pas observées, et la fonction de régression $f_{{\theta }^0}$ est connue à un paramètre de dimension finie ${\theta }^0$ près. Les densités de $X$ et de $\xi$ sont inconnues tandis que la loi de $\epsilon$ est entièrement connue. Nous estimons le paramètre ${\theta }^0$ à partir des observations $(Y_1,Z_1),...,(Y_n,Z_n)$. Nous proposons une procédure d’estimation basée sur le critère des moindres carrés ${\tilde{S}}_{{\theta }^0,g}\left(\theta \right)={𝔼}_{{\theta }^0,g}[\left({(Y-f_{\theta }\left(X\right))}^{2}w\left(X\right)\right]$, où $w$ est une fonction de poids à choisir. Nous définissons l’estimateur et calculons la borne supérieure du risque de cet estimateur, qui dépend de la régularité de la densité des erreurs $p_{\epsilon }$ et de la régularité en $x$ de $w\left(x\right)f_{\theta }\left(x\right)$. De plus, nous établissons des conditions suffisantes pour que les estimateurs atteignent la vitesse paramétrique. Nous décrivons des méthodes pratiques pour le choix de $x$ dans le cas des fonctions de régression non-linéaires qui sont régulières par morceaux permettant de gagner des ordres de vitesse allant jusqu’à la vitesse paramétrique dans certains cas. Nous considérons également des extensions de cette procédure d’estimation, en particulier au cas où un choix de $w_{\theta }$ dépendant de $\theta$ serait plus approprié.

Détail

DOI : 10.1214/07-AIHP107

Classification : 62J02, 62F12, 62G05, 62G20
Keywords: asymptotic normality, consistency, deconvolution kernel estimator, errors-in-variables model, M-estimators, ordinary smooth and super-smooth functions, rates of convergence, semi-parametric nonlinear regression