Voir la notice de l'article provenant de la source Numdam
We study the performance of empirical risk minimization (ERM), with respect to the quadratic risk, in the context of convex aggregation, in which one wants to construct a procedure whose risk is as close as possible to the best function in the convex hull of an arbitrary finite class . We show that ERM performed in the convex hull of is an optimal aggregation procedure for the convex aggregation problem. We also show that if this procedure is used for the problem of model selection aggregation, in which one wants to mimic the performance of the best function in itself, then its rate is the same as the one achieved for the convex aggregation problem, and thus is far from optimal. These results are obtained in deviation and are sharp up to logarithmic factors.
Nous étudions les performances de la procédure de minimisation du risque empirique, par rapport au risque quadratique, pour le problème d’agrégation convexe. Dans ce problème, on souhaite construire des procédures dont le risque est aussi proche que possible du risque du meilleur élément dans l’enveloppe convexe d’une classe finie de fonctions. Nous prouvons que la procédure obtenue par minimisation du risque empirique sur la coque convexe de est une procédure optimale pour le problème d’aggrégation convexe. Nous prouvons aussi que si cette procédure est utilisée pour le problème d’agrégation en sélection de modèle, pour lequel on souhaite imiter le meilleur dans , alors le résidu d’agrégation est le même que celui obtenue pour le problème d’agrégation convexe. Cette procédure est donc loin d’être optimale pour le problème d’agrégation en sélection de modèle. Ces résultats sont obtenus en déviation et sont optimaux à des facteurs logarithmiques prés.
@article{AIHPB_2013__49_1_288_0,
author = {Lecu\'e, Guillaume and Mendelson, Shahar},
title = {On the optimality of the empirical risk minimization procedure for the convex aggregation problem},
journal = {Annales de l'I.H.P. Probabilit\'es et statistiques},
pages = {288--306},
publisher = {Gauthier-Villars},
volume = {49},
number = {1},
year = {2013},
doi = {10.1214/11-AIHP458},
mrnumber = {3060158},
zbl = {1259.62038},
language = {en},
url = {http://geodesic.mathdoc.fr/articles/10.1214/11-AIHP458/}
}
TY - JOUR AU - Lecué, Guillaume AU - Mendelson, Shahar TI - On the optimality of the empirical risk minimization procedure for the convex aggregation problem JO - Annales de l'I.H.P. Probabilités et statistiques PY - 2013 SP - 288 EP - 306 VL - 49 IS - 1 PB - Gauthier-Villars UR - http://geodesic.mathdoc.fr/articles/10.1214/11-AIHP458/ DO - 10.1214/11-AIHP458 LA - en ID - AIHPB_2013__49_1_288_0 ER -
%0 Journal Article %A Lecué, Guillaume %A Mendelson, Shahar %T On the optimality of the empirical risk minimization procedure for the convex aggregation problem %J Annales de l'I.H.P. Probabilités et statistiques %D 2013 %P 288-306 %V 49 %N 1 %I Gauthier-Villars %U http://geodesic.mathdoc.fr/articles/10.1214/11-AIHP458/ %R 10.1214/11-AIHP458 %G en %F AIHPB_2013__49_1_288_0
Lecué, Guillaume; Mendelson, Shahar. On the optimality of the empirical risk minimization procedure for the convex aggregation problem. Annales de l'I.H.P. Probabilités et statistiques, Tome 49 (2013) no. 1, pp. 288-306. doi: 10.1214/11-AIHP458
Cité par Sources :