Indices de sensibilité, sélection de paramètres et erreur quadratique de prédiction : des liaisons dangereuses ?

Lamboni, Matieyendou  ; Makowski, David  ; Monod, Hervé 

Journal de la société française de statistique, Tome 152 (2011) no. 1, pp. 26-48

Résumé (VO)

Lorsqu’un modèle contient un grand nombre de paramètres, l’analyse de sensibilité globale est souvent utilisée pour sélectionner les paramètres à estimer parmi ceux identifiés comme les plus influents. Une telle procédure sélection est basée sur des données simulées et se distingue de la procédure de validation du modèle qui est basée sur des données réelles. Néanmoins, ces deux procédures sont liées dans leurs objectifs et il est intéressant d’évaluer les bénéfices de la sélection par analyse de sensibilité à l’aide des critères EQMP (Erreur Quadratique Moyenne de Prédiction) et EQM (Erreur Quadratique Moyenne). Dans cet article, nous formalisons d’abord la démarche consistant à sélectionner les paramètres à estimer par analyse de sensibilité et à fixer les autres paramètres à leur valeur nominale. Dans le cadre du modèle linéaire, nous explicitons ensuite, de façon exacte, les liens formels qui existent entre les indices de sensibilité des paramètres et la qualité de prédiction mesurée par les critères d’évaluation EQM et EQMP. Nous complétons ces résultats par des simulations pour étudier l’impact sur la qualité prédictive du modèle, d’une part du plan d’expériences (variables d’entrées du modèle), d’autre part du point où l’analyse de sensibilité est effectuée. Dans ces simulations, l’approche de sélection de paramètres par analyse de sensibilité est comparée à la méthode LASSO qui sert de référence pour sélectionner des modèles creux. Les résultats montrent qu’estimer les paramètres les plus influents contribue à la réduction de l’EQM et de l’EQMP mais que cette réduction n’est pas systématique. En effet, la relation entre l’EQMP et les indices de sensibilité est complexe et elle dépend fortement du plan d’expériences. Par exemple, seul un plan d’expériences orthogonal garantit une réduction systématique de l’EQMP. De plus, les résultats dépendent des points supports de l’analyse de sensibilité. La performance de la sélection des paramètres par l’analyse de sensibilité est équivalente à celle de LASSO en termes de l’EQMP si nous disposons a priori des connaissances pertinentes sur le degré d’incertitudes des différents paramètres pour conduire l’analyse de sensibilité. Les conséquences pratiques des résultats font l’objet d’une discussion en fin d’article.

Abstract

When a model contains a large number of parameters, sensitivity analysis is often used to select the parameters to be estimated among those identified as the most influent. This selection procedure is based on simulated data and is different from the model validation procedure that is based on real data. Nevertheless, these two processes are interrelated in their objectives and it is interesting to quantify the benefit of this practice in terms of MSEP (Mean Square Error of Prediction) and MSE (Mean Square Error) criteria. In this paper, we investigate the relationship between the model validation criteria and the sensitivity indices. We first formalize the process of selecting the parameters to be estimated by sensitivity analysis and of fixing other parameters at their nominal value. Under the linear model, we show an explicit relationship between the sensitivity indices of model parameters and the model quality criteria such as MSE and MSEP. We also study the impact on prediction quality of both the design of experiments (input variables of the model) and the point where sensitivity analysis is performed. In these simulations, we compare the procedure of parameters selection by sensitivity indices and the LASSO method well suited for sparse model. The results show that estimating the most influent parameters reduces the MSE and the MSEP all things being equal. However this reduction is not systematic. Indeed, the relationship between MSEP and sensitivity indices is complex and depends heavily on experimental design. For example, only an orthogonal experimental design ensures a systematic reduction of MSEP. Moreover, the results depend on the support points of sensitivity analysis. The performance of the parameters selection by sensitivity analysis is equivalent to that of LASSO in terms of MSEP if we have relevant prior knowledge on the degree of uncertainty in different parameters to perform the sensitivity analysis. The practical implications of the results are discussed at the end of the paper.

Détail

Mots-clés : analyse de sensibilité globale, EQM, EQMP, LASSO, plan d’expériences, sélection des paramètres
Keywords: global sensitivity analysis, MSE, MSEP, LASSO, design of experiments, parameter selection