Model evaluation in nonlinear mixed effect models, with applications to pharmacokinetics

[Evaluation des modèles non-linéaires à effets mixtes, avec une application en pharmacocinétique]

Comets, Emmanuelle  ; Brendel, Karl ; Mentré, France 

Journal de la société française de statistique, Tome 151 (2010) no. 1, pp. 106-127

Abstract (VO)

Model evaluation is an important part of model building, and has been the subject of regulatory guidelines in drug development. In the present paper, we illustrate the use of some recently proposed metrics on several simulated datasets. These metrics include Visual Predictive Checks (VPC), prediction discrepancies ($\mathrm{pd}$) and normalised prediction distribution errors ($\mathrm{npde}$). We illustrate them using simulated datasets. Prediction bands around selected percentiles can be obtained through repeated simulations under the model being tested, and their addition to VPC plots or plots of $\mathrm{pd}$ and $\mathrm{npde}$ versus time and predictions are useful to highlight model deficiencies. Tests for some of the metrics are also available and can be used as a complement to graphs.

Résumé

L’évaluation est une partie importante de la construction de modèles, faisant l’objet de recommendations de la part des autorités régulant la mise sur le marché de nouveaux médicaments. Dans ce papier, nous effectuons une courte revue de métriques récemment proposées, en particulier les VPC (Visual Predictive Check), les discordances de prédictions ($\mathrm{pd}$) et les erreurs de prédiction sur la distribution ($\mathrm{npde}$). Nous illustrons ces métriques sur quelques exemples simulés. Nous montrons comment il est possible de construire des bandes de prédiction autour de la courbe des médianes (ou d’autres percentiles) des données simulées. Ces bandes de prédiction sont un outil visuel particulièrement efficace pour détecter des zones où le modèle peut être amélioré. La distribution de certaines métriques est connue et permet de proposer des tests pour compléter les graphes diagnostiques.

Détail

Keywords: Nonlinear mixed effect models, model evaluation, VPC, npde
Mots-clés : Modèles non-linéaires à effets mixtes, évaluation de modèles, VPC, npde