On the estimation of the latent discriminative subspace in the Fisher-EM algorithm

[Sur l’estimation du sous-espace latent discriminant de l’algorithme Fisher-EM]

Bouveyron, Charles  ; Brunet, Camille 

Journal de la société française de statistique, Tome 152 (2011) no. 3, pp. 98-115

Abstract (VO)

The Fisher-EM algorithm has been recently proposed in [ 2 ] for the simultaneous visualization and clustering of high-dimensional data. It is based on a discriminative latent mixture model which fits the data into a latent discriminative subspace with an intrinsic dimension lower than the dimension of the original space. The Fisher-EM algorithm includes an F-step which estimates the projection matrix whose columns span the discriminative latent space. This matrix is estimated via an optimization problem which is solved using a Gram-Schmidt procedure in the original algorithm. Unfortunately, this procedure suffers in some case from numerical instabilities which may result in a deterioration of the visualization quality or the clustering accuracy. Two alternatives for estimating the latent subspace are proposed to overcome this limitation. The optimization problem of the F-step is first recasted as a regression-type problem and then reformulated such that the solution can be approximated with a SVD. Experiments on simulated and real datasets show the improvement of the proposed alternatives for both the visualization and the clustering of data.

Résumé

L’algorithme Fisher-EM a été récemment proposé dans [ 2 ] pour simultanément visualiser et classer automatiquement des données de grande dimension. Il se base sur un modèle de mélange latent et discriminant qui modélise les données dans un sous-espace de dimension intrinsèque plus petite que celle de l’espace des observations. L’algorithme Fisher-EM est composé d’une étape F qui estime la matrice de projection dont les colonnes engendrent le sous-espace latent. Cette matrice est estimée via un problème d’optimisation, lequel est résolu, dans l’algorithme original, par une procédure de type Gram-Schmidt. Malheureusement, cette procédure souffre dans certains cas d’instabilités numériques qui peuvent engendrer une détérioration de la qualité de la visualisation ou de la classification automatique des données. Pour pallier cette limitation, nous proposons deux alternatives d’estimation du sous-espace latent. Le problème d’optimisation de l’étape F est réécrit tout d’abord comme un problème de régression puis reformulé de telle manière que la solution peut être approchée par une SVD. Des expériences sur des données simulées et réelles montrent l’intérêt des alternatives proposées pour la visualisation et la classification automatique des données.

Détail

Keywords: clustering, Fisher-EM algorithm, regression problem, Fisher’s criterion, discriminative latent subspace, dimension reduction, high-dimensional data
Mots-clés : classification automatique, algorithme Fisher-EM, problème de régression, critère de Fisher, sous-espace latent discriminant, réduction de dimension, données de grande dimension