On the spectral theory of groups of affine transformations of compact nilmanifolds

[Sur la théorie spectrale des groupes de transformations affines des nilvariétés compactes]

Bekka, Bachir ; Guivarc'h, Yves

Annales scientifiques de l'École Normale Supérieure, Série 4, Tome 48 (2015) no. 3, pp. 607-645

Abstract (VO)

Let N be a connected and simply connected nilpotent Lie group, Λ a lattice in N, and Λ∖N the corresponding nilmanifold. We characterize the countable subgroups of the group Aff (Λ∖N) of affine transformations of Λ∖N whose action on L2(Λ∖N) has a spectral gap: these are the groups H for which there exists no proper H-invariant subtorus S of the maximal torus factor T of Λ∖N such that the projection of H on Aut (T/S) is a virtually abelian group.

The result is first established when Λ∖N is a torus. The problem for a general nilmanifold is reduced to the torus case, using Kirillov's theory of unitary representations of nilpotent Lie groups and decay properties of the metaplectic representation of the symplectic group. Our methods show that the action of H⊂ Aff (Λ∖N) on Λ∖N is ergodic (or the action of H⊂ Aut (Λ∖N) on Λ∖N is strongly mixing) if and only if the corresponding action of H on T has the same property.

Résumé

Soit N un groupe de Lie nilpotent, connexe et simplement connexe; soient Λ un réseau dans N et Λ∖N la nilvariété correspondante. Nous donnons une caractérisation des sous-groupes dénombrables du groupe Aff (Λ∖N) des transformations affines de Λ∖N dont l'action sur L2(Λ∖N) possède un trou spectral : ce sont les groupes H pour lesquels le tore quotient maximal T de Λ∖N ne possède aucun sous-tore propre et H-invariant S tel que la projection de H sur Aut (T/S) soit un groupe virtuellement abélien.

Les outils principaux de la preuve sont la théorie de Kirillov des représentations unitaires des groupes de Lie nilpotents et l'étude du comportement asymptotique des coefficients matriciels de la représentation métaplectique du groupe symplectique qui permettent de ramener le cas général à celui des tores dont l'étude est préalablement menée. Nos méthodes montrent que l'action de H⊂ Aff (Λ∖N) sur Λ∖N est ergodique (ou celle de H⊂ Aut (Λ∖N) sur Λ∖N est fortement mélangeante) si et seulement si l'action induite de H sur T possède la même propriété.

Détail

Publié le : 2015-09-05
DOI : 10.24033/asens.2253

Classification : 37A05, 22F30, 60B15, 60G50
Keywords: Nilmanifolds, groups of affine transformations, spectral gap, strong ergodicity, random walks on homogeneous spaces, metaplectic representation.
Mots-clés : Nilvariétés, groupes de transformations affines, trou spectral, ergodicité forte, marches aléatoires sur les espaces homogènes, représentation métaplectique.