Représentations de groupes et théorie ergodique non-commutative

On sait tous qu'une matrice hermitienne est diagonalisable dans une base orthonormée. Ce résultat fondamental admet aussi un analogue en dimension infinie, le théorème spectral, également très utile. Voici une version pour les opérateurs sur un espace de Hilbert, telle que formalisée par von Neumann dans les années 1930.

Théorème spectral. Soit $H$ un espace de Hilbert complexe, et $T \in B(H)$ un opérateur linéaire continu (ou borné), auto-adjoint. Alors il existe un espace mesuré $(X,\mu)$ et un isomorphisme isométrique entre espaces de Hilbert $U: L^2(X,\mu) \to H$ qui conjugue $T$ en l'opérateur de multiplication $T_f$ par une fonction mesurable bornée $f : X \to \mathbb{R}$. Plus explicitement, $T_f : L^2(X,\mu) \to L^2(X,\mu)$ est donné par $T_f(g) = fg$, pour tout $g \in L^2(X,\mu)$, et $T = UT_fU^*$.

On remarque que si la mesure $\mu$ a un atome en un point $x \in X$, de masse $m = \mu(\{x\})$, alors $L^2(\{x\},m\delta_x)$ est un sous-espace de Hilbert de $L^2(X,\mu)$, qui s'identifie dans $H$ à un sous-espace propre pour l'opérateur $T$, de valeur propre $f(x)$. En ce sens, les valeurs de $f$ peuvent être pensées comme des valeurs propres "généralisées", ou "infinitésimales". Cet énoncé est également valable pour tous les opérateurs normaux (qui commutent avec leur adjoint), à condition d'autoriser une fonction $f$ à valeurs complexes.

Dans la situation du théorème, on obtient une application $\theta: L^\infty(X) \to B(H)$, qui à une fonction sur $X$ associe l'opérateur de multiplication par cette fonction, vu comme opérateur sur $H$ : $\theta(g) = UT_gU^*$, pour tout $g \in L^\infty(X)$. On voit que $\theta$ est linéaire, et envoie le produit de deux fonctions sur la composée des opérateurs correspondants : $\theta$ est un morphisme d'algèbres, et son image est une sous-algèbre de $B(H)$. En fait, cette image $\theta(L^\infty(X))$ contient toutes les données spectrales relatives à $T$ : les projecteurs spectraux sont dedans, de même que tous les opérateurs qu'on peut déduire de $T$ par calcul fonctionnel. En formalisant son théorème, von Neumann a imaginé qu'une telle vision globale pouvait être utilisée pour comprendre les interactions entre plusieurs opérateurs sur $H$. Précisons un peu cette idée.

Commençons par rappeler que $B(H)$ est le dual des opérateurs à trace, et $L^\infty(X)$ est le dual de $L^1(X)$. On vérifie alors que $\theta$ est continue pour les topologies préfaibles correspondantes. Par le théorème de Banach-Alaoglu, $\theta(L^\infty(X))$ est préfaiblement fermée dans $B(H)$. Par ailleurs cette algèbre est stable par l'adjoint, puisque $(T_g)^* = T_{\overline{g}}$, pour tout $g \in L^\infty(X)$.

Définition. Une sous-algèbre de $B(H)$ qui est stable par l'adjoint et préfaiblement fermée est appelée une algèbre de von Neumann.

Le commutant d'une partie auto-adjointe $S \subset B(H)$ est toujours une algèbre de von Neumann. Le théorème fondateur de von Neumann sur le sujet donne la réciproque : toute algèbre de von Neumann est un commutant. Mieux, une algèbre de von Neumann est le commutant de son commutant ; elle est égale à son bi-commutant. Ainsi on vérifie que le bi-commutant d'une partie autoadjointe $S$ se décrit comme la plus petite algèbre de von Neumann qui contient $S$. C'est l'algèbre de von Neumann engendrée par $S$, notée $S''$.

L'idée de von Neumann était d'utiliser ce formalisme pour comprendre les représentations unitaires des groupes.

Question. Étant donné un groupe $G$ et une représentation unitaire $\pi:G \to \mathcal{U}(H)$, que peut-on dire de $\pi$ à partir de l'algèbre de von Neumann $\pi(G)''$ ? Par exemple, que peut-on dire de la norme d'un opérateur de moyenne $(\pi(g_1) + \dots + \pi(g_n))/n$ associé à des éléments $g_1,\dots, g_n \in G$ ?

Le seul usage du théorème spectral énoncé plus haut permet parfois d'obtenir des résultats dans cette direction. Par exemple, on sait bien que deux opérateurs normaux qui commutent sont co-diagonalisables. Dans le même registre, on comprend bien les représentations d'un groupe affine tel que $G = \langle u,x \mid uxu^* = x^2\rangle$. En effet dans ce cas, on voit que $\pi(u)$ "permute les espaces propres infinitésimaux" de $\pi(x)$. Ce genre de phénomène est à la base de la preuve de la propriété (T) de Kazhdan pour les groupes de Lie simples de rang au moins $2$1 .

Comme nous allons le voir, l'approche globale qui consiste à considérer toute l'algèbre de von Neumann pour étudier $\pi$ apporte des informations complémentaires de la propriété (T). L'un des premiers avatars de cette approche se trouve dans la notion de contenance faible de représentations. Pour simplifier, on spécialise la discussion au cas des groupes discrets.

Définition. Considérons deux représentations unitaires d'un même groupe $\pi_1: G \to \mathcal{U}(H_1)$ et $\pi_2: G \to \mathcal{U}(H_2)$. On dit que $\pi_1$ est faiblement contenue dans $\pi_2$ si pour tous $\alpha_1,\dots,\alpha_n \in \mathbb{C}$ et $g_1,\dots,g_n \in G$, on a
\[\Vert \sum_{i = 1}^n \alpha_i \pi_1(g_i) \Vert \leq \Vert\sum_{i = 1}^n \alpha_i \pi_2(g_i)\Vert.\]

La contenance faible n'est pas directement reliée aux algèbres de von Neumann engendrées par $\pi_1(G)$ et $\pi_2(G)$, mais à leurs C*-algèbres $C^*(\pi_1)$, $C^*(\pi_2)$, où chaque $C^*(\pi_i)$ désigne l'adhérence normique de l'algèbre engendrée par $\pi_i(G)$. Dans ce contexte, $\pi_1$ est faiblement contenue dans $\pi_2$ si et seulement si l'application $\pi_2(g) \mapsto \pi_1(g)$ est bien définie et s'étend en un morphisme de C*-algèbres $C^*(\pi_2) \to C^*(\pi_1)$. Cette équivalence suit du fait qu'un morphisme entre deux C*-algèbres est toujours contractant.

Ainsi cette notion donne un intérêt concret à des questions abstraites de simplicité de certaines C*-algèbres : comparer des normes d'opérateurs et plus généralement des spectres. Le premier résultat dans cette direction est dû à Powers en 19752 : pour la représentation régulière $\lambda$ d'un groupe libre $G$ (obtenue par l'action de $G$ sur $\ell^2(G)$ par décalage à gauche), $C^*(\lambda)$ est simple. Autrement dit, $\lambda$ est un objet minimal par rapport à la contenance faible : toute représentation faiblement contenue dans $\lambda$ lui est faiblement équivalente. Attention, cela ne veut pas dire que si on considère $g_1,\dots,g_n \in G$ et $\alpha_1,\dots,\alpha_n \in \mathbb{C}$, alors la norme $\Vert\sum \alpha_i\lambda(g_i)\Vert$ est plus petite que la norme analogue dans toute représentation. Être un objet minimal ne signifie pas être un plus petit élément !

Le résultat de Powers a été généralisé à d'autres familles de groupes : des groupes hyperboliques, des groupes de Lie semi-simples et leurs réseaux3 4 . Cette propriété de simplicité de la représentation régulière interdit la présence d'un sous-groupe moyennable normal. Mais la réciproque est restée longtemps ouverte. Aujourd'hui tout cela est bien compris, grâce aux travaux de Kalantar-Kennedy, et Breuillard-Kalantar-Kennedy-Ozawa5 6 . L'idée qui émane de ces travaux est d'exploiter l'action de $G$ par conjugaison sur $C^*(\lambda)$. Cette idée est déjà présente en filigrane dans l'article de Powers, mais l'aspect dynamique et l'utilisation d'outils tels que le bord de Furstenberg se sont développés dans la dernière décennie.

Pour mieux comprendre cet aspect dynamique, il peut-être utile de rappeler quelques faits :

1. Toute algèbre de von Neumann commutative est isomorphe à un $L^\infty(X,\mu)$ ; c'est une autre version du théorème spectral.
2. De même toute C*-algèbre commutative (avec unité) est isomorphe à une algèbre de fonctions continues $C(X)$ sur un certain espace compact $X$. Une mesure de probabilité $\mu$ sur $X$ donne une représentation de $C(X)$ comme opérateurs de multiplication sur $L^2(X,\mu)$. L'algèbre de von Neumann engendrée est alors $L^\infty(X,\mu)$.

En fait les applications $X \mapsto C(X)$ et $(X,\mu) \mapsto L^\infty(X,\mu)$ sont fonctorielles dans les bonnes catégories (un morphisme entre deux algèbres de von Neumann est supposé préfaiblement continu). Ainsi on voit que toute action continue sur un compact $G \curvearrowright X$ donne une action de groupe $G \curvearrowright C(X)$ sur la C*-algèbre correspondante. Et de manière analogue, une action $G \curvearrowright (X,\mu)$ qui préserve la mesure, ou seulement la classe de la mesure, donne lieu à une action $G \curvearrowright L^\infty(X,\mu)$ sur l'algèbre de von Neumann associée.

En général, l'analogue d'une mesure $\mu$ sur $X$ est ce qu'on appelle un état ; un état sur une C*-algèbre $A$ est une forme linéaire $\phi: A \to \mathbb{C}$ telle que $\phi(1_A) = 1$, et $\phi(x^*x) \geq 0$ pour tout $x \in A$. L'espace des états sur $A$ est un convexe compact pour la topologie préfaible. Toute action $G \curvearrowright A$ induit une action continue sur cet espace d'états.

Pour revenir aux résultats de contenance faible évoqués plus haut et leur aspect dynamique, un point important est de comprendre l'action $G \curvearrowright C^*(\lambda)$ par conjugaison, et les états invariants qui peuvent exister. Pour tout groupe discret, on sait que $C^*(\lambda)$ admet au moins un état invariant, appelé la trace canonique. La question est de savoir si c'est le seul. On est donc ramené à des questions d'unique ergodicité.

Dans cet article7 , on pousse cette idée plus loin pour analyser des représentations $\pi$ pour lesquelles $C^*(\pi)$ n'a pas à priori d'état $G$-invariant. L'idée est alors d'étudier les états stationnaires. Cette idée très naturelle avait déjà été considérée par Hartman-Kalantar8 .

Défninition. Soit $G$ un groupe agissant sur une C*-algèbre $A$ et $m$ une mesure de probabilité sur $G$. Un état $\phi$ sur $A$ est dit $m$-stationnaire si $\phi = \int_G g \cdot \phi \, dm(g)$.

De manière analogue à ce qu'on a vu dans le point (2) ci-dessus, un état $\phi$ sur une C*-algèbre $A$ donne lieu à une représentation (appelée la représentation GNS, pour Gelfand-Naimark-Segal) de $A$ sur un espace de Hilbert et on peut alors étudier l'algèbre de von Neumann $M$ engendrée par $A$ dans cette représentation. L'état $\phi$ s'étend alors en un état sur $M$, préfaiblement continu. Dans l'image commutative, si $A$ correspond à un espace $X$ et $\phi$ correspond à une mesure $\mu$, $M$ correspond à l'espace mesuré $(X,\mu)$. Ainsi quand on veut étudier $\phi$ du point de vue mesuré, il convient d'étudier $(M,\phi)$ plutôt que $(A,\phi)$. C'est ce qu'on fait dans cet article9 , dans le cadre des réseaux dans les groupes de Lie simples.

L'idée est d'utiliser les outils développés par Margulis dans le cadre non-commutatif. Et tous les résultats qui suivent généralisent d'une manière ou d'une autre son théorème du sous-groupe normal10 . Cela va se faire en généralisant un théorème de Nevo-Zimmer.

Théorème.
Soit $G$ un groupe de Lie simple connexe de centre trivial et de rang au moins $2$. Soit $m$ une mesure admissible sur $G$. Considérons une action $G \curvearrowright M$ sur une algèbre de von Neumann avec un état $\phi$ préfaiblement continu, fidèle et $m$-stationnaire. Supposons que l'action est ergodique, au sens où l'algèbre $M^G$ des éléments $G$-invariants est triviale.

Alors soit $\phi$ est $G$-invariant, soit il existe un sous-groupe parabolique $Q \subsetneq G$ et un plongement $G$-équivariant $L^\infty(G/Q) \to M$.

Ici, admissible signifie "mesure de probabilité absolument continue par rapport à la mesure de Haar, dont le support est compact et engendre $G$". Ignorons la condition technique de fidélité de $\phi$, à laquelle on peut toujours se ramener (quitte à "couper" $M$ par une projection). Le résultat dit que si l'état n'est pas invariant c'est parce que quelque part on retrouve cette dynamique $G \curvearrowright G/Q$ qu'on comprend bien, et qu'on sait ne pas admettre de mesure invariante.

Dans le cas où $M$ est commutative, ce résultat est dû à Nevo et Zimmer11 . La généralisation au cas non-commutatif requiert de nouvelles idées car la stratégie de Nevo-Zimmer utilise un outil propre au cas commutatif, "l'application de Gauss". Nous devons combiner certaines de leurs idées avec des outils d'algèbres de von Neumann pour nous ramener à un cadre commutatif où on peut utiliser cette application de Gauss. Ce qui est déjà remarquable dans ce résultat c'est d'être capable de trouver dans $M$, une sous-algèbre commutative non-triviale et invariante par l'action.

Une nouvelle observation concernant l'induction de mesures stationnaires nous a permis de montrer un résultat analogue pour les actions de réseaux dans $G$.

Corollaire.
Prenons $G$ comme dans le théorème précédent, et prenons un réseau $\Gamma$ dans $G$. Il existe sur $\Gamma$ une mesure $m_0$ satisfaisant la conclusion suivante. Soit $\Gamma \curvearrowright M$ une action ergodique sur une algèbre de von Neumann, avec un état $\phi$ préfaiblement continu, fidèle et $m_0$-stationnaire.

Alors, soit $\phi$ est $\Gamma$-invariant, soit il existe un sous-groupe parabolique $Q \subsetneq G$ et un plongement $\Gamma$-équivariant $L^\infty(G/Q) \to M$.

La mesure $m_0$ est très spéciale. Elle est telle que $(\Gamma,m_0)$ et $(G,m)$ aient le même bord de Poisson. L'existence d'une telle mesure est due à Furstenberg12 .

On applique alors ce résultat à des actions par conjugaison. Si $\pi: \Gamma \to \mathcal{U}(H)$ est une représentation unitaire, on considère l'action sur $B(H)$ par conjugaison par $\pi(g)$, $g \in \Gamma$.
Alors que $B(H)$ est une algèbre de von Neumann, elle n'admet pas toujours d'état $m_0$-stationnaire préfaiblement continu. En revanche, par le Lemme de Markov-Kakutani, si on omet l'hypothèse de continuité préfaible (c'est à dire qu'on voit seulement $B(H)$ comme une C*-algèbre), elle admet toujours un état stationnaire. On considère alors la représentation GNS associée et on étudie l'algèbre de von Neumann engendrée par $B(H)$ dans cette représentation. On peut appliquer le corollaire à cette algèbre, toujours munie de l'action par conjugaison. Combiné à des outils de C*-algèbres, le corollaire implique alors le résultat suivant.

Théorème : contenance faible.
Soit $\Gamma$ un réseau comme dans le corollaire, et $\pi: \Gamma \to \mathcal{U}(H)$ une représentation unitaire. Alors soit $H$ contient un sous-espace de dimension finie non-trivial $\Gamma$-invariant, soit $\pi$ contient faiblement la représentation régulière.

Ainsi dans ce cas, la représentation régulière est un plus petit élément parmi toutes les représentations qui n'ont pas de sous-espace invariant de dimension finie (dites faiblement mélangeantes); pas seulement un élément minimal. Donc la norme d'une combinaison linéaire $\sum_{i = 1}^n \alpha_i\lambda(g_i)$ est plus petite que la norme analogue dans toute représentation faiblement mélangeante. Par exemple, si $g_1,\dots,g_n$ désigne un ensemble fini qui engendre $\Gamma$, la propriété (T) dit que pour toute représentation $\pi$ faiblement mélangeante, la norme $\Vert \pi(g_1) + \dots + \pi(g_n) \Vert/n$ est majorée par une constante indépendante de $\pi$, strictement plus petite que $1$. Le théorème ci-dessus dit qu'à l'inverse, cette norme ne peut pas être plus petite que ce qu'on obtient dans la représentation régulière.

En fait une légère variation de la preuve de ce théorème redémontre aussi le théorème de classification des caractères de Peterson. Rappelons qu'un caractère sur le groupe $\Gamma$ est une fonction $f: \Gamma \to \mathbb{C}$ qui est

• de type positif : $\sum_{i = 1}^n \alpha_i \overline{\alpha_j} f(g_j^{-1}g_i) \geq 0$, pour tous $\alpha_1,\dots,\alpha_n \in \mathbb{C}$, $g_1,\dots,g_n \in \Gamma$ ;
• normalisée : $f(e) = 1$ ;
• invariante par conjugaison : $f(ghg^{-1}) = f(h)$, pour tous $g,h \in \Gamma$.

L'ensemble des caractères forme un convexe compact pour la topologie de la convergence ponctuelle.

Les caractères jouent un rôle clef dans l'étude des représentations des groupes compacts. Dans ce cadre un exemple typique de caractère est de la forme $Tr \circ \pi$ où $\pi: \Gamma \to M_n(\mathbb{C})$ est une représentation unitaire de dimension finie et $Tr$ est la trace normalisée sur $M_n(\mathbb{C})$. De tels caractères sont appelés presque périodiques.

Noter que $\Gamma$, comme tout groupe discret admet un caractère qui n'est pas presque périodique : le caractère $\delta_e$. Mais en général, la construction GNS fait apparaitre tout caractère comme la composition d'une représentation unitaire $\pi: G \to \mathcal{U}(H)$ avec un état $G$-invariant sur $C^*(\pi)$ (appelé aussi trace). C'est ce qui permet d'utiliser les outils de "théorie ergodique non-commutative" que nous venons de présenter.

Le théorème qui suit est dû à Peterson13 . Sa preuve repose aussi sur une adaptation non-commutative des travaux de Margulis, mais elle est moins transparente que la notre. Précisons que le cas $\Gamma = PSL_n(\mathbb{Z})$ avait été démontré par Bekka avec d'autres méthodes14 .

Théorème : Classification des caractères.
Soit $\phi$ un caractère extrémal sur le réseau $\Gamma$. Alors soit $\phi$ est presque périodique, soit $\phi = \delta_e$.

En particulier $\Gamma$ admet un nombre dénombrable de caractères extrémaux et tout caractère est une combinaison convexe (dénombrable) de caractères presque périodiques et de la fonction de Dirac $\delta_e$.

• 1B. Bekka, P. de la Harpe, A. Valette, Kazhdan’s property (T). New Mathematical Monographs, 11. Cambridge University Press, Cambridge, 2008.
• 2R. Powers, Simplicity of the C*-algebra associated with the free group on two generators. Duke Math. J. 42 (1975), 151–156.
• 3P. de La Harpe, G. Skandalis, Powers’ property and simple C*-algebras. Math.Ann. 273 (1986), 241–250.
• 4B. Bekka, M. Cowling, P. de la Harpe, Some groups whose reduced C*-algebra is simple. Publ. Math. IHES 80 (1994), 117–134.
• 5M. Kalantar, M. Kennedy, Boundaries of reduced C*-algebras of discrete groups. J. Reine Angew. Math. discrete groups. Publ. Math. Inst. Hautes Etudes Sci. 126 (2017), 35–71.
• 6E. Breuillard, M. Kalantar, M. Kennedy, N. Ozawa, C*-simplicity and the unique trace property for discrete groups. Publ. Math. Inst. Hautes. Etudes Sci. 126 (2017), 35-71.
• 7R. Boutonnet, C. Houdayer, Stationary characters on lattices of semisimple Lie groups. Publ. math. IHES (2021). https://doi.org/10.1007/s10240-021-00122-8.
• 8Y. Hartman, M. Kalantar, Stationary C*-dynamical systems. arXiv:1712.10133
• 9R. Boutonnet, C. Houdayer, Stationary characters on lattices of semisimple Lie groups. Publ. math. IHES (2021). https://doi.org/10.1007/s10240-021-00122-8.
• 10G.A. Margulis, Discrete subgroups of semisimple Lie groups. Ergebnisse der Mathematik und ihrer Grenzgebiete (3) [Results in Mathematics and Related Areas (3)], 17. Springer-Verlag, Berlin, 1991. x+388 pp, Theorem IV.4.10.
• 11A. Nevo, R.J. Zimmer, A structure theorem for actions of semisimple Lie groups. Ann. of Math. 156 (2002), 565–594, Theorem 1.
• 12H. Furstenberg, Poisson boundaries and envelopes of discrete groups. Bull. Amer. Math. Soc. 73 (1967), 350–356.
• 13J. Peterson, Character rigidity for lattices in higher-rank groups. Preprint 2014.
• 14B. Bekka, Operator-algebraic superridigity for SLn(Z), n ≥ 3. Invent. Math. 169 (2007), 401–425.