$\newcommand{\C}{\mathbb C}\newcommand{\F}{\mathbb F}\newcommand{\tr}{{\rm tr}\,}$ Nesta página, grupos são finitos e representações são de dimensão finita.
Lema. Seja $X$ uma matrix complexa com ordem finita. Então $X$ é diagonalizável e os autovalores de $X$ são raízes da unidade.
Demonstração. Seja $X$ de ordem $n$. Então $X$ satisfaz o polinômio $t^n-1$ e o polinômio minimal $m_X(t)$ de $X$ é um divisor de $t^n-1$. Como $t^n-1$ tem $n$ raízes distintas em $\C$, $m_X(t)$ também tem raízes distintas. Isto significa que $X$ é diagonalizável.
Seja $Y$ uma matriz invertível tal que $X^Y$ é diagonal com $(\lambda_1,\ldots,\lambda_r)$ no diagonal. Como $X^n=I$, $(X^Y)^n=I$, e $\lambda_j^n=1$ para todo $j$; ou seja $\lambda_j$ é uma raiz da unidade.
Lembre que o traço $\tr A$ de uma matriz quadrada $A$ é a soma das suas entradas diagonais. Se $A$ e $B$ são matrizes $n\times n$, então $\tr AB=\tr BA$. Portanto, se $B$ for invertível, então
\[
\tr A^B=\tr (B^{-1}A)B=\tr B(B^{-1}A)=\tr A.
\]
Ou seja, matrizes que pertencem a mesma classe de conjugação, têm o mesmo traço.
Seja $V$ um $\C$-espaço vetorial e seja $\varrho:G\rightarrow GL(V)$ uma representação de $G$. Seja $B$ uma base de $V$, e denota por $(g\varrho)_B$ a matriz da transformação $g\varrho$ na base $B$. O caracter da representação $\varrho$ é o mapa
\[
\chi=\chi_\varrho: G\rightarrow \C,\quad g\mapsto \tr (g\varrho)_B.
\]
Se $B’$ é uma outra base de $V$, então $(g\varrho)_B$ e $(g\varrho)_{B’}$ são conjugados, e pelas observações no parágrafo anterior, elas têm o mesmo traço. Em particular, $\chi$ independe da escolha da base $B$. Além disso, $g\chi$ é a soma dos autovalores de $g$.
Lema. Seja $\varrho:G\rightarrow GL(V)$ uma representação de $G$ e seja $\chi$ o caracter correspondente. Então
- $1\chi=\dim V$;
- $g^{-1}\chi=\overline {g\chi}$ (conjugado complexo);
- $\chi$ é constante nas classes de conjugacão de $G$.
Demonstração. 1. $1\chi=\tr (1\varrho)=\tr I=\dim V$.
2. Seja $Y$ uma matriz tal que $(g\varrho)^Y$ é diagonal com $(\lambda_1,\ldots,\lambda_n)$ no diagonal. Então
\[
(g^{-1}\varrho)^Y=((g\varrho)^{-1})^Y=((g\varrho)^Y)^{-1};
\]
ou seja, $g^{-1}\varrho$ é diagonalizável por $Y$ e as entradas diagonais são $(\lambda_1^{-1},\ldots,\lambda_n^{-1})$. Como $\lambda_i$ é uma raiz da unidade, $\lambda_i^{-1}=\overline\lambda_i$. Portanto
\[
g^{-1}\chi=\lambda_1^{-1}+\cdots+\lambda_n^{-1}=\overline \lambda_1+\cdots+\overline\lambda_n=\overline{\lambda_1+\cdots+\lambda_n}=\overline{g\chi}.
\]
3. Seja $g,h\in G$. Então $(g^h)\chi$ é o traço de $(g^h)\varrho=(h\varrho)^{-1}(g\varrho)(h\varrho)$ cujo traço é igual ao traço de $g\varrho$. Portanto $(g^h)\chi=g\chi$.
Lema. Seja $\F$ um corpo e sejam $\varrho:G\rightarrow GL(n,\F)$ e $\sigma :G\to GL(m,\F)$ representações irredutíveis de um grupo $G$. Sejam $i,j\in\{1,\ldots,n\}$ e $r,s\in\{1,\ldots,m\}$. Então
- Se $\varrho$ e $\sigma$ não são equivalentes, então
\[
\sum_{g\in G} (g\varrho)_{ij}(g^{-1}\sigma)_{rs}=0.
\] - Se a caraterística de $\F$ não divide $|G|$ e $\F$ é algebricamente fechado, então
\[
\sum_{g\in G} (x\varrho)_{ij}(x^{-1}\varrho)_{rs}=\frac{|G|}{n}\delta_{is}\delta_{jr}.
\]
Demonstração. 1. Sejam $V=\F^n$ and $W=\F^m$ os $G$-módulos que correspondem às representações $\varrho$ e $\sigma$, respetivamente. Se $\alpha\in\mbox{Hom}_\F(V,W)$, defina
\[
\overline\alpha\in\mbox{Hom}_G(V,W),\quad \overline\alpha=\sum_{g\in G} (g\varrho)\alpha(g\sigma)^{-1}.
\]
Se $h\in G$, então
\begin{align*}
\overline \alpha (h\sigma)=&\sum_{g\in G} (g\varrho)\alpha(g\sigma)^{-1}(h\sigma)=\sum_{g\in G} (g\varrho)\alpha((g^{-1}h)\sigma)\\&=
\sum_{y\in G} ((hy)\varrho)\alpha(y^{-1}\sigma)=(h\varrho)\sum_{y\in G} (y\varrho)\alpha(y\sigma)^{-1}=(h\varrho)\overline \alpha.
\end{align*}
Portanto $\overline\alpha\in \mbox{Hom}_G(V,W)$.
Seja $\alpha:V\rightarrow W$ a aplicação que manda $(e_j\in V)\mapsto (e_r\in W)$ e $e_i\mapsto 0$ se $i\neq j$. Então $\alpha$ é representada pela matriz cuja entrada na posição $(k,l)$ é $\delta_{jk}\delta_{rl}$. Então
\[
(\overline\alpha)_{is}=\sum_{g\in G}\sum_k\sum_l(g\varrho)_{ik}\delta_{jk}\delta_{rl}(g^{-1}\sigma)_{ls}=\sum_{g\in G}(g\varrho)_{ij}(g^{-1}\sigma)_{rs}.
\]
Ora, se $\varrho$ e $\sigma$ não são equivalentes, então, pelo Lema de Schur, $\overline\alpha=0$, que implica afirmação 1.
2. Assuma que $V=W$, $\varrho=\sigma$, e sejam $\alpha$, $\overline\alpha$ as mesmas transformações que no parágrafo anterior. Logo, $\overline\alpha\in\mbox{End}_G(V)$. Pelo Lema de Schur, $\overline\alpha=\lambda_{jr} I$ onde $\lambda_{jr}\in\F$. A última equação destacada implica que
\[
\lambda_{jr}\delta_{is}=(\overline\alpha)_{is}=\sum_{x\in G}(x\varrho)_{ij}(x^{-1}\varrho)_{rs}=
\sum_{y\in G}(y\varrho)_{rs}(y^{-1}\varrho)_{ij}=\lambda_{si}\delta_{rj}.
\]
Isso implica que $\sum_{x\in G}(x\varrho)_{ij}(x^{-1}\varrho)_{rs}=0$ se $i\neq s$ ou $j\neq r$. Além disso, a última equação implica que
\[
\lambda_{jj}=\lambda_{jj}\delta_{ii}=\lambda_{ii}\delta_{jj}=\lambda_{ii}.
\]
Portanto, o escalar $\lambda=\lambda_{ii}$ é independente de $i$. Então
\begin{align*}
n\lambda=&\sum_{j=1}^n\left(\sum_{x}(x\varrho)_{ij}(x^{-1}\varrho)_{ji}\right)=
\sum_{x}\left(\sum_{j=1}^n(x\varrho)_{ij}(x^{-1}\varrho)_{ji}\right)\\&=\sum_x (xx^{-1}\varrho)_{ii}=|G|.
\end{align*}
Como $|G|$ não divide a caraterística de $\F$, obtemos que $\lambda = |G|/n$.
Teorema (Relações de ortogonalidade). Seja $G$ um grupo finito e $\chi$, $\psi$ dois $\C$-caracteres irredutíveis que correspondem a representações não equivalentes. Temos as seguintes igualdades:
\begin{align*}
\sum_{x\in G}(x\chi)(x^{-1}\psi)&=0\\
\sum_{x\in G}(x\chi)(x^{-1}\chi)&=|G|.
\end{align*}
Em particular, $\chi\neq\psi$.
Demonstração. Sejam $\varrho$ e $\sigma$ as representações correspondentes a $\chi$ e $\psi$. Pelo lema anterior
\[
\sum_{x\in G}(x\chi)(x^{-1}\psi)=\sum_{i}\sum_j\sum_{x\in G}(x\varrho)_{ii}(x^{-1}\sigma)_{jj}=0.
\]
Além disso,
\[
\sum_{x\in G}(x\chi)(x^{-1}\chi)=\sum_{i}\sum_j\sum_{x\in G}(x\varrho)_{ii}(x^{-1}\varrho)_{jj}=\sum_i\sum_j\frac{|G|}n\delta_{ij}=|G|.
\]
Seja $X$ um conjunto finito e considere os espaço vetorial
\[
\mbox{Func}(X,\C)=\{f\rightarrow \C\}
\]
de funções de $X$ em $\C$. Temos que $\dim \mbox{Func}(X,\C)=|X|$. Além disso, defina o produto interno em $\mbox{Func}(X,\C)$ com a equação
\[
\left<f,g\right>=\frac 1{|X|}\sum_{x\in X} f(x)\overline{g(x)}.
\]
Seja agora $G$ um grupo, defina $\mbox{Func}(G,\C)$ como em cima, e seja $W$ o subespaço de $\mbox{Func}(G,\C)$ formado por funções que são constantes nas classes de conjugação de $G$:
\[
W=\{f\in \mbox{Func}(G,\C)\mid f(x)=f(g^{-1}xg)\mbox{ para todo }g,x\in G\}.
\]
Note que a dimensão de $W$ é igual ao número das classes de conjugação de $G$. Se $\chi$ é um caracter de $G$, então $\chi\in W$. O teorema anterior pode ser enunciado no seguinte forma:
Corolário. Os caracteres irredutíveis $\chi_i$ de um grupo finito $G$ formam uma base ortonormal de $W$. Em particular, o número de classes de equivalência de representações irredutíveis de um grupo finito é finito e este número é menor ou igual ao número das classes de conjugação de $G$.