Motivação
$$\min {\lVert A_{m \times n}x - b\rVert}^2$$
Se $\operatorname{posto}(A) = n \leq m$, então a solução única é:
$$x^* = {(A^T A)}^{-1} A^T b$$
Queremos entender:
${(A^T A)}^{-1} A^T$ a pseudo-inversa de $A$...
Inversa Generalizada
A inversa generalizada $G_{n \times m}$ de $A_{m \times n}$ é tal
que
$$AGA = A$$
E se $A$ for quadrada, qual a relação de $A^{-1}$ com $G$?
Exemplo
$A = [1 \quad 2]$
$G = \begin{bmatrix}x\\y\end{bmatrix}$ tal que:
$$A = AGA = [1 \quad 2] \begin{bmatrix}x\\y\end{bmatrix} [1 \quad
2] = (x + 2y) \cdot [1 \quad 2]$$
Exemplo
$A = [1 \quad 2]$
$G = \begin{bmatrix}x\\y\end{bmatrix}$ tal que:
$$[1 \quad 2] = (x + 2y) \cdot [1 \quad 2]$$
Exemplo
$A = [1 \quad 2]$
$G = \begin{bmatrix}x\\y\end{bmatrix}$ tal que:
$$[1 \quad 2] = [x + 2y \quad 2x + 4y]$$
Exemplo
$A$ pode ter várias inversas generalizadas...
$$G = \begin{bmatrix}1\\0\end{bmatrix} \text{ ou }
\begin{bmatrix}3\\-1\end{bmatrix}$$
Como calcular?
Se $A = \begin{bmatrix}A_{11} & A_{12}\\A_{21} &
A_{22}\end{bmatrix}$ tem posto $r$ e $A_{11} \in \mathbb{R}^{r
\times r}$ tem inversa, então
$$G = \begin{bmatrix}A^{-1}_{11} & 0\\0 & 0\end{bmatrix}$$
É inversa generalizada de $A$.
Exemplo
Com os blocos separados por cores...
$$A = \begin{bmatrix}\textcolor{cyan}{1} & \textcolor{cyan}{2} &
\textcolor{yellow}{3}\\\textcolor{cyan}{4} & \textcolor{cyan}{5} &
\textcolor{yellow}{6}\\\textcolor{magenta}{7} &
\textcolor{magenta}{8} & 9\end{bmatrix}$$
Exemplo
$$A_{11} = \begin{bmatrix}\textcolor{cyan}{1} &
\textcolor{cyan}{2}\\\textcolor{cyan}{4} &
\textcolor{cyan}{5}\end{bmatrix}$$
$$A^{-1}_{11} = \begin{bmatrix}\textcolor{cyan}{-5/3} &
\textcolor{cyan}{2/3}\\\textcolor{cyan}{4/3} &
\textcolor{cyan}{-1/3}\end{bmatrix}$$
Exemplo
$$A^{-1}_{11} = \begin{bmatrix}\textcolor{cyan}{-5/3} &
\textcolor{cyan}{2/3}\\\textcolor{cyan}{4/3} &
\textcolor{cyan}{-1/3}\end{bmatrix}$$
$$G = \begin{bmatrix}\textcolor{cyan}{-5/3} &
\textcolor{cyan}{2/3} & 0\\\textcolor{cyan}{4/3} &
\textcolor{cyan}{-1/3} & 0\\0 & 0 & 0\end{bmatrix}$$
Exemplo
Conferindo:
$$\begin{bmatrix}\textcolor{cyan}{1} & \textcolor{cyan}{2} &
\textcolor{yellow}{3}\\\textcolor{cyan}{4} & \textcolor{cyan}{5} &
\textcolor{yellow}{6}\\\textcolor{magenta}{7} &
\textcolor{magenta}{8} &
9\end{bmatrix}\begin{bmatrix}\textcolor{cyan}{-5/3} &
\textcolor{cyan}{2/3} & 0\\\textcolor{cyan}{4/3} &
\textcolor{cyan}{-1/3} & 0\\0 & 0 &
0\end{bmatrix}\begin{bmatrix}\textcolor{cyan}{1} &
\textcolor{cyan}{2} & \textcolor{yellow}{3}\\\textcolor{cyan}{4} &
\textcolor{cyan}{5} &
\textcolor{yellow}{6}\\\textcolor{magenta}{7} &
\textcolor{magenta}{8} & 9\end{bmatrix}$$
$$\begin{bmatrix}\textcolor{cyan}{1} & \textcolor{cyan}{2} &
\textcolor{yellow}{3}\\\textcolor{cyan}{4} & \textcolor{cyan}{5} &
\textcolor{yellow}{6}\\\textcolor{magenta}{7} &
\textcolor{magenta}{8} & 9\end{bmatrix}$$
Matriz de Projeção
$P$ é matriz de projeção se $P = P^2$
O determinante é sempre igual à $0$ ou $1$
$\operatorname{det}(P) = \operatorname{det}(P^2) =
\operatorname{det}{{(P)}^2}$
Matriz de Projeção
$Px \in \operatorname{Col}(P)$
Além disso se $v \in \operatorname{Col}(P)$ então $Pv = v$
$AG$ é Matriz de Projeção
Seja $A_{m \times n}$ e $G_{n \times m}$ tal que $AGA = A$, então
$AG$ é uma matriz de projeção
$GA$ também é matriz de projeção
Propriedades
$AG$ tem mesmo espaço coluna de $A$
$GA$ tem mesmo espaço linha de $A$