矩阵求逆引理及其证明

矩阵求逆引理,或者称Sherman-Woodbury-Morrison公式
\begin{align}
(\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1}
\end{align}
其中$\boldsymbol{A}\in\mathbb{R}^{n\times n}$是非奇异矩阵,$\boldsymbol{B}\in \mathbb{R}^{n\times p}$, $C\in \mathbb{R}^{p\times n}$。

证明:
考虑线性等式
\begin{align}
(\boldsymbol{A}+\boldsymbol{BC})\boldsymbol{x}=\boldsymbol{b}
\end{align}
其中$\boldsymbol{A}\in\mathbb{R}^{n\times n}$是非奇异矩阵,$\boldsymbol{B}\in \mathbb{R}^{n\times p}$, $C\in \mathbb{R}^{p\times n}$。定义$\boldsymbol{y}=\boldsymbol{Cx}$,则有
\begin{align}
\left\{ {\begin{matrix}
{\boldsymbol{Ax}+\boldsymbol{By}=\boldsymbol{b} } \\
{\boldsymbol{y}=\boldsymbol{Cx} }
\end{matrix} } \right.
\end{align}
该方程组可以写成块矩阵的形式
\begin{align}
\left[ {\begin{matrix}
{\boldsymbol{A} } & {\boldsymbol{B} }\\
{\boldsymbol{C} } & {-\mathbf{I} }
\end{matrix} } \right]
\left[ {\begin{matrix}
{ \boldsymbol{x} } \\
{ \boldsymbol{y} }
\end{matrix} } \right]{\rm{ = } }\left[ {\begin{matrix}
{\boldsymbol{b} }\\
{\boldsymbol{0} }
\end{matrix} } \right]
\end{align}
根据方程组(1)式,有$\boldsymbol{x}=\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{By})$,代入方程组(2)式中有
\begin{align}
\boldsymbol{y}=\boldsymbol{C}\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{By})
\end{align}
合并同类项,有
\begin{align}
\boldsymbol{y}=(\mathbf{I}+\boldsymbol{CA}^{-1}\boldsymbol{B})^{-1}\boldsymbol{A}^{-1}\boldsymbol{b}
\end{align}
代入$\boldsymbol{x}=\boldsymbol{A}^{-1}(\boldsymbol{b}-\boldsymbol{B}\boldsymbol{y})$中,得到
\begin{align}
\boldsymbol{x}=(\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1})\boldsymbol{b}
\end{align}
因此,结合$(\boldsymbol{A}+\boldsymbol{BC})\boldsymbol{x}=\boldsymbol{b}$,得到
\begin{align}
(\boldsymbol{A}+\boldsymbol{BC})^{-1}=\boldsymbol{A}^{-1}-\boldsymbol{A}^{-1}\boldsymbol{B}(\mathbf{I}+\boldsymbol{C}\boldsymbol{A}^{-1}\boldsymbol{B})^{-1}\boldsymbol{CA}^{-1}
\end{align}
特别地,$\boldsymbol{B},\boldsymbol{C}$为矢量时,有
\begin{align}
(\boldsymbol{A}+\boldsymbol{uv}^{T})^{-1}=\boldsymbol{A}^{-1}-\frac{\boldsymbol{A}^{-1}\boldsymbol{uv}^T\boldsymbol{A}^{-1} }{1+\boldsymbol{v}^T\boldsymbol{A}^{-1}\boldsymbol{u} }
\end{align}

说明:该证明过程是翻译body的书 《Convex Optimization》 p-678的内容。

Remake:单纯的应用矩阵求逆引理并不能降低计算量,当一个矩阵$\boldsymbol{D}$可以分解成$\boldsymbol{A}+\boldsymbol{BC}$,并且已知$\boldsymbol{A}^{-1}$已知,利用矩阵求逆引理,可以得到$\boldsymbol{D}$的逆。