高斯相乘引理

高斯PDF

• 标量实高斯分布
  \begin{align}
  \mathcal{N}(x|a,A)=\frac{1}{\sqrt{2\pi A} }\exp \left[{-\frac{(x-a)^2}{2A} }\right]
  \end{align}
• 标量复高斯分布
  \begin{align}
  \mathcal{N}_c(x|a,A)=\frac{1}{\pi A}\exp \left[-\frac{||x-a||^2}{A}\right]
  \end{align}
• 矢量实高斯分布
  \begin{align}
  \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})=(2\pi)^{-\frac{N}{2} }\det(\boldsymbol{A})^{-\frac{1}{2} }\exp \left({-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{a})^T\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})}\right)
  \end{align}
  其中$N$表示$\boldsymbol{x}$的维度。
• 矢量复高斯分布
  \begin{align}
  \mathcal{N}_c(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})=\frac{1}{\det(\pi \boldsymbol{A})}\exp \left[{-(\boldsymbol{x}-\boldsymbol{a})^H\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})}\right]
  \end{align}

标量实高斯相乘引理

给定高斯概率分布$\mathcal{N}(x|a,A)$和$\mathcal{N}(x|b,B)$，存在
\begin{equation}
\mathcal{N}(x|a,A)\mathcal{N}(x|b,B)=\mathcal{N}(0|a-b,A+B)\mathcal{N} \left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right)
\end{equation}
其中$\mathcal{N}(x|a,A)$表示以均值为$a$，方差为$A$，自变量为$x$的高斯概率密度函数。
证：

• 指数部分
  \begin{eqnarray}
  \mathcal{N}(x|a,A)\mathcal{N}(x|b,B)&\propto& \exp\left[{-\frac{(x-a)^2}{2A}-\frac{(x-b)^2}{2B} }\right]\\
  &\propto&\exp{\left[{-x^2\left({\frac{1}{2A}+\frac{1}{2B} }\right)+x\left({\frac{a}{A}+\frac{b}{B} }\right)}\right]}\\
  &\propto&\exp{\left[{-(\frac{1}{2A}+\frac{1}{2B})\left({x-\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} }}\right)^2}\right]}\\
  &\propto&\mathcal{N} \left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right)
  \end{eqnarray}
  其中$\propto$表示正比于。
• 系数部分（显然）
  \begin{align}
  \frac{1}{\sqrt{2\pi A} }\frac{1}{\sqrt{2\pi B} }=\frac{1}{\sqrt{2\pi (A+B)} }\frac{1}{\sqrt{2\pi \frac{AB}{A+B} }}
  \end{align}
  因此
  \begin{equation}
  \mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }}\right)
  \end{equation}
  从高斯相乘引理，我们可以得到以下两个结论
  1. 两个高斯PDF相乘正比于一个新的高斯PDF。
  2. 两个Gaussian PDF相乘，其实是在降方差，$\left({\frac{1}{A}+\frac{1}{B} }\right)^{-1} \leq \min (A,B)$
  

矢量实高斯相乘引理

给定矢量实高斯分布$\mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})$，$\mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})$
\begin{align}
\mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})=\mathcal{N}(\boldsymbol{0}|\boldsymbol{a}-\boldsymbol{b},\boldsymbol{A}+\boldsymbol{B})\mathcal{N}(\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C})
\end{align}
其中
\begin{align}
\boldsymbol{C}&=\left({\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1} }\right)^{-1}\\
\boldsymbol{c}&=\boldsymbol{C}\cdot \left(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}\right)
\end{align}
证：

• 指数部分
  \begin{align}
  \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})
  &\propto \exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{a})^T\boldsymbol{A}^{-1}(\boldsymbol{x}-\boldsymbol{a})-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{B}^{-1}(\boldsymbol{x}-\boldsymbol{b})}\right]\\
  &\propto \exp \left[{-\frac{1}{2}\boldsymbol{x}^T(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{x}-2\boldsymbol{x}^T(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b})}\right]\\
  &\propto \mathcal{N}\left({\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C} }\right)
  \end{align}
• 系数部分
  \begin{align}
  &|\boldsymbol{A}| |\boldsymbol{B}|=|\boldsymbol{A}+\boldsymbol{B}| |(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}|\\
  \Rightarrow \ &|\boldsymbol{AB}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})|=|\boldsymbol{A}+\boldsymbol{B}|\\
  \Rightarrow \ & |\boldsymbol{A}+\boldsymbol{B}|=|\boldsymbol{A}+\boldsymbol{B}|
  \end{align}

复高斯相乘引理

• 标量复高斯相乘引理
  \begin{align}
  \mathcal{N}_c(x|a,A)\cdot\mathcal{N}_c(x|b,B)=\mathcal{N}_c(0|a-b,A+B)\mathcal{N}_c\left({x\left|\frac{\frac{a}{A}+\frac{b}{B} }{\frac{1}{A}+\frac{1}{B} },\frac{1}{\frac{1}{A}+\frac{1}{B} }\right.}\right)
  \end{align}
  证明过程可以参考标量实高斯相乘引理。
• 矢量复高斯相乘引理
  \begin{align}
  \mathcal{N}_c(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\cdot\mathcal{N}_c(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})=\mathcal{N}_c(0|a-b,A+B)\cdot\mathcal{N}_c(\boldsymbol{x}|\boldsymbol{c},\boldsymbol{C})
  \end{align}
  其中
  \begin{align}
  \boldsymbol{C}&=\left({\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1} }\right)^{-1}\\
  \boldsymbol{c}&=\boldsymbol{C}\cdot \left(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}\right)
  \end{align}
  证明过程可以参考矢量实高斯相乘引理。