系统模型

给定系统模型
\begin{align}
\boldsymbol{y}=g(\boldsymbol{x})
\end{align}
其中$\boldsymbol{x}\in \mathbb{R}^M$是目标信号，其随机性由先验概率$p(\boldsymbol{x})$刻画；$\boldsymbol{y}\in \mathbb{R}^N$是观测信号；函数$g(\cdot)$表示从$N$维空间到$M$维空间的映射，即$g(\cdot):\mathbb{R}^N\rightarrow \mathbb{R}^M$。在信号重构理论的研究对象中，映射$g(\cdot)$以及先验概率$p(\boldsymbol{x})$均给定，我们需要从观测信号$\boldsymbol{y}$中恢复出目标信号$\boldsymbol{x}$来。映射函数$g(\cdot)$可以是线性的，如线性高斯模型$g(\boldsymbol{x})=\boldsymbol{Hx}+\boldsymbol{w}$，也可以是非线性函数，如ADC量化模型$g(\boldsymbol{x})=Q(\boldsymbol{Hx}+\boldsymbol{w})$，其中$Q(\cdot)$表示均匀量化函数。

压缩感知综述.pdf

Mixtrue Gaussian

We consider mixtrue Gaussian distribution
\begin{align}
p(h)=\sum_{k=1}^K \rho_k \mathcal{N}_c(h|0,\sigma_k^2)
\end{align}
Followings are two conditions of mixture Gaussian distribution

Notations:

1. $\text{Diag}(\boldsymbol{a})$: a diagonal matrix with $\boldsymbol{a}$ being its diagonal element.
2. $\text{diag}(\mathbf{A})$: a vector from the diagonal element of $\mathbf{A}$.
3. $\boldsymbol{a}\odot \boldsymbol{b}$: componentwise multiply.
4. $\boldsymbol{a}\oslash \boldsymbol{b}$: componentwise divide.

Notations:

• KL-divergence: Given two distribution $p(x)$ and $q(x)$, the Kullback–Leibler divergence, also written as KL-divergence, is used to value the difference between $p(x)$ and $q(x)$ denoted as
  \begin{align}
  \mathcal{D}_{\text{KL} } (q(x)||p(x))=\int q(x)\log \frac{q(x)}{p(x)}\text{d}x
  \end{align}
  The KL-divergence is also named relative entropy in information theory.

Notations: We use $\mathbf{x}$ to denote vector. $\mathbf{X}$ is matrix. $(\cdot)^T$ represents transposition. $\mathcal{N}(\mathbf{x}|\mathbf{a},\mathbf{A})$ denotes a Gaussian distribution with mean $\mathbf{a}$, variance $\mathbf{A}$ and argument $\mathbf{x}$. $\mathbb{E}\left\{\cdot\right\}$ refers to expectation operation.

2018年总结

[1] 发表了一篇信号处理领域次顶级期刊论文，IEEE Signal Processing Letters，题目为“Concise Derivation of Approximate Message Passing Using Expectation Propagation”。
[2] 完成了北邮“申请-审核”制博士申请。
[3] 参加了一次半程马拉松，全场21.09km，成绩为1：59：47。
[4] 通过全国大学生六级考试，分数为468（425分即为合格）。
[5] 搭建了个人博客网站，用于分享一些笔记以及专业知识，目前已发表博文21篇。
[6] 初涉深度学习领域，打算做一些跨学科的研究。

Notations:

• Mutual information (MI)
  \begin{align}
  I(X;Y)
  &=\int p(x,y)\log \frac{p(x|y)}{p(x)}\text{d}x\text{d}y\\
  &=\int p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\text{d}x\text{d}y\\
  &=\int p(x,y)\log \frac{p(y|x)}{p(y)}\text{d}x\text{d}y\\
  &=I(Y;X)
  \end{align}

System Model

We consider following system
\begin{align}
\mathbf{y}=\mathbf{Hx}+\mathbf{w}
\end{align}
where $\mathbf{y}\in \mathbb{R}^M$ is observed signal or received signal, $\mathbf{H}\in \mathbb{R}^{M\times N}$ linear transform matix, and $\mathbf{x}\in \mathbb{R}^{N}$ is estimated signal. In addition, $\mathbf{w}\sim \mathcal{N}(\mathbf{w}|\mathbf{0},\sigma^2\mathbf{I})$ is additional Gaussian noise.

引言

前馈神经网络参数的更新，其难点在于计算误差函数的梯度。为此，我们的目标是寻找一种计算前馈神经网络的误差函数$E(\boldsymbol{w})$的梯度的一种高效方法。我们会看到，可以使用局部信息传递的思想完成这一点。在局部信息传递的思想中，信息在神经网络中交替地向前、向后传播。这种方法被称为误差反向传播（back propagation，BP）。