在Gan生成对抗神经网络中会用到Jensen不等式，因此做下记录。

Jensen不等式告诉我们：如果f是在区间[a,b]上的凸函数（就是导数一直增长的函数，或者说是导数的导数大于0的函数），x是随机变量，那么有：
$$
E(f(x))≥f(E(x))
$$
也就是说函数f ff的期望大于等于期望的函数。

下面来看看怎么证明，我们假设
$$
x_{1}, x_{2}, \ldots \ldots x_{n}
$$
都是区间[a,b]内的数，且
$$
x_{1} \leq x_{2} \leq, \ldots \ldots x_{n}
$$
，则上式可以写成下面这个形式：
$$
a_{1} f\left(x_{1}\right)+a_{2} f\left(x_{2}\right)+\ldots \ldots+a_{n} f\left(x_{n}\right) \geq f\left(a_{1} x_{1}+a_{2} x_{2}+\ldots \ldots+a_{n} x_{n}\right)
$$
其中
$$
\sum_{i=1}^{n} a_{i}=1 \text { 且 } a_{i}>0
$$
当n = 1时，式子显然成立。

当n = 2时，可以构造一个式子如下：
$$
F(x)=a_{1} f\left(x_{1}\right)+\left(1-a_{1}\right) f(x)-f\left(a_{1} x_{1}+\left(1-a_{1}\right) x\right)
$$
显然
$$
F(x_{1})=a_{1} f\left(x_{1}\right)+\left(1-a_{1}\right) f(x_{1})-f\left(a_{1} x_{1}+\left(1-a_{1}\right) x_{1}\right)=0
$$

$$
F^{\prime}(x)=\left(1-a_{1}\right) f^{\prime}(x)-f^{\prime}\left[a_{1} x_{1}+\left(1-a_{1}\right) x\right]\left(1-a_{1}\right)
$$

$$
=\left(1-a_{1}\right)\left(f^{\prime}(x)-f^{\prime}\left(a_{1}\left(x_{1}-x\right)+x\right)\right.
$$

由于是凸函数，当x>x1的时候，a 1 ( x 1 − x ) + x ， 故F ′ ( x ) > 0

等式成立。

假设n = k 的时候等式成立，即
$$
a_{1} f\left(x_{1}\right)+a_{2} f\left(x_{2}\right)+\ldots \ldots+a_{k} f\left(x_{k}\right) \geq f\left(a_{1} x_{1}+a_{2} x_{2}+\ldots \ldots+a_{k} x_{k}\right) \sum_{i=1}^{n} a_{i}=1 且 a_{i}>0
$$

那么当n = k + 1 时，有
$$
\begin{array}{c}
a_{1} f\left(x_{1}\right)+a_{2} f\left(x_{2}\right)+\ldots \ldots+a_{k} f\left(x_{k}\right)+a_{k+1} f\left(x_{k+1}\right) \
=\left(1-a_{k+1}\right) \frac{1}{\left(1-a_{k+1}\right)}\left[a_{1} f\left(x_{1}\right)+a_{2} f\left(x_{2}\right)+\ldots \ldots+a_{k} f\left(x_{k}\right)\right]+a_{k+1} f\left(x_{k+1}\right)
\end{array}
$$
这里有
$$
\frac{1}{\left(1-a_{k+1}\right)} \sum_{i=1}^{n} a_{i}=1
$$
故上式
$$
\geq\left(1-a_{k+1}\right) f\left(\frac{a_{1} x_{1}+\ldots a_{k} x_{k}}{1-a_{k+1}}\right)+a_{k+1} f\left(x_{k+1}\right)
$$
刚刚好满足n = 2时的情况，有
$$
\geq f\left(a_{1} x_{1}+a_{2} x_{2}+\ldots \ldots+a_{k} x_{k}+a_{k+1} x_{k+1}\right)
$$
等式成立！而且从证明的过程我们也可以看出，等于号只有在
$$
x_{1}, x_{2}, \ldots \ldots x_{n}
$$
都相等的情况下才能取得。