EM例子

三硬币模型

假设有3枚硬币，分别记作A，B，C，这里硬币正面出现概率为a,b,c。进行扔硬币实验：先抛硬币A，正面选择B，反面选择C，继续扔硬币，独立反复实验10次，正面记1，反面记0。假设只能观测结果，问如何估计硬币正面向上的概率，即三硬币模型参数。

EM算法用于含有隐变量的概率模型参数的极大似然估计或极大后验估计。E步求期望，M步求极大。

高斯混合模型

我们不能用单个高斯模型去拟合，需要使用高斯混合模型GMM，其中GMM表达式为：

那么我们怎么求GMM的参数呢？在求单个高斯模型参数时候，我们可以用极大似然估计求导得出参数值，但这里我们不能，所以引出EM算法，用EM迭代的求出$\theta$(所有参数集合)直到收敛。

由不等式的基本形式衍生到积分形式，那么当$\phi(x)=-log(x)$呢？

EM有效性前提是保证EM有收敛性。根据数学中的定理：单调有界，则收敛。

后面不等式推导用到了琴生不等式。

上面推导出单调性，结合 $p(Y\mid\theta)$ 有界性，推出收敛性。