高斯混合模型（GMM）
这里主要介绍一下高斯混合模型。这里主要是有限高斯混合模型。
来源1：Douglas Reynolds，MIT Lincoln Laboratory，Gaussian Mixture Models
1、定义
高斯混合模型是一个参数概率密度函数，它是一组高斯密度函数的加权求和。在生物统计领域，高斯混合模型通常是连续测度或者特征的概率分布的参数模型。高斯混合模型可以使用迭代的EM算法或者最大后验概率法估计参数。
2、介绍
高斯混合模型是M个高斯密度的加权求和：
p(x|\lambda)=\sum_{i=1}^{M}w_{i}g(x|\mu_{i},\sum_{i})
其中，$$x$$是$$D$$维连续值数据向量（也就是上面的测度或者是数据），$$w_{i},i=1,..,M$$是混合权重，同时$$g(x|\mu_{i},\sum_{i}),i=1,..,M$$是相应的高斯密度。每一个密度函数是$$D$$元高斯函数的形式：
g(x|\mu_{i},\sum_{i})=\frac{1}{(2\pi)^{D/2}\sum_{i}^{1/2}}\exp[-\frac{1}{2}(x-\mu_{i})'\sum^{-1}_{i}(x-\mu_{i})]
其中，均值向量是$$\mu_{i}$$，协方差矩阵是$$\sum_{i}$$。混合权重需要满足$$\sum_{i=1}^{M}w_{i}=1$$。 完全的高斯混合模型的参数是均值向量，协方差矩阵和所有密度部分的混合权重。这些参数表示如下（公式3）：
\lambda=[w_{i},\mu_{i},\sum_{i}],i=1,...,M
公式3有几个变量。协方差矩阵可以限制为对角矩阵。此外，参数可以在Gaussian成分中被共享因而使所有部分拥有相同的协方差矩阵。模型配置的选择（组件数量，对角协方差矩阵，参数）通常可以根据有效的数据数量确定。 需要知道的是，高斯组成部分是一起为特征密度建模，因此即使特征不是完全统计独立的，完全协方差矩阵（full covariance matrices）并不是必须的。对角协方差的线性组合就可以为特征向量元素建模。使用M个完全协方差矩阵可以被更多的对角协方差代替。 高斯混合模型在生物统计系统中运用广泛，最常见的是会话者识别。高斯混合模型的一个非常好的特性是可以为任意形状的密度函数做近似光滑。传统单峰高斯模型通过一个位置参数（均值向量）、一个椭圆形状参数（协方差矩阵）来为特征分布建模，或者使用一个离散的特征化模板集合，使用矢量量化器（VQ）或者最近邻模型来表示特征分布。而高斯混合模型作为二者的混合，使用了一个离散的高斯函数集合，具有更好的建模能力。图1比较了单峰高斯模型、混合高斯模型和VQ模型的建模情况，图a是一个会话者识别系统的一个特征的直方图。
#### 4、极大后验参数估计
