参考1:https://blog.csdn.net/bumingqiu/article/details/73397812
参考2:https://blog.csdn.net/bitcarmanlee/article/details/82156281
其中,为第种类别,共有种;为样本数目;
设,且服从参数为的Dirichlet分布(先验分布),则有概率质量函数(即离散变量的概率密度函数)如下:
;
(2)式可改写成:
设为各类别的观测数,有:
则根据观测数据对先验分布改进如下:
其中,,又是与无关的量,故(5)式可写为:
设服从多项分布,则有:
(7)式可改写成:
将(3)式和(8)式带入(6)式,可得:
因此得出结论,的后验概率服从参数为的Dirichlet分布:
故的期望有(Dirichlet分布期望公式):
即有:
故原式得证。
其中,表示第个样本的第维特征值,表示第维特征可取值个数,表示特征维数,表示类别数,为样本数;
参考第一个公式的证明,设:
,且服从参数为的Dirichlet分布(先验分布),则有概率质量函数(即离散变量的概率密度函数)如下:
(2)是可改写为:
设为第维度种特征值的观测数,有:
根据观测数据对(3)式进行改进如下:
其中,,又是与无关的量,故(5)式可写为:
设服从多项分布,则有:
(7)式可改写为:
将(3)式和(8)式带入(6)式,则有:
因此得出结论,的后验概率服从参数为的Dirichlet分布:
故的期望有(Dirichlet分布期望公式):
即有:
于是,原式得证。