基于贝叶斯估计的概率公式推导

it2022-05-05  134

统计学习方法第四章贝叶斯估计题

参考1:https://blog.csdn.net/bumingqiu/article/details/73397812

参考2:https://blog.csdn.net/bitcarmanlee/article/details/82156281


 

一、第一个公式:

其中,为第种类别,共有种;为样本数目;

证:

设,且服从参数为的Dirichlet分布(先验分布),则有概率质量函数(即离散变量的概率密度函数)如下:

;

(2)式可改写成:

设为各类别的观测数,有:

则根据观测数据对先验分布改进如下:

其中,,又是与无关的量,故(5)式可写为:

设服从多项分布,则有:

(7)式可改写成:

将(3)式和(8)式带入(6)式,可得:

因此得出结论,的后验概率服从参数为的Dirichlet分布:

故的期望有(Dirichlet分布期望公式):

即有:

故原式得证。


二、第二个公式

其中,表示第个样本的第维特征值,表示第维特征可取值个数,表示特征维数,表示类别数,为样本数;

证明:

参考第一个公式的证明,设:

,且服从参数为的Dirichlet分布(先验分布),则有概率质量函数(即离散变量的概率密度函数)如下:

 

(2)是可改写为:

设为第维度种特征值的观测数,有:

根据观测数据对(3)式进行改进如下:

其中,,又是与无关的量,故(5)式可写为:

设服从多项分布,则有:

(7)式可改写为:

将(3)式和(8)式带入(6)式,则有:

因此得出结论,的后验概率服从参数为的Dirichlet分布:

故的期望有(Dirichlet分布期望公式):

即有:

于是,原式得证。


最新回复(0)