本文共 483 字,大约阅读时间需要 1 分钟。
本节书摘来异步社区《LDA漫游指南》一书中的第2章,第2.7节,作者: 马晨,更多章节内容可以访问云栖社区“异步社区”公众号查看
1. 贝叶斯学派采用给参数赋予先验分布,并使得先验与后验共轭,通过求后验均值来得到参数的估计,频率学派通过某个优化准则,比如最大化似然函数来求得参数的估计;不管是哪个学派思想,都要用到似然函数。注意到似然函数有所不同,这点在极大似然估计(MLE)和最大后验概率估计(MAP)体现得尤其明显。
2.当拥有无限数据量时(Beta分布式中的s和f都趋向于无穷,Dirichlet分布式中的m趋向于无穷),贝叶斯方法和频率学派方法所得到的参数估计是一致的。当在有限的数据量下,贝叶斯学派的参数后验均值的大小介于先验均值和频率学派方法得到参数估计。比如在抛硬币实验中,当数据量有限时,先验均值为0.5,后验均值将会比先验大,比频率学派得到参数估计小。
3. 随着观测数据的增多,后验分布曲线越来越陡峭(越来越集中),即方差越来越小(后验方差总比前验方差小)。当数据量无穷大时,方差趋近于0,即随着数据越来越多,后验的不确定性在减小。
转载地址:http://xybbm.baihongyu.com/