10.8.1 先验概率、似然函数、后验概率、贝叶斯公式
又名后验概率公式、逆概率公式：后验概率
＝似然函数
×先验概率
/证据因子
。解释如下，假设我们根据“手臂是否很长”这个随机变量
（取值为“手臂很长”或“手臂不长”）的观测样本数据来分析远处一个生物是猩猩类别
还是人类类别
（假设总共只有这2种类别）。我们身处一个人迹罕至的深山老林里，且之前就有很多报道说这里有猩猩出没，所以无需观测样本数据就知道是猩猩的先验概率（Prior Probability）
较大，比如根据历史数据估计有70%＝0.7。接着，我们得到了的观测样本数据：“手臂很长”──而猩猩类别表现为这种特征的类条件概率，或者说这种“可能性”即似然（Likelihood）
较大，相比于人类表现为“手臂很长”的似然
。所以经这次观测之后加强了我们的判断：是一只猩猩的后验概率（Posterior Probability）
变得比先验概率更大，超过了之前的70%！反之，如果观测发现这个生物的手臂不长，而猩猩类别表现为“手臂不长”的似然较小，则会减弱我们的判断，是猩猩的后验概率将小于70%。因此，后验概率包含了先验信息以及观测样本数据提供的后验信息，对先验概率进行了修正，更接近真实情况。此外，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。
如果我们的目标仅仅是要对所属类别作出一个判别：是“猩猩”还是“人类”，则无需去计算后验概率的具体数值，只需计算哪个类别的后验概率更大即可。假设猩猩和人类出现的先验概率相等，
，则此时类别的判定完全取决于似然和的大小。因此，似然函数（Likelihood：“可能性”）的重要性不是它的具体取值，而是当参数（如类别参数）
变化时，函数到底变小还是变大，以便反过来对参数进行估计求解（估计出是还是）。
Read full article from 10.8.1 先验概率、似然函数、后验概率、贝叶斯公式
联合概率
的乘法公式：
的乘法公式：
（如果随机变量
是独立的，则
）
是独立的，则）
由乘法公式可得条件概率公式：
，
，
全概率公式：
，其中
，其中
（，则
可轻易推导出上式）
，则可轻易推导出上式）
贝叶斯
又名后验概率公式、逆概率公式：后验概率
＝似然函数×先验概率/证据因子。解释如下，假设我们根据“手臂是否很长”这个随机变量（取值为“手臂很长”或“手臂不长”）的观测样本数据来分析远处一个生物是猩猩类别还是人类类别（假设总共只有这2种类别）。我们身处一个人迹罕至的深山老林里，且之前就有很多报道说这里有猩猩出没，所以无需观测样本数据就知道是猩猩的先验概率（Prior Probability）较大，比如根据历史数据估计有70%＝0.7。接着，我们得到了的观测样本数据：“手臂很长”──而猩猩类别表现为这种特征的类条件概率，或者说这种“可能性”即似然（Likelihood）较大，相比于人类表现为“手臂很长”的似然。所以经这次观测之后加强了我们的判断：是一只猩猩的后验概率（Posterior Probability）变得比先验概率更大，超过了之前的70%！反之，如果观测发现这个生物的手臂不长，而猩猩类别表现为“手臂不长”的似然较小，则会减弱我们的判断，是猩猩的后验概率将小于70%。因此，后验概率包含了先验信息以及观测样本数据提供的后验信息，对先验概率进行了修正，更接近真实情况。此外，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。，则此时类别的判定完全取决于似然和的大小。因此，似然函数（Likelihood：“可能性”）的重要性不是它的具体取值，而是当参数（如类别参数）变化时，函数到底变小还是变大，以便反过来对参数进行估计求解（估计出是还是）。Read full article from 10.8.1 先验概率、似然函数、后验概率、贝叶斯公式
No comments:
Post a Comment