先验分布与后验分布.pptx
《先验分布与后验分布.pptx》由会员分享,可在线阅读,更多相关《先验分布与后验分布.pptx(57页珍藏版)》请在咨信网上搜索。
1、11.1.总体信息:总体分布或所属分布族提供给我们的总体信息:总体分布或所属分布族提供给我们的信息信息 2.2.样本信息:从总体抽取的样本提供给我们的信息样本信息:从总体抽取的样本提供给我们的信息 3.3.先验信息:在抽样之前有关统计推断的一些信息。先验信息:在抽样之前有关统计推断的一些信息。统计推断中可用的三种信息统计推断中可用的三种信息 2 贝叶斯统计学的基础是著名的贝叶斯公式,贝叶斯统计学的基础是著名的贝叶斯公式,它是英国学者贝叶斯(它是英国学者贝叶斯(T.R.Bayes17021761T.R.Bayes17021761)在在他死后二年发表的一篇论文论有关机遇问题的他死后二年发表的一篇论
2、文论有关机遇问题的求解中提出的。经过二百年的研究与应用,贝求解中提出的。经过二百年的研究与应用,贝叶斯的统计思想得到很大的发展,目前已形成一叶斯的统计思想得到很大的发展,目前已形成一个统计学派个统计学派贝叶斯学派。为了纪念他,英国历贝叶斯学派。为了纪念他,英国历史最悠久的统计杂志史最悠久的统计杂志BiometrikaBiometrika在在19581958年又年又全文刊登贝叶斯的这篇论文。全文刊登贝叶斯的这篇论文。3一、贝叶斯公式的三种形式一、贝叶斯公式的三种形式1.1.贝叶斯公式的事件形式:贝叶斯公式的事件形式:假定假定 是互不相容的事件,它们之和是互不相容的事件,它们之和 包含事件包含事件
3、B B,即,即 ,则有:,则有:4假假设设 随机变量X有一个密度函数p(x;),其中是一个参数,不同的对应不同的密度函数,故从贝叶斯观点看,p(x;)是在给定后的一个条件密度函数,因此记为p(x)更恰当一些。这个条件密度能提供我们的有关的信息就是总体信息。假假设设 当给定后,从总体p(x)中随机抽取一个样本X1,Xn,该样本中含有的有关信息。这种信息就是样本信息。2.2.贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式贝叶斯学派的一些具体思想或者叫着基本假设:贝叶斯学派的一些具体思想或者叫着基本假设:5假设假设 从贝叶斯观点来看,未知参数是一个随机变量。而描述这个随机变量的分布可从先验信息中归
4、纳出来,这个分布称为先验分布,其密度函数用()表示。(1)先先验验分分布布:定义1 将总体中的未知参数看成一取值于的随机变量,它有一概率分布,记为(),称为参数的先验分布先验分布。(2)后后验验分分布布:在贝叶斯统计学中,把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1,Xn,和参数的联合密度函数:6 在这个联合密度函数中。当样本 给定之后,未知的仅是参数了,我们关心的是样本给定后,的条件密度函数,依据密度的计算公式,容易获得这个条件密度函数:这就是贝叶斯公式的密度函数形式,其中称为的后验密度函数,或后验分布。而:是样本的边际分布,或称样本 的无条件分布,它的积分区域就是参数
5、的取值范围,随具体情况而定。73.3.贝叶斯公式的离散形式:贝叶斯公式的离散形式:当当 是离散随机变量时,先验分布可用先验分是离散随机变量时,先验分布可用先验分布列布列(i i),这时后验分布也是离散形式:,这时后验分布也是离散形式:假如总体假如总体X X也是离散的,则只须将也是离散的,则只须将p(x|)p(x|)换换成成P(X=x|)P(X=x|)即可。即可。8 前面的分析总结如下:人们根据先验信息对参数已有一个认识,这个认识就是先验分布()。通过试验,获得样本。从而对的先验分布进行调整,调整的方法就是使用上面的贝叶斯公式,调整的结果就是后验分布 。后验分布是三种信息的综合。获得后验分布使人
6、们对的认识又前进一步,可看出,获得样本的的效果是把我们对的认识由()调整到 。所以对的统计推断就应建立在后验分布 的基础上。二、后验分布是三种信息的综合二、后验分布是三种信息的综合9例例1 1、设事件A的概率为 ,即 。为了估计 而作n次独立观察,其中事件A出现次数为X,则有X服从二项分布 即 解题步骤:解题步骤:1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解,对 的大小也没有任何信息。在这种情况下,贝叶斯建议用区间(0,1)上的均匀分布作为的先验分布。因为它在(0,1)上每一点都是机会均等的。因此:此式在定义域上与二项分布有区别。如何求出后验分布?2.计算样本X与参数 的联合分布:
7、10 5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个。他选用U(0,1)作为的先验分布,于是可得的后验分布Be(x+1,n-x+1),其中n=251527+241945=493472,x=251527。由此拉普拉斯计算了“0.5”的后验概率:故他断言男婴诞生的概率大于0.5。即:4.利用贝叶斯公式可得 的后验分布:3.计算X的边际密度为:11注:1.伽玛分布与贝塔分布简介:定义:定义在0,1上,且用密度函数:表示的概率分布称为型分布,记为(p,q)或者e(p,q)。122.特例:当p=q=1时,(1,1)型分布即为区间0,1
8、上的均匀分布;设 ,则 的密度函数为:即:当p=q=1/2,(1/2,1/2)型分布称为反正弦分布,密度函数为:133.3.为什么将贝塔分布作为为什么将贝塔分布作为的先验分布族是恰当的?的先验分布族是恰当的?(1)(1)参参数数是是废废品品率率,它它仅仅在在(0 0,1 1)上上取取值值。因因此此,必必需需用用区区间间(0 0,1 1)上上的的一一个个分分布布去去拟拟合合先先验验信信息息。分分布布正正是是这这样一个分布。样一个分布。(2)(2)分分布布含含有有两两个个参参数数p p与与q q,不不同同的的p p与与q q就就对对应应不不同同的的先先验分布,因此这种分布的适应面较大。验分布,因此
9、这种分布的适应面较大。(3)(3)样样本本X X的的分分布布为为二二项项分分布布b(n,)b(n,)时时,假假如如的的先先验验分分布布为为分分布布,则则用用贝贝叶叶斯斯估估计计算算得得的的后后验验分分布布仍仍然然是是分分布布,只只是是其其中中的的参参数数不不同同。这这样样的的先先验验分分布布(分分布布)称称为为参参数数的的共共轭轭先先验验分分布布。选选择择共共轭轭先先验验分分布布在在处处理理数数学学问问题题上上带带来来不不少少方方便。便。1415例例2 2、投资决策问题、投资决策问题 为了提高某产品的质量,公司经理考虑增加投为了提高某产品的质量,公司经理考虑增加投资来改进生产设备,预计需投资资
10、来改进生产设备,预计需投资100100万元,但从投万元,但从投资效果看,下属部门有两种意见:资效果看,下属部门有两种意见:n 1 1 :改进生产设备后,高质量产品可占:改进生产设备后,高质量产品可占90%90%n 2 2:改进生产设备后,高质量产品可占:改进生产设备后,高质量产品可占70%70%问:公司经理怎样决策?问:公司经理怎样决策?注:根据过去的经验知:注:根据过去的经验知:1 1的可信度为的可信度为40%40%,2 2的可的可信度为信度为60%60%1617三、共轭先验分布三、共轭先验分布1、共轭先验分布共轭先验分布 定义2 设 是总体分布中的参数(或参数向量),()是 的先验密度函数
11、,假如由抽样信息算得的后验密度函数与()有相同的形式,则称()是 的(自然)共轭先验分布。注意:共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。18(2)确定先验分布:例例3 3、证明:正态均值(方差已知)的共轭先验分、证明:正态均值(方差已知)的共轭先验分布是正态分布。布是正态分布。证明思路:(1)写出样本的似然函数:19(3)计算后验分布:2021例:设例:设X X表示人的胸围,根据经验,胸围是近表示人的胸围,根据经验,胸围是近似服从正态分布的。现测量了似服从正态分布的。现测量了n=10000n=10000
12、个个人的胸围,得样本均值为人的胸围,得样本均值为39.8(cm)39.8(cm),样本,样本方差为方差为4 4,假设,假设的先验分布为的先验分布为N(38,9)N(38,9),求求的后验分布。的后验分布。(答案:答案:N(39.8,1/2500)说明:说明:样本容量较大时,似然函数起决定作用,先验信息几乎不起做用。222 2、怎样简化后验分布的计算、怎样简化后验分布的计算 省略常数因子 n 在给定样本分布p(x x|)和先验分布()后可用贝叶斯公式计算的后验分布:()=p(x x|)()/m(x x),由于m(x x)不依赖于,在计算的后验分布中仅起到一个正则化因子的作用。假如把m(x x)省
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 先验 分布
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。