马尔科夫链模型及其应用.ppt
《马尔科夫链模型及其应用.ppt》由会员分享,可在线阅读,更多相关《马尔科夫链模型及其应用.ppt(29页珍藏版)》请在咨信网上搜索。
1、马尔可夫模型及其应用马尔可夫模型及其应用汇报人:吕昌伟汇报人:吕昌伟 20157167 2015年12月1日1马尔可夫随机场马尔可夫随机场 3目录马尔可夫链马尔可夫链 1隐马尔可夫模型隐马尔可夫模型 22马尔科夫链:介绍马尔可夫链,因安德烈马尔可夫(A.A.Markov,18561922)得名,是数学领域中具有马尔可夫性质的离散时间随机过程。马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。安德烈马尔可夫,俄罗斯人,物理-数学博士,圣彼得堡科学院院士,彼得堡数学学派的代表人物,以数论和概率论方面的工作著称,他的主要著作有概率演算等。187
2、8年,荣获金质奖章,1905年被授予功勋教授称号。3马尔科夫链:定义及表示 随机过程 是随机变量的集合,指标t通常表示时间,此时,过程X是随时间而变化的随机变量X的取值模型。X(t)是过程在时刻t的状态,用Xt代替X(t)。这里我们着重于特殊类型的离散时间、离散空间随机过程X0,X1,X2,,其中Xt的值依赖于Xt-1的值,但不依赖于导致系统取那个值得状态序列。定义定义:一个离散时间随机过程X0,X1,X2,是马尔可夫链,如果马尔可夫性 无记忆性4马尔科夫链:一般性假定马尔可夫链的离散状态空间为0,1,2,n(或0,1,2,如果可数无穷)。转移概率 是过程i经一步转移到j的概率。马儿可夫性蕴涵
3、马尔可夫链由一步转移矩阵唯一确定。归一化:对所有i,5马尔科夫链:m步转移概率对任意m0,我们将m步转移概率定义为链从状态i经恰好m步到达状态j的概率。在从i出发经1次转移的条件下,我们有设P(m)是一个矩阵,其元素为m步转移概率,使得第i行第j列元素为由上式可得经关于m的归纳设pi(t)表示过程在t时刻处于状态i的概率 是在t时刻给出链的状态分布的向量我们将概率分布表示成一个行向量6马尔科夫链:加权图表示马尔可夫链的另一种有用的表示是用一个有向加权图D=(V,E,w).图的顶点集合是链的状态集存在一条有向边 ,当且仅当Pi,j0,此时边(i,j)的权w(i,j)由w(i,j)=Pi,j给出自
4、圈(一条边开始和结束在同一顶点)是允许的。对每一个i,我们仍要求一个由过程逗留过的状态序列表示为图上的一条有向路径。过程沿着这条路径的概率是路径表的权的乘积。3P3,1P1,3P3,212P1,2P2,20P0,1P1,0P0,3P3,37马尔科夫链:例子计算恰好经过三步从状态0到状态3的概率。31/21/61/4121/3101/41/23/41/4路径:概率 0-1-0-3 3/320-1-3-3 1/96 0-3-1-3 1/160-3-3-3 3/64 总概率:41/192马尔科夫链转移矩阵8马尔科夫链:应用 保险公司保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额
5、例:人的健康状况分为健康和疾病两种状态,设对特定年龄段的人,今年健康、明年保持健康状态的概率为0.8,而今年患病、明年转为健康状态的概率为0.7,若某人投保时健康,问10年后他仍处于健康状态的概率是多少?状态Xn=1,第n年健康2,第n年疾病p11=0.8 p12=1-p11=0.2p21=0.7 p22=1-p21=0.3Xn+1只取决于Xn和pij,与Xn-1,无关9马尔科夫链:应用 保险公司状态转移具有无后效性a1(n+1)=a1(n)p11+a2(n)p21a2(n+1)=a1(n)p12+a2(n)p22给定a(0),预测a(n),n=1,2设投保时健康设投保时疾病n0123a1(n
6、)10.80.780.7787/9a2(n)00.20.220.2222/9n0123a1(n)10.70.770.7777/9a2(n)00.30.330.3332/9n 时状态概率趋于稳定值,稳定值与初始状态无关10马尔科夫链:应用 保险公司Xn=3为第三种状态 死亡a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33n012350 a1(n)10.80.7570.72850.12930a2(n)00.180.1890.18350.0326
7、0a3(n)00.020.0540.08800.83811设投保时处于健康状态,预测a(n),n=1,211隐马尔科夫模型例如:一个隐居的人可能不能直观的观察到天气的情况,但是民间传说告诉我们海藻的状态在某种概率上是和天气的情况相关的。在这种情况下我们有两个状态集合,一个可以观察到的状态集合(海藻的状态)和一个隐藏的状态(天气状况)。我们希望能找到一个算法可以根据海藻的状况和马尔科夫假设来预测天气的状况。隐藏状态的数目和可以观察到的状态的数目可能是不一样的。在一个有3种状态的天气系统(sunny、cloudy、rainy)中,也许可以观察到4种潮湿程度的海藻(dry、dryish、damp、s
8、oggy)。可以观察到的状态序列和隐藏的状态序列是概率相关的。于是我们可以将这种类型的过程建模为有一个隐藏的马尔科夫过程和一个与这个隐藏马尔科夫过程概率相关的并且可以观察到的状态集合。隐马尔可夫模型(Hidden Markov Model)是一种统计模型,用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步的分析。12隐马尔科夫模型下图是一个三个状态的隐马尔可夫模型状态转移图。x 表示隐含状态y 表示可观察的输出a 表示状态转换概率b 表示输出概率13隐马尔科夫模型下图显示了天气的例子中隐藏的状态和可以观察到的状态之间的关系。我们
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 马尔科夫链 模型 及其 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【1587****927】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【1587****927】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。