矩估计和极大似然估计.ppt

1二、极大似然估计法二、极大似然估计法一一、矩法估计矩法估计 第七章参数估计三、三、估计量的评选标准估计量的评选标准四、置信区间四、置信区间2参数估计 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量来估计总体的某些参数或者参数的某些函数。来估计总体的某些参数或者参数的某些函数。统计推断：参数估计和假设检验。统计推断：参数估计和假设检验。3参数估计要解决问题参数估计要解决问题:总体分布函数的形式为已知总体分布函数的形式为已知,需要确定未知参数。需要确定未知参数。但其中参数但其中参数未知时，未知时，这类问题称为参数估计问题。这类问题称为参数估计问题。只有当参数只有当参数 确定后，确定后，才能通过才能通过率密度函数计算概率。率密度函数计算概率。对于未知参数，对于未知参数，如何应用样本如何应用样本所提供的信息去对其一个或多个未知参数进行估计。所提供的信息去对其一个或多个未知参数进行估计。4 参数估计参数估计是对已知分布类型的总体，参数估计参数估计点点 估估 计计区间估计区间估计矩矩 估估 计计极大似然估计极大似然估计 参数估计可作如下划分参数估计可作如下划分利用样本对其未知参数作出估计5 1.1.矩估计矩估计2.2.极大似然极大似然估计估计3.3.最小二乘法最小二乘法4.4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.寻求估计量的方法寻求估计量的方法6点估计问题点估计问题：构造一个适当的统计量构造一个适当的统计量用它的观用它的观察值察值来估计未知参数来估计未知参数.称称为为的估计量，的估计量，为为的估计值的估计值.参数估计：参数估计：点估计点估计:估计估计的具体数值的具体数值;区间估计区间估计:估计估计的所在范围的所在范围.7第七章第一节第一节矩矩 法法 估估 计计二、常用分布参数的矩法估计二、常用分布参数的矩法估计 一一、矩法估计、矩法估计 8一一.矩估计法矩估计法故用样本矩来估计总体矩故用样本矩来估计总体矩 基本原理基本原理：总体矩是反映总体分布的最简单的总体矩是反映总体分布的最简单的数字特征，数字特征，当总体含有待估计参数时，当总体含有待估计参数时，总体矩是总体矩是待估计参数的函数。待估计参数的函数。样本取自总体，样本取自总体，样本矩在一定程度上可以逼近总体矩，样本矩在一定程度上可以逼近总体矩，由英国统计学家由英国统计学家K.皮尔逊最早提出的。皮尔逊最早提出的。9其中其中是待估参数是待估参数.为来自为来自的样本的样本,存在存在,设总体的设总体的k阶矩阶矩则样本的则样本的k阶矩阶矩(由大数定理由大数定理)令令从中解得从中解得k个方程组个方程组即为矩估计量。即为矩估计量。矩估计量的观察值称为矩估计值。矩估计量的观察值称为矩估计值。设总体设总体X的分布函数为的分布函数为10矩估计步骤：矩估计步骤：连续型连续型离散型离散型11所以参数 p 的矩估计量为例：例：总体 X 的分布列为：是来自总体X的样本，解：由于总体X 的分布为二项分布，12设某炸药厂一天中发生着火现象的次数X例例1 1服从13下面我们通过几个例子说明利用矩估计法求下面我们通过几个例子说明利用矩估计法求未知参数的过程。未知参数的过程。二、常用分布常数的矩法估计二、常用分布常数的矩法估计14例例2解解15注注:总体均值方差的矩估计量与总体分布无关。做矩估计时,也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一。未知，求参数的矩估计。例例3 3解：解：16解解不合格品率 p 的矩法估计 分析分析 设总体X 为抽的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因 p=EX,故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品(即出现不合格产品的频率).例例4率，抽取了n 件产品进行检查.17例例5解解1819是未知参数，X1，X2，,Xn，是X 的一组样本，解解设总体X的概率密度为解得例例6求的矩估计量.20其中0，与是未知参数，X1，X2，,Xn，是X 的一组样本，求与的矩估计量.解解例例7.设总体X的概率密度为令21令令注意到注意到 DX=E(X2)(EX)2=2=2+(+)222第七章第二节极大似然估计极大似然估计极大似然估计极大似然估计 23 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.24基本思想基本思想:若事件若事件Ai i 发生了发生了,则认为事件则认为事件Ai在这在这n个可能结果个可能结果中出现的概率最大。中出现的概率最大。极大似然估计就是在一次抽样中极大似然估计就是在一次抽样中,若得到观测值若得到观测值则选取则选取若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验,作为作为的估计值的估计值。使得当使得当时时,样本出现的概率最大样本出现的概率最大。25极大似然估计法极大似然估计法:设是的一个样本值事件 发生的概率为为 的函数，形式已知(如离散型)X的分布列为的联合分布列联合分布列为：为样本的似然函数样本的似然函数。定义定义7.126即取使得：与有关,记为称为参数的极大似然估计值极大似然估计值。称为参数的极大似然估计量极大似然估计量。达到最大的参数作为的估计值。现从中挑选使概率样本的似然函数27若总体X属连续型,其概率密度的形式已知，为待估参数；则的联合密度：一般，关于可微，故可由下式求得：因此的极大似然估计也可从下式解得：在同一点处取极值。2829故似然函数为例例1 1 设是来自总体X的一个样本，试求参数 p 的极大似然估计值.解解：设是一个样本值。X的分布列为：而令30它与矩估计量是相同的。它与矩估计量是相同的。解得解得p的极大似然估计值的极大似然估计值p的极大似然估计量的极大似然估计量令令解得31设总体X的分布列为：是来自总体X的样本，求 p 的极大解：解：似然函数为似然函数为似然估计值。例例2 232令令即即所以参数所以参数的极大似然估计量为的极大似然估计量为33解解例例3 3设 X1,X2,Xn 是取自总体X 的一个样本,，求参数的极大似然估计值。似然函数为似然函数为:34例例4 4设未知，是一个样本值求的极大似然估计量.解解 设的概率密度为：似然函数为35等价于等价于因为因为对于满足对于满足的任意的任意有有即即时时,取最大值取最大值在在似然函数为似然函数为36故故的极大似然估计值为:故故的极大似然估计量为:即时,取最大值在在似然函数为似然函数为37今取得一组样本Xk数据如下，问如何估计？162950681001301402702803404104505206201902108001100 某电子管的使用寿命 X（单位：小时)服从指数分布 例例5 指数分布的点估计指数分布的点估计 分析 可用两种方法：矩法估计 和极大似然估计.381）矩法估计392）极大似然估计）极大似然估计1.构造似然函数 当xi0,（i=1,2,n)时，似然函数为2.取对数3.建立似然方程405.得极大似然估计量：4.求解得极大似然估计值41似然函数为：例例6 6设为未知参数，是来自X的一个样本值，求的极大似然估计值。解解：X的概率密度为：42解得：解得：令令即：即：43 注：lnx 是 x 的严格单增函数，lnL 与L有相同的极大值，一般只需求lnL 的极大值.求极大似然估计的求极大似然估计的一般步骤一般步骤：1.写出似然函数2.对似然函数取对数 3.对i (i=1,m)分别求偏导,建立似然方程(组)解得 分别为 的极大估计值.44例例7 矩估计与似然估计不等的例子设总体概率密度为求参数的极大似然估计,并用矩法估计.解解 1)极大似然估计法1.构造似然函数2.取对数：当 0 xi1,(i=1,2,n)时452.取对数：当 0 xi 1,(i=1,2,n)时3.建立似然方程4.求解得极大似然估计值为5.极大似然估计 量为462)矩估计法471.矩法估计量与极大似然估计量不一定相同；2.用矩法估计参数比较简单,但有信息量损失；3.极大似然估计法精度较高,但运算较复杂；4.不是所有极大似然估计法都需要建立似然方程小小 结结求解.48解解例例6.不合格品率的矩法估计 分析分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，Xn,且因 p=EX,故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.(即出现不合格产品的频率).49不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记 p=PX=1=P产品不合格则 X的分布列可表示为 现得到X的一组样本X1，X2，,Xn的实际观察值为 x1,x2,xn,则事件 X1=x1，X2=x2，,Xn=xn例例7 7出现的可能性应最大,其概率为50 应选取使L(p)达到最大的值作为参数 p 的估计.51令令解得解得（频率值）（频率值）注意到注意到52其中0，与是未知参数，X1，X2，,Xn，解解设总体设总体X的概率密度为的概率密度为是X 的一组样本，求与 的矩估计量.例例8 853令令注意到注意到 DX=E(X2)E(X)2=2=2+(+)254例例 9 均匀分布的极大似然估计均匀分布的极大似然估计 设样本设样本X1，X2，Xn来自在区间来自在区间 0,上均匀分布的总体上均匀分布的总体X,求求 的极大似然估计的极大似然估计.解解 设设x1,x2,xn是是X1,X2,Xn的样本值，的样本值，似然函数为似然函数为55#如图所示，似然函数如图所示，似然函数L 在在取到最大值，故取到最大值，故的极大似然估计量为的极大似然估计量为56注注 意：意：该似然函数不能通过求导构造似然方程该似然函数不能通过求导构造似然方程.尝试用其他方法求解！尝试用其他方法求解！分析分析 的估计应满足：的估计应满足：2.的值不能小于任何一个的值不能小于任何一个xi.1.的值尽可能小；的值尽可能小；57