概率论与数理统计总结.doc

第一章 随机事件与概率
第一节 随机事件及其运算
1、 随机现象:在一定条件下，并不总是出现相同结果的现象
2、 样本空间：随机现象的一切可能基本结果组成的集合，记为Ω=｛ω｝，其中ω表示基本结果，又称为样本点。
3、 随机事件：随机现象的某些样本点组成的集合常用大写字母A、B、C等表示，Ω表示必然事件，∅表示不可能事件.
4、 随机变量：用来表示随机现象结果的变量，常用大写字母X、Y、Z等表示。
5、 时间的表示有多种：
（1） 用集合表示，这是最基本形式
（2） 用准确的语言表示
（3） 用等号或不等号把随机变量于某些实属联结起来表示
6、事件的关系
(1）包含关系：如果属于A的样本点必属于事件B,即事件 A 发生必然导致事件B发生，则称A被包含于B，记为A⊂B；
（2）相等关系：若A⊂B且B⊃ A,则称事件A与事件B相等，记为A＝B。
（3)互不相容：如果A∩B=∅，即A与B不能同时发生,则称A与B互不相容
7、事件运算
（1）事件A与B的并：事件A与事件B至少有一个发生，记为 A∪B。
（2)事件A与B的交:事件A与事件B同时发生，记为A∩ B或AB。
（3)事件A对B的差：事件A发生而事件B不发生,记为 A－B。用交并补可以表示为。
（4)对立事件：事件A的对立事件(逆事件）,即“A不发生"，记为。
对立事件的性质：。
8、事件运算性质:设A，B,C为事件，则有
(1)交换律:A∪B=B∪A，AB=BA
（2）结合律：A∪(B∪C）=(A∪B)∪C=A∪B∪C A(BC)=（AB)C=ABC
（3）分配律:A∪(B∩C)＝（A∪B）∩（A∪C）、A（B∪C）＝(A∩B)∪（A∩C)= AB∪AC
（4）棣莫弗公式(对偶法则):
9、事件域：含有必然事件Ω ，并关于对立运算和可列并运算都封闭的事件类ξ称为事件域，又称为σ代数.具体说,事件域ξ满足：
(1)Ω∈ξ；
（2）若A∈ξ，则对立事件∈ξ；
（3)若An∈ξ，n=1，2，···，则可列并ξ 。
10、两个常用的事件域:
(1）离散样本空间（有限集或可列集）内的一切子集组成的事件域；
（2)连续样本空间(如R、R2等）内的一切博雷尔集（如区间或矩形)逐步扩展而成的事件域。
第二节 概率的定义及其确定方法
1、概率的公理化定义：定义在事件域ξ上的一个实值函数P(A）满足:
（1）非负性公理：若A∈ξ，则P(A）≥0；
（2）正则性公理：P（Ω）＝1
（3）可列可加性公理：若A，,A2，···,A3互不相容，则有
，
即,则称P(A)为时间A的概率,称三元素(Ω,ξ，P)为概率空间
2、确定概率的频率方法：（是在大量重复试验中,用频率的稳定值去获得频率的一种方法）它的基本思想是：
（1）与考察事件A有关的随机现象可大量重复进行;
（2） 在n次重复试验中,记n(A)为事件A出现的次数，称
fn(A)=, 为事件A出现的频率;
（3） 频率的稳定值就是概率；
（4） 当重复次数n较大时，可用频率作为概率的估计值.
3、确定概率的古典方法:
它的基本思想是：
（1） 所涉及的随机现象只有有限个样本点，譬如为n个；
（2） 每个样本点发生的可能性相等(等可能性)；
（3） 若事件A含有k个样本点,则事件A的概率为
P（A)=。
4、确定概率的几何方法:
它的基本思想是：
（1） 如果一个随机现象的样本空间充满某个区域，其度量（长度、面积、体积等）大小可用Sn表示;
（2） 任意一点落在度量相同的子区域内是等可能的；
（3） 若事件A为中某个子区域，且其度量为SA，则事件A的概率为
P（A）= 。
5、确定概率的主观方法：一个事件A的概率P（A)使人们根据经验，对该事件发生的可能性大小所做出的个人信念。
6、概率是定义在事件域ξ上的集合函数，且满足三条公理。前三种确定概率的方法自动满足三条公理，而主观方法确定概率要加验证，若不满足三条公理就不能称为概率。
第三节 概率的性质：
1、 P(Φ）＝0
2、 有限可加性：若有限个事件A,,A2，···,A3互不相容，则有
，
3、 对立事件的概率：对任一事件A，有
4、 减法公式(特定场合）：若AB,则P(A－B）＝P(A)－P(B）
5、 单调性：若AB，则P(A)P（B）
6、 减法公式(一般场合）:对任意两个事件A、B，有P（A－B）＝P(A)－P（AB）
7、 加法公式:对任意两个事件A、B，有P（A+B）=P（A)+P（B）-P(AB）。
对任意n个事件A1，A2,···，An，有
8、 半可加性：对任意两个事件A、B，有.
9、 事件序列的极限：
（1） 对ξ 中任一单调不减的事件序列，称为可列并为极限｛Fn｝的极限事件，记为。
（2） 对ξ 中任一单调不增的事件序列,称为可列交为极限｛En｝的极限事件，记为。
若,则称概率P是上连续的
10、 概率的连续性：若P为事件域ξ 上的概率，则P既是上连续的，又是下连续的
11、 若P是ξ上满足P(Ω）=1的非负集合函数，则P是可列可加性的充要条件是P具有有限可加性和下连续性。
第四节 条件概率
1、条件概率：设A、B是两个事件，若P(A)>0，则称P（A｜B)=为事件B发生条件下,事件A发生的条件概率。
条件概率是概率的一种，所有概率的性质都适合于条件概率。
2、乘法公式：
（1）若P（B）〉0，P（AB)=P（B）P（A|B)
（2）若P（A1A2…An-1)>0,则有
………….
3、全概率公式:设事件互不相容,且，如果，则对任一事件A有，i=1，2，···,n。
。
4、贝叶斯共公式：设事件,，…，互不相容,且,如果P（A）〉0，，则
，i=1,2，…n。
此公式即为贝叶斯公式。，（，,…，）,通常叫Bi的先验概率.，（，,…，），通常称为Bi的后验概率。
第五节 独立性
1、两个事件的独立性:如果满足,则称事件、是相互独立的,简称A与B独立。否则称A与B不独立或相依.
若事件、相互独立，且,则有
2、若事件、相互独立，则可得到与、与、与也都相互独立.
必然事件和不可能事件Ø与任何事件都相互独立。
Ø与任何事件都互斥。
3、多个事件的独立性:设有n个事件A1，A2，···，An，如果对任意的1
I<j〈k<···n,以下等式均成立
则称此n个事件A1，A2,···，An相互独立。
4、若n个事件相互独立，则其任一部分与另一部分也相互独立。特别把其中部分换为对立事件后,所得诸事件亦相互独立。
5、试验的独立性：假如实验E1的任一结果（事件）与试验E2的任一结果(事件）都是相互独立的事件，则称这两个试验相互独立。
6、n重独立重复试验:假如一个试验重复进行n次,并各次试验间相互独立，则称其为n次独立重复试验。假如一个试验只可能有两个结果:A与,则称其为伯努利试验.假如一个伯努利试验重复进行n次,并各次试验间相互独立，则称其为n重伯努利试验。
第二章 随机变量及其分布
第一节 随机变量及其分布
1、 随机变量：定义在样本空间Ω上的实值函数X=X(ω）称为随机变量。
（1） 离散随机变量：仅取有限个或可列个值的随机变量
（2） 连续随机变量:取值充满某个空间（a，b)的随机变量。这里a可为—∞，b可为+∞。
2、分布函数：设X是一个随机变量，对任意实数x,称函数为X的分布函数,记为X～F(x）.分布函数具有如下三条基本性质：
（1） 单调性：F（x）是单调非减函数，即对任意的x1<x2,有F（x1)F（x2)；
（2） 右连续性：F(x)是x的右连续函数，即对任意的x0,有，即F（x0+0）=F(x0)；
（3） 有界性:对任意的x,有0≤F（x）≤1，且F(-∞）==0,F（+∞）==1
可以证明:具有上述三条性质的函数F(x)一定是某一个随机变量的分布函数。
如果将X看作数轴上随机点的坐标，那么分布函数 F(x）的值就表示X落在区间 内的概率
3、离散型随机变量的概率分布列：若离散型随机变量的可能取值为xn(n=1，2，…)则称X取xi的概率为Pi=P(xi=）P(X=xi），i=1，2,…,则称上式为离散型随机变量的概率分布列，简称分布列.有时也用列表的形式给出：
.
分布列具有两条基本性质：
（1） 非负性;, （2)正则性：。
离散随机变量X的分布函数，它是有限级或可列有限级阶梯函数。离散随机变量X取值于区间（a,b ]上的概率为P（a〈X≤b）=F（a）—F（b).常数c可看作仅取一个值的随机变量X，即P(X=c)=1，它的分布常称为单点分布或退化分布。
4、连续随机变量的概率密度函数:记连续随机变量X的分布函数是F（x），若存在非负可积函数p（x），对任意实数x，有，则称为连续型随机变量。p(x）称为的概率密度函数，简称密度函数。
密度函数p（x)具有下面2个基本性质：
（1） 非负性:;
（2） 正则性：。
5、离散分布：分布在离散场合可以是分布列或分布函数；连续分布：分布在连续场合可以是密度函数或分布函数.存在既非离散又非连续的分布.
6、设随机变量X的分布函数F(x），则可用F（x)表示下列概率：
(1)P（X≤a）=F（a）；
（2）P(X〈a)=F(a—0)；
（3）P（X>a）=1-P（X≤a)=1—F(a）；
（4） P(X=a）=P（X≤a）-P（X〈a)=F（a）-F（a—0)；
(5） P（X≥a）=1—P（X〈a)=1—F(a-0)；
（6) P（|X｜<a）=P（—a〈X〈a）=P(X〈a)—P(X≤—a）=F(a—0）-F（—a）.
第二节 随机变量的数学期望
1、 数学期望:设随机变量X的分布列p（xi）或用密度函数p(x）表示，若
，
则称E（X）=为X的数学期望，简称期望或均值,且称X的数学期望存在。否则数学期望不存在。
数学期望是有分布决定的，它是分布的位置特征.如果两个随机变量同分布，则其数学期望（存在的话）是相等的.期望相当于重心。
2、 数学期望的性质：假设数学期望存在，
（1） X的某一函数g(X）的数学期望为
（2） 若C为常数,则E(C）=C
（3） 对任意常数C，有E（CX）=CE(X）
（4） 对任意的两个函数g1（x）和g2（x），E［g1（x）±g2(x）］=E［g1（x)］±E［g2（x)］
（5） E（X+Y)=E（X)+E（Y），
（6） E（XY)=E(X) E（Y），充分条件：X和Y独立； 充要条件:X和Y不相关.
第三节 随机变量的方差与标准差
1、 方差：随机变量X对其期望E（X)的偏差平方的数学期望（设其存在）Var（X）=E［X-E(X）]2称为X的方差，方差的正平方根σ（X）=σX=称为X的标准差。
方差是由分布决定的，它是分布的散布象征，方差越大，分布就越散；方差越小，分布就越集中。标准差与方差的功能相似，只是量纲不同。
2、 方差的性质:假设方差存在，
（1） Var（X）=E（X2）—［E（X)］2
（2） 若c是常数，则Var(c）=0
（3） Var（aX+b）= a2Var（X）
（4） 若随机变量X的方差存在，则Var（X）=0的充要条件是X几乎处处为某个常数a,即P（X=a）=1
（5） 若 X ,Y 相互独立，则D （ X ± Y ) = D （ X ） + D (Y )
3、 切比雪夫不等式：设X的数学期望和方差都存在,则对任意常数ε〉0,有，或。切比雪夫不等式给出随机变量取值的大偏差（指事件{｜X—E(X）｜≥ε}）发生的概率的上限，该上限于分布的方差成正比.
4、 随机变量的标准化：对任意随机变量X,如果X的数学期望和方差存在,则称
为X的标准化随机变量，此时有E(X＊）=0，Var（X*）=1。
第四节 常用离散分布
1、 二项分布：
设随机变量X的概率分布列为， ,其中,则称随机变量服从参数为，的二项分布。记为。
（1） 背景:重贝努里试验中成功的次数服从参数为，的二项分布。记为，其中p为一次伯努利试验中成功发生的概率。
（2） n=1时的二项分布B（1，p）称为二点分布，或0—1分布,（0—1)分布是二项分布的特例。当X～B(1,p)时，X可表示一次伯努利试验中成功的次数，它只能取0或1。
（3） 二项分布B（1，p）的数学期望和方差分别是：E（X）=np,Var（X）=np(1—p).
（4） 若，则Y=n—X~B（n，1-p)，其中Y=n—X是n重伯努利试验中失败的次数。
2、 泊松分布:
（1） 设随机变量的概率分布列为，k=0，1，2，···，则称随机变量服从参数为的泊松分布，记为X~P（），其中参数.
（2） 背景:单位时间（或单位面积、单位产品等）上某稀有事件（这里的稀有事件是指不经常发生的事件）发生的次数服从泊松分布P()，其中为该稀有事件发生的强度。
（3） 泊松分布P(）的数学期望和方差分别是：E（X)=,Var(X）=。
（4） 二项分布的泊松近似（泊松定理）：在n重伯努利试验中，记事件A在一次试验中发生的概率为pn（与试验次数n有关)，如果当n+∞时,有npn，则。
3、 超几何分布
（1） 若X的概率分布列为，k=0，1，···,r.则称X服从超几何分布，记为X～h（n，N，M）,其中r=min｛M，n｝,且M≤N，n≤N。n，N，M均为正整数。
（2） 背景：设有N个产品，其中有M个不合格品.若从中不放回的随机抽取n个,则其中含有的不合格品的个数X服从超几何分布h（n,N，M）。
（3） 超几何分布h(n，N，M）的数学期望和方差分别是：E（X）=，Var（X）=。
（4） 超几何分布的二项近似：当n〈<N时，超几何分布h(n，N,M)可用二项分布b(n,M/N）近似，即，其中p=M/N。
（5） 实际应用中,再不返回抽样时,常用超几何分布描述抽搐样哦泥中不合格品数的分布；在返回抽样时，常用二项分布b（n，p）描述抽出样品中不合格聘书的分布；当批量N较大，而抽出样品数n较小时，不返回抽样可近似看成返回抽样。
4、 几何分布：
（1） 若X的概率分布列为P(X=k）=(1—p)k-1p，k=1，2，···,则称为X服从几何分布，记为X~Ge(p)，其中0<p〈1。
（2） 背景：在伯努利试验序列中，成功事件A首次出现时的试验次数X服从几何分布Ge(p),其中p为每次试验中事件A发生的概率。
（3） 几何分布Ge(p)的数学期望和方差分别是；E（X)=，Var（X）=。
（4） 几何分布的无记忆性：若X~Ge（p），则对任意正整数m与n有P(X〉m+n｜X〉m）=P(X〉n）。
5、 负二项分布：
（1） 若X的概率分布列为,k=r，r+1，···。则称X服从负二项分布或巴斯卡分布,记为X～Nb（r，p），其中r为正整数,0<p<1。
（2） 背景:在伯努利试验序列中,成功事件A第r次出现时的试验次数X服从负二项分布Nb（r，p），其中p为每次试验中事件A发生的概率。
（3） r=1时的负二项分布为几何分布，即Nb（r,p）=Ge（p)。
（4） 负二项分布Nb(r，p）的数学期望和方差分别是:E(X)=r/p,Var（X)=r(1—p）/p2。
（5） 负二项分布的随机变量可以表示成r个独立同分布的几何分布随机变量之和，即若X～Nb（r，p),则X=X1+X2+···+Xr，其中X1,X2，···,Xr是相互独立、服从几何分布Ge(p）的随机变量.
6、 常用离散分布表

分布列pk
期望
方差
0—1分布
pk=pk（1-p）1—k，k=0，1
p

二项分布
pk=k=0，1，···，n
np

泊松分布
pk=k=0,1,···

几何分布
pk= P（X=k）=（1-p）k-1p，k=1，2，···，

超几何分布
pk= k=0，1，···，r。r=min｛M，n}

负二项分布
Nb（r，p)
pk= k=r，r+1,···。
r/p
r（1—p）/p2
第五节 常用连续分布
1、 正态分布
(1) 若X的密度函数和分布函数分别为
,-∞〈x<+∞；，—∞〈x〈+∞；则称X服从正态分布，记作X～N（μ，σ2），其中参数—∞〈μ<+∞，σ〉0。
（2）背景：一个变量若是由大量微小的、独立的随机因素的叠加结果,则此变量一定是正态变量（服从正态分布的变量）。测量误差就是量具偏差、测量环境的影响、测量技术的的影响等因素随机因素叠加而成的,所以测量误差常认为服从正态分布.
（3） 关于参数μ：
l μ是正态分布的数学期望,即E（X）=μ,称μ为正态分布的位置参数。
l μ是正态分布的对称中心，在μ的左侧和p（x)下的面积为0。5；在μ的右侧和p(x）下的面积为0。5；所以μ也是正态分布的中位数
l 若X～N(μ，σ2)，则X在离μ越近取值的可能性越大，离μ越远取值的可能性越小
关于参数σ：
l σ2是正态分布的方差，即Var（X）=σ2;
l σ是正态分布的标准差，σ越小，正太分布越集中；σ越大，正态分布越分散；σ又称为正态分布的尺度参数
l 若X~N（μ,σ2），则其密度函数p(x）在μ±σ处有两个拐点
（4） 标准正态分布:称μ=0，σ=1时的正态分布N（0，1);
记U为标准正态变量,φ（u）和Φ(u）为标准正态分布的密度函数和分布函数。φ(u)和Φ(u）满足:
l φ（—u）=φ（u）
l Φ（—u）=1—Φ(u)。对u〉0,Φ（u）的值有表可查
（5） 标准化变换:若X~N（μ，σ2)，则U=(X-μ）/σ～N（0,1)，其中U=(X—μ)/σ称为X的标准化变换
（6） 若X~N（μ,σ2)，则对任意实数a与b,有P(X≤b）=,P（a〈X）=1—,P（a〈X≤b)=-。
（7） 正态分布的3σ原则：设X~N（μ，σ2），则P（|X-μ|<kσ）=Φ（k）—Φ(—k）=
2、 均匀分布
（1） 若X的密度函数和分布函数分别为 则称X服从区间(a，b)上的均匀分布，记作X~U（a，b）。
（2） 背景：向区间（a，b）随机投点,落点坐标X一定服从均匀分布U（a,b）。“随即投点”指:点落在任意相等长度的小区间上的可能性是相等的。
（3） 均匀分布U（a，b）的数学期望和方差分别是E（X)=，Var(X）=。
（4） 称区间(0,1)上的均匀分布U(0，1）为标准均匀分布,它是导出其他分布随机数的桥梁
3、 指数分布
（1） 若X的密度函数和分布函数分别为则称为X服从指数分布,记作X～Exp(λ），其中参数λ〉0。
（2） 背景：若一个元器件（或一台设备、或一个系统）遇到外来冲击时即告失效，则首次冲击来到的时间X(寿命）服从指数分布。
（3） 指数分布Exp（λ）的数学期望和方差分别是E(X）=，Var（X）=。
（4） 指数分布的无记忆性：若X～Exp（λ）,则对任意s>0，t〉0，有P(X>s+t｜X〉s）=P(X>t）。
4、 伽玛分布
（1） 伽玛函数：称（）=为伽玛函数,其中参数>0.伽玛函数具有如下性质：
① （1）=1；
② （1/2）=;
③ （+1）=（);
④ (n+1）=n（n)=n！（n为自然数)。
（2） 伽玛分布：若X的密度函数为即称X服从伽玛分布，记作X~Ga（，λ）,其中〉0为形状参数，λ〉0为尺度参数。
（3） 背景：若一个元器件(或一台设备、或一个系统）能抵挡一些外来冲击，但遇到第k次冲击时即告失效，则第k次冲击来到的时间X（寿命)服从形状参数为k的伽玛分布Ga(k，λ）。
（4） 伽玛分布Ga(，λ）的数学期望和方差分别为E（X)=，Var（X）=。
（5） 伽玛分布的两个特例：
① =1时的伽玛分布就是指数分布，即Ga(1，λ）=Exp（λ）。
② 称=n/2，λ=1/2时的伽玛分布为自由度为n的χ2（卡方)分布，记为χ2（n），其密度函数为 ，χ2（n）分布的期望和方差分别是E(X）=n，Var(X）=2n。
（6） 若形状参数为整数k，则伽玛变量可以表示成k个独立同分布的指数变量之和,即若X~Ga（k，λ），则X=X1+X2+···+Xk是相互独立且都服从指数分布Exp(λ)，的随机变量。
5、 贝塔分布
(1) 贝塔函数：称B（a,b)=为贝塔函数，其中参数a〉0,b〉0。贝塔函数具有如下性质：①B（a，b）=B(b,a）;②B(a,b)=。
(2) 贝塔分布：若X的密度函数为, 则称X服从贝塔分布，记作X～Be(a,b），其中a〉0,b〉0都是形状参数。
(3) 背景：很多比率,如产品的不合格率、机器的维修率、射击的命中率等都是在区间（0,1）上取值的随机变量，贝塔分布Be（a，b)可供描述这些随机变量之用。
(4) 贝塔分布Be（a,b）的数学期望和方差分别是，
(5) a=b=1时的贝塔分布就是区间（0,1）上的均匀分布，即Be（1，1)=U（0，1）。
6、常见连续分布表

密度函数p（x）
期望
方差
正态分布
，-∞〈x〈+∞

均匀分布U(a,b）

指数分布Exp（λ）

伽玛分布Ga（，λ)

χ2（n）分布

n
2n
贝塔分布Be（a，b)

对数正态分布LN(μ,σ2）
x〉0

柯西分布Cau（μ， λ）
,—∞<x〈+∞
不存在
不存在
韦布尔分布Wei(m，η）
P（x）=F’（x），，x〉0

第六节 随机变量函数的分布
1、 设连续随机变量X的密度函数为PX（x）,Y=g（X）.
（1） 若y=g（x）严格单调，其反函数h（y）有连续导函数，则Y=g（X）的密度函数为，
其中a=min｛g（—∞）,g（+∞）｝，b=max｛g（-∞），g(+∞）｝.
（2） 若y=g（x)在不重叠的区间I1，I2，···上逐段严格单调，其反函数h1（y），h2（y），···有连续导函数,则Y=g(X）的密度函数为
。
2、 正态变量的线性变换仍为正态变量：若X 正态分布，则当a≠0时，有Y=aX+b～N(aμ+b，a2σ2）。
3、 对数正态分布
（1） 若X的密度函数为则称X服从对数正态分布，记为X~LN（μ，σ2），其中-∞〈μ〈+∞，σ>0。
（2） 若X~LN（μ，σ2），则E（X）=，Var（X)=
（3） 若X～LN(μ，σ2)，则 Y=ln X~N(μ，σ2）
4、 若X～Ga(，λ），则当k〉0时，有Y=kX～Ga（，λ/k）。
5、 若X的分布函数FX(x)为严格单调增的连续函数,其反函数F —1X（x)存在,则Y=FX(X）服从（0，1)上的均匀分布U（0，1)。
第七节 分布的其他特征数
1、 k阶矩
（1） 称μk=E(Xk)为X的k阶原点矩.一阶原点矩就是数学期望
（2） 称k=E(X-E(X)）k为X的k阶中心矩.二阶中心距就是方差
（3） 前k阶中心矩可用原点表示,如
1=0；2=μ2—μ12；3=μ3-3μ2μ1+2μ13；4=μ4—4μ3μ1+6μ2μ12—3μ14.
2、 变异系数：称比值为X的变异系数.变异系数是一个无量纲的量.
3、 分位数:设连续随机变量X的分布函数为F(x)，密度函数为p(x）.对任意p∈(0。1），
（1） 称满足条件的为此分布的p分位数，又称下侧p分位数，它把密度函数下的面积一分为二，左侧面积恰好为p;
（2） 称满足条件的为此分布的上侧p分位数。
（3） 分位数与上侧分位数的转换公式：=,=.
（4） 中位数：称p=0.5时的p分位数为此分布的中位数.即满足；
（5） 若随机变量X的密度函数p（x)是偶函数,则此分布的p分位数满足:=.
（6） 记标准正态分布的p分位数。因为标准正态分布函数是偶函数，所以=—.
（7） 一般正态分布的p分位数满足:=μ+σ×.
（8） 分布的矩有可能不存在，但连续分布的分位数总存在。p分位数总是p的增函数.
4、 偏度系数
（1）称比值