数学基础省公共课一等奖全国赛课获奖课件.pptx

第二章 数学基础第1页第二章 数学基础第2页数学是大自然语言，数学是科学语言 语言是大自然产物，语言学是科学一个分支第3页两种方法区分第4页缺乏数学基础方法打补丁经验方法adhoc方法第5页概率论第6页为何将概率论作为数学基础重点？统计语言处理技术已经成为主流统计语言处理步骤搜集自然语言词汇(或者其它语言单位)分布情况依据这些分布情况进行统计推导最经典例子：结构统计语言模型概率理论能够帮助我们找到这么模型第7页概率论基础概念条件概率联合概率独立贝叶斯定理(Bayes Theorem)随机变量数学期望方差结构语言模型P(T)为估算P，我们必须看看 在大规模真实文本中词 分布情况第8页概念概率论是研究随机现象数学分支所谓随机现象是指这么一类现象，当人们观察它时，所得到观察结果不是确定，而是许许多多可能结果中一个概率（Probability）则是衡量该事件发生可能性量度概率函数第9页概率函数样本空间 是一个随机试验全部可能结果集合事件 A 是子集概率函数(或者概率分布)例第10页概率函数(或者概率分布)第11页例例1 当代汉语字频统计。由北京航空学院和国家语言文字工作委员会于1985年完成。从1977年至1982年间社会科学和自然科学规模为一千一百零八万余字语料中 利用计算机进行统计得到汉字字频，前20个最高频汉字列出如表所表示。第12页字频启示第13页字频启示频率较高字-没有实在意义虚字，在实际应用中，比如信息检索，我们要过滤这么无意义高频虚词，称为 Stopword字频（词频）对于词典编撰工作有指导意义词频甚至反应了国家政策改变汉字信息量大信息时代对于汉字重新认识第14页汉字信息量大中国科学家冯志伟计算12366个汉字信息熵为9.65比特，英语为4.16比特汉字信息量最大，世界冠军表示一个汉字需要2个字节在信息编码、存放和传输等方面汉字处于不利地位第15页信息时代对于汉字重新认识汉字信息处理发展早期汉字低劣论汉字是中国文化毒癌汉字不灭,中国必亡汉语拉丁化研究汉语早已克服了汉字输入输出障碍随着网络时代发展,网络上汉字信息量已经居于第二位置汉字优越论安子介汉字是中国第五大发明我敢断言，到了二十一世纪，汉字必然成为世界语我们认识汉字是世界上硕果仅存象形文字(古埃及圣书字,两河流域楔形文字),对汉文化传承和发展做出了巨大贡献.现有固有缺点,也有优越性,将是一种长久客观存在,随着中国国力增强,汉字影响力逐渐扩大,作为有志于从事汉字语言研究同学们来说 应该主动吸收西文计算语言学研究优异成果,丰富和完善汉语计算语言学研究,前途光明第16页条件概率对于随机试验结果有部分知识(或者约束条件)条件概率(Conditional probability)第17页条件概率(Conditional probability)在我们已知B为真条件下A 为真概率能够表示为P(A|B)例P(大学)=0.0003P(大学|哈尔滨/工业)=？先验概率(prior probability)后验概率(posterior probability)第18页联合概率P(A,B)=P(A)P(B|A)=P(B)P(A|B)P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C.)例P(哈尔滨/工业/大学)=P(哈尔滨)P(工业|哈尔滨)P(大学|哈尔滨/工业)第19页独立两个事件 A 与 B 相互独立假如 P(A)=P(A|B)P(A,B)=P(A)*P(B)例“非”和“典”两个事件 A 与 B 是在条件C下相互条件独立假如:P(A|C)=P(A|B,C)第20页贝叶斯定理(Bayes Theorem)因为所以BayesTheorem使我们能够交换事件之间条件依赖次序 举例：音字转换第21页随机变量随机变量（Random variables）(RV)使我们能够讨论与样本空间相关数值概率值离散型随机变量连续型随机变量第22页数学期望随机变量均值第23页方差随机变量取值是否比较一致或者有很大差异一个量度例发觉新词 是标准差（standard deviation），简称SD第24页结构语言模型P(T)为估算P，我们必须看看 在大规模真实文本中词 分布情况基于频度统计贝叶斯统计第25页基于频度统计基本思想两种方法比较最大相关度来选择模型第26页基本思想相关频度(频率):事件 u 发生次数与全部事件总次数比率C(u)在N次试验中u 发生次数当n-infinitive great 相关频度逐步稳定在某一个值上：即该事件概率预计第27页两种方法有参数方法(Parametric)(与分布相关)无参数方法(Non-parametric)(与分布无关)第28页有参数方法(Parametric)(与分布相关)假设某种语言现象服从我们业已熟知某种分布，如二元分布，正态分布，泊松分布等等我们已经有明确概率模型，现在需要确定该概率分布一些参数惯用分布第29页惯用分布二元分布(Binomial distribution)泊松分布(Poisson distribution)正态分布(高斯分布Gaussian distribution)(Normal distribution)第30页二元分布(Binomial distribution)离散型随机试验结果只有两个输出 各次随机试验相互独立n 次随机试验,成功次数为 r,每次试验成功概率为 p:例在英语语料库中，包含单词“the”语句占语料库中语句总数百分比近似地服从二项分布某英语动词在英语语料库中作为及物动词出现也近似地服从二项分布第31页泊松分布(Poisson distribution)离散型一个参数lamda 在某一固定大小范围(或者时间段)内，某种特定类型事件分布例在某一固定大小范围(或者时间段)内,某种特定类型事件分布,比如:在一个篇幅内出现打字错误,在一页内某个词分布等等第32页正态分布(高斯分布Gaussian distribution)(Normal distribution)连续型均值 与标准差 例汉字笔画数与该笔画对应汉字个数符合正态分布第33页无参数方法(Non-parametric)(与分布无关)对数据分布没有预先分布假设仅仅经过最大相同度预计来估算P先验知识比较少,但需要大规模训练数据第34页比较最大相关度来选择模型第35页贝叶斯统计贝叶斯统计实质是可信度数量化 可信度是这么计算出来有先验知识依据数据应用贝叶斯定理更新知识先验概率分布P(M)当新数据到来后,依据贝叶斯公式计算P(M|D).P(M|D)成为新概率模型贝叶斯决议假设我们有两个模型M1和M2 我们需要决定哪一个愈加好(愈加符合实际数据)第36页信息论第37页集合论第38页函数与关系第39页微积分第40页粗糙集第41页.第42页