基于大数据文本聚类关联的网络招聘信息挖掘.doc
《基于大数据文本聚类关联的网络招聘信息挖掘.doc》由会员分享,可在线阅读,更多相关《基于大数据文本聚类关联的网络招聘信息挖掘.doc(15页珍藏版)》请在咨信网上搜索。
1、教学单位湖北工程学院学生学号 012301124127本科毕业论文(设计)题目基于大数据文本聚类关联的网络招聘信息挖掘学生姓名 郑小乐专业名称统计学指导教师张学新2016年4月5日目 录1、引言11、引言12、网络招聘信息挖掘综述12。1文本挖掘定义及特点12。1。1文本挖掘的定义12。1。2文本挖掘的特点12.2文本挖掘及其网络招聘信息挖掘的现状23、网络招聘信息挖掘步骤33。1读取网页招聘信息文本文件33。2招聘信息文本分词43.2。1分词43。2.2设置频繁出现的领域干扰词53.3词频统计与词云63。4招聘信息文本聚类分析73.4.1特征词权重73。4.2TFIDF法计算关键词权重83。
2、4.3相似度计算83。4。4创建文本-词条矩阵93。4。5K均值聚类94、招聘信息文本Web图分析125、建议13参考文献15附录16致谢18基于大数据文本聚类关联的网络招聘信息挖掘摘 要:随着计算机网络技术的迅速发展,网络招聘信息平台已成为招聘者发布信息和应聘者获取职位的主要途径。大量的网络招聘信息蕴含着用人单位丰富的需求知识,诸如对人才的能力、素质等方面的要求.本文自行爬取2015年11月2016年4月拉钩网24万5千多条企业招聘信息,使用R语言编程,通过中文分词,设置频繁出现的领域干扰词,词频统计,文本向量化,应用k均值聚类及网状Web图方法分析社会各行业对人才的能力及素质要求,描绘企业
3、基本信息、薪资水平、工作经验要求间的关联强度,给高校及时了解社会对人才的需求变化,有针对性的调整人才培养方案以及应届毕业生求职提出有益建议.关键词:大数据;网络招聘信息;聚类分析;Web图;R语言编程Online recruitment information mining by vast amounts of text clustering and associatingAbstract:Companying with computer network technology rapid development, network recruitment information platform
4、 has become a main way for recruiter to release information and for job seeker to get job. A large number of network recruitment information contains the knowledge of demand of units for employees, such as the requirement of talents ability and quality, etc. In this paper, more than 24, 5 thousands
5、enterprises net recruitment information, from November 2015 to April 2016 in Lagou net are crawled out. through setting frequent field disturbance terms, Chinese word segmentation, word frequency statistics, text vectorization, k-means clustering using R language programming and Web diagram method a
6、re applied to excavate ability and quality requirements from social various industries for talents, to describe the correlation strengths among enterprise basic information, wages, job experience requirements for employees 。Finally, some beneficial suggestions are put forward for colleges and univer
7、sities to timely understand of the social demand for talents and targeted adjust the talent training scheme ,and some reference are provided for the fresh graduates to apply for a job。Key words: Big data; Network recruitment information; Clustering analysis; Web graph;R language programming1、引言随着互联网
8、技术的迅速发展,网上信息呈爆发式增长,这种增长超过了创造机器的速度,甚至超过了人们的想象。数据库中以文本形式存储的信息越来越多,包含各种数据源的文本,如研究报告、研究论文、数字图书馆、电子邮件和页面等.这些信息的存储方式分为两大类:一是可以用数字、符号等表示的结构化数据,另一类则是非结构化数据。其中非结构化数据的挖掘更难。当今,众多用户开始显示出对文本挖掘的兴趣,希望挖掘出有用的信息、规则。例如,企业把人才招聘信息越来越多的发布到互联网上,这些招聘信息含有用人单位对人才的需求及能力要求,在一定程度上代表了人才需求的未来走向。高校希望利用现代技术手段从互联网上获取有用信息,分析用人单位对人才的需
9、求特点,及时了解社会对人才的需求变化情况,有针对性的调整人才培养方案和设置相关课程,培养出更多的优秀人才以满足社会的需求。应聘者也需要从网络招聘信息平台获取信息,做好求职前的准备工作。本文利用八爪鱼采集器自行爬取拉勾网24万多海量企业招聘信息,应用R语言编程挖掘出一些有用的知识.2、网络招聘信息挖掘综述2.1文本挖掘定义及特点2。1。1文本挖掘的定义网络招聘信息挖掘是一种文本挖掘。文本挖掘是指从大量文本数据中获取先前未知的模式,这种发现必须是可理解的、潜在有用的。分析文本数据,抽取文本信息,目标是发现文本知识。文本挖掘的主要难点在于它必须处理那些本来就模糊而且非结构化的文本数据,是一个多学科混
10、杂的领域,涵盖了统计学、机器学习、数据库技术以及专业软件使用等技术.2.1。2文本挖掘的特点1. 面对的是大量文本集合。2. 文本挖掘发现的知识是以前未发现的.3. 文本挖掘的知识具有潜在价值,是用户感兴趣的直接可用的。4. 文本挖掘算法具有较高的复杂度。5. 文本挖掘涉及多个学科交叉,包括模式识别、统计学、自然语言处理、可视化技术、数据库技术等.2。2文本挖掘及其网络招聘信息挖掘的现状文本挖掘最近几年在国外发展迅速,广泛应用于电子会议、邮件分类、垃圾信息过滤等多个方面13。国内文本挖掘研究则较晚。早期主要是对Web文本挖掘技术研究的介绍4。稍后主要聚焦于对各种改进的k均值聚类算法的精度进行实
11、验研究.王智勇5应用基于词条互信息的统计降维和Kohonen网络相结合的文本聚类算法,测试搜狐网下载的已知类别的486篇文本的聚类精度。李伯阳6在网格聚类算法基础上进行文本聚类,将其应用于14524个垃圾邮件的甄别。蔡坤7基于topN特征词的文本聚类算法,采用复旦大学国际数据库中心自然语言处理小组公开提供的测试语料,从中随机抽取了五大类共200篇文本实证聚类效果。现在的研究则关注中文分词及应用。曾路平8采用中科院开发的ICTCLAS2009共享版进行中文分词,利用单词间的语义相关性,对公安情报系统中的舆情信息聚类分析.钟晓旭910先后对2010年的3家招聘网站的78481条招聘信息及新安人才网
12、上计算机类专业招聘信息进行聚类,统计各个职位的需求量,计算职位间的相关系数。王静11选择2011年的4家招聘网站,包括六种职业的2262个招聘网页,采用伪二维隐马尔可夫模型来分割,抽取其中的职位名、机构名等信息。马力12对302个浏览页面聚类分析,获得用户兴趣序列的频繁模式。王盛明,卢秉亮13从校图书馆读者借阅量表中抽取200名学生的记录,应用加权聚类算法划分读者群体。刘玉华等人14对某城市若干高校历年毕业生的就业数据进行聚类分析、关联分析,开发毕业生和企业间的双向推荐系统。总的来说,国内以上文本挖掘的研究深度有限,所用数据不是真正意义上的网络招聘数据,各种改进的聚类算法的精度可信度不高。鲜见
13、对网页里大量非结构化的招聘数据的挖掘研究。统计分析方法简单,特别的,很少使用软件编程。本文自行爬取2015年11月2016年4月拉勾网(http:/www。lagou。com/)24万多海量企业招聘信息,应用k均值聚类分析社会各行业对人才的能力及素质要求,网状Web图方法描绘企业规模、金融状态、所在行业领域、工作性质、职位类型、薪资水平、应聘者工作经验间的关联强度,为高校了解社会对人才的需求变化情况及时提供信息,设置实践性选修课程提供科学依据。2。3网络招聘信息挖掘的流程文本解析文本向量化文本预处理聚类与关联挖掘中文分词停用词处理词频统计与词云TF-IDF计算权重文档-词条矩阵K-均值聚类网络
14、招聘信息文本集合聚类结果分析Apriori关联挖掘Web图分析图1 网络招聘信息挖掘流程图3、网络招聘信息挖掘步骤3.1读取网页招聘信息文本文件本文首先通过八爪鱼采集器抓取拉钩网的招聘信息,然后汇总到一张csv表格,数据格式如图2所示:图2 网络招聘信息原始数据样例3。2招聘信息文本分词3。2。1分词为了统计分析,必须对获取的大量非结构化数据进行中文分词,提取有意义的中文单词。所谓中文分词指的是将一个汉字序列切分成单独的有意义的词条,以便为其建立索引.经过中文分词后,句子按照一定的规范重新组合成词序列。分词的准确性直接影响着文本挖掘结果的有效性,词分的越准确,对文本的挖掘与分析越能有效提取文本
15、中蕴含的有用信息.本文采用ICTCLAS分词软件包对csv文本中的文本数据进行中文分词.ICTCLAS的分词速度快,精度高,具有词性标注、未登录词识别等功能,是当前世界上最好的汉语词法分析器。为了提高切词的准确率,在分词之前需要导入一些与文本数据相关的自定义词典。本文中文分词示例图3:图3 网络招聘信息文本分词3.2.2设置频繁出现的领域干扰词在分词结果中存在很多连词、介词、助词、感叹词及标点符号,或者一些通用名称词,如“公司”、“描述”等,称做停用词,它们对区分文本没有作用,需要将其删除.首先创建一个停词表,添加招聘内容中出现的停用词。然后,在程序里自定义删除停止词的函数,删除文本中无实际意
16、义的词,得到结果如图4:图4 删除停用词后的分词 相比之前的分词结果,这次精简了很多,剔除了诸如“对”、“的”、“和”等无意义的词。3。3词频统计与词云对分词的结果做一个词频统计,计算出每个词出现的次数并排序,然后取排名前50的50个词语,用wordcloud()的方法来绘制词云。词云是现在很常见的一种分析图,把这些词语放在一张图中,按频次出现的多少来显示词语的大小。判断分词结果的好坏,最快捷的方法是绘制词云,从而可以清晰的查看哪些词不该出现或哪些词分割的不准确。图5 词频统计图6 词云从词云可以看出,除了少数无意义的词未被完全剔除外,分词结果总体上还是比较令人满意的。此外,招聘信息的内容有很
17、明显的特征,“工作”、“能力”、“开发”、“经验出现的次数远大于其他词语;其次出现频率比较高的词语是“设计”、“负责”、“团队”、“熟悉、“产品”等词语,可以看出现在的人才市场比较看重求职者的工作能力、工作经验、责任心、团结协作能力等。3。4招聘信息文本聚类分析文本聚类把所有文本文本按照某种相似性准则聚合为若干类别,同类文本尽可能相似,每一类别挖掘出一个主题。文本聚类是一种无监督的机器学习方法,不需要训练样本,自动化处理能力较高,是文本信息提取的主要手段 8。文本聚类算法要求变量是数值型的,为此,先将文本数据转换为文本-词条矩阵。3.4。1特征词权重设是一个包含个文本的集合,是第个文本的特征向
18、量,为文本中第个特征项词条的权值,则;。3.4.2TF-IDF法计算关键词权重TFIDF方法不仅用特征词在训练文本内的频数度量该词的重要性,而且也考虑包含该词的文本数量,如果包含该词的文本数量太多,那么该词识别不同文本的能力就差,需要把二者结合起来.对于给定文本,TF-IDF算法给出该文本中词条的权重公式(1)其中表示第个特征词在文本中出现的频率;表示该词条在整个文本集中的分布情况,即包含该词条的文本数越少,则越大,说明该词语有较强的类别区分能力。(2)其中的取值通过实验来确定(通常取0.01),为出现特征项的文本数,表示总文本数目.3。4。3相似度计算通过上述方法将文本映射成向量,再选择某种
19、距离度量文本间的相似度。本文用向量夹角的余弦值来度量.设第个和第个职位描述的特征向量分别为,,定义为特征项词条在文本集合中出现的频率;给定文本向量与,选择它们的相似度指标为向量夹角的余弦值:(3)所有招聘信息文本向量化以后,获得结构化数据,再使用R语言编程.3.4.4创建文本词条矩阵将已分完词的列表导入为语料库,并进一步加工处理语料库,从而创建文本词条矩阵,图7展示了部分文本的向量化结果.图7 文本-词条矩阵该文本-词条矩阵实际上为稀疏矩阵,其中矩阵中非0元素有80985个,而0元素有9442015个,稀疏率达到99;最后,这9523个词中,最频繁的一个词出现在了24条招聘信息中.由于稀疏矩阵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 文本 关联 网络 招聘 信息 挖掘
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。