R语言数据挖掘.doc
《R语言数据挖掘.doc》由会员分享,可在线阅读,更多相关《R语言数据挖掘.doc(21页珍藏版)》请在咨信网上搜索。
1、 R语言数据挖掘论文题目:数据挖掘实战之网站智能推荐服务 指导老师: 张 敏 小组成员: 周犬义 王宁 数据挖掘实战之网站智能推荐服务一、背景与挖掘目标伴随着计算机技术、通信技术的日益成熟和广泛应用,互联网自90年代初开始得到迅猛发展,至今虽然只有短短几十年的时间,但它已经发展成为现今信息时代人类生活中不可或缺的重要组成部分,并成为全球范围内传播信息的主要渠道。随之而来的是互联网上信息资源越来越丰富,人们要在浩如烟海的“混乱的”互联网信息世界中找到自己真正感兴趣信息却存在很大的困难,具体表现在:用户不知道如何贴切表达真正想要的网上资源的需求,也不知道如何去更准确有效地寻找,即所谓的 “信息迷失
2、”问题;和对收到的或已经下载的大量无关的信息难以消化,即所谓的“信息过载”问题。虽然我们可以借助于搜索引擎来检索Web上的信息,但仍不能满足不同背景、不同目的和不同时期的查询要求,因为大多数搜索引擎缺少主动性,没有考虑用户的兴趣偏好和用户的不同,无法有效地解决信息过载和信息迷失的问题。为了适应用户不断增长的信息需求,有效地解决信息过载和信息迷失给人们带来的种种问题,研究人员纷纷从人工智能中寻找突破口。在许多探索性研究中,个性化推荐服务作为一种崭新的智能信息服务方式,应用前景广泛,十分引人注目。与搜索引擎不同,推荐系统并不需要用户提供明确的需求,而是通过分析用户的历史行为,根据用户的行为主动推荐
3、能够满足他们兴趣和需求的信息。因此,对于用户而言推荐系统和搜索引擎是两个互补的工具。搜索引擎满足有明确目的的用户需求,而推荐系统能够帮助用户发现感兴趣的内容。因此,在电子商务领域中推荐技术可以起到以下作用:第一,帮助用户发现其感兴趣的物品,节省用户时间、提升用户体验;第二,提高用户对电子商务网站的忠诚度,如果推荐系统能够准确地发现用户的兴趣点,并将合适的资源推荐给用户,用户就会对该电子商务网站产生依赖,从而建立稳定的企业忠实顾客群,提高用户满意度。本案例研究的对象是泰迪智能科技有限公司的泰迪杯竞赛网站,泰迪科技是一家专业从事大数据挖掘应用研发、咨询和培训服务的高科技企业。泰迪杯竞赛网致力于为用
4、户提供丰富的泰迪杯竞赛信息、数据挖掘培训咨询服务,并为参赛者提供了往届优秀作品作为参考,为高校提供了丰富的教学资源,如:案例教程、教学视频、教学书籍、建模工具等。随着网站量增大,其数据信息量也在大幅度增长。用户在面对大量信息时无法及时从中获取自己需要的信息,对信息的使用效率越来越低。这种浏览大量无关信息的过程,造成了用户需要花费大量的时间才能找到自己需要的信息。为了能更好地满足用户需求,依据其网站海量的数据,研究用户的兴趣偏好,分析用户的需求和行为,发现用户的兴趣点。引导用户发现自己的信息需求,将网页精准地推荐给所需用户,帮助用户发现他们感兴趣但很难发现的网页信息。为了能够更好的满足用户需求,
5、依据其网站海量的数据,研究用户的兴趣偏好,分析用户的需求和行为,发现用户的兴趣点,从而引导用户发现自己的信息需求。行为记录原始数据:利用read.csv函数把原始数据导入R语言RStudio中,整理数据进行下一步的处理。当用户访问网站页面时,系统会记录用户访问网站的日志,其访问的数据记录了访问序号、内容id、访问内容、用户id、ip等多项属性的记录,并针对其中的各个属性进行说明,如表 2-2 所示。表 2-2 访问记录属性表属性名称属性说明属性名称属性说明id访问序号browser_type浏览器类型content_id内容idbrowser_version浏览器版本page_path网址pl
6、atform_type平台类型username用户名称platform_series平台系列userid用户idplatform_version平台版本sessionid一次浏览标识data_time访问时间ipip地址mobile_type手机类型country国家agent代理商area区域uniqueVisitorID唯一浏览ID依据所提供的原始数据,确定挖掘目标如下:挖掘目标:1、借助大量用户的访问记录,发现用户的访问行为习惯,对不同需求的用户进行相关服务页面的推荐;2、根据用户访问内容、访问次数等属性特征,深入了解用户对访问网站的行为和目的及关心的内容二、 推荐系统架构总体流程主要步
7、骤:1. 从系统中获取用户访问网站的原始记录。2. 以用户访问jhtml后缀的网页为关键条件,对数据进行处理。3. 对数据进行多维度分析,用户访问时间,用户访问内容,流失用户分析以及用户分群等分析。4. 对数据进行预处理,包含数据去重,数据删选,数据分类等处理过程。5. 对比多种推荐算法进行推荐,通过模型评价,得到比较好的智能推荐模型。通过模型对样本数据进行预测,获得推荐结果数据抽取:1.网页类型分析 图一结论:从去掉.jhtml的网址中针对用户的浏览习惯,对教学资源、竞赛、企业合作、新闻合作进行分类提取分析,其中教学资源、竞赛、企业合作、新闻合作分别占总数的百分比为29.50%、34.50%
8、、9.70%、25.40%,这样让我们更深入地去了解用户需要什么,进而为下一步的推荐提升一定的需要。2.脏数据探索l 脏数据探索一:在记录中,存在一部分这样的用户,他们没有点击具体的网页(.jhtml形式的),点击的大部分是目录网页,总共有12091条记录,应删掉这部分。l 脏数据探索二:对数据中存在部分翻页网址,大量的用户基本只会选择浏览了25页后,如果没有搜索到想要的内容,直接就放弃此次的搜索,很少会选择浏览完全部内容,因为这部分网页存在首页,故对数据处理应删除翻页部分。3.点击次数分析点击次数用户数用户百分比记录百分比1236939.74 5.36 296416.17 4.36 3470
9、7.88 3.19 43906.54 1.80 52654.44 3.00 62023.39 2.74 71682.81 2.66 7次以上113319.01 80.08 分析:1.浏览一次的用户占所有用户39%左右,记录数占5%左右;浏览七次以上的用户占所有用户的80%左右,其中40%的用户,为网址提供了大约90%的浏览量2.对点击次数最大值进行分析,其大多是关于“Python数据分析与挖掘实战图书配套资料下载”的总共2075次。4.网页点击数排名排序网址点击数1tipdm.org/zytj/index.jhtml2469 教学资源2tipdm.org/yxzp/index.jhtml212
10、3 竞赛3tipdm.org/ts/661.jhtml2075 教学资源4tipdm.org/notice/757.jhtml1378 新闻公告5tipdm.org/stpj/index.jhtml1296 竞赛6tipdm.org/qk/729.jhtml1072 竞赛7tipdm.org/ts/654.jhtml 934 教学资源8tipdm.org/jszz/index.jhtml900 竞赛9tipdm.org/ts/785.jhtml 838 教学资源10tipdm.org/ts/578.jhtml 831 教学资源11tipdm.org/xtxm/index.jhtml749 企业
11、合作12tipdm.org/notices/index.jhtml 709 新闻公告13tipdm.org/notice/758.jhtml 661 新闻公告14tipdm.org/sj/638.jhtml648 新闻公告15tipdm.org/ts/index.jhtml645 教学资源16tipdm.org/sj/789.jhtml 569 新闻公告17tipdm.org/sm/736.jhtml 513 竞赛18tipdm.org/ts/655.jhtml505 教学资源19tipdm.org/ts/747.jhtml 487 教学资源20tipdm.org/cgal/index.jht
12、ml 467 竞赛分析:表中可以看出,点击次数排名前20名中,“教学资源”类占了大部分,其次是“竞赛”类,然后是“新闻公告”类。5.同网页翻页的点击数网址点击数比率tipdm.org/yxzp/index.jhtml2123tipdm.org/yxzp/index_2.jhtml 2750.130tipdm.org/yxzp/index_3.jhtml1680.079tipdm.org/yxzp/index_4.jhtml 110.005tipdm.org/yxzp/index_5.jhtml80.004tipdm.org/yxzp/index_6.jhtml50.002tipdm.org/s
13、tpj/index.jhtml1296tipdm.org/stpj/index_2.jhtml1170.090tipdm.org/stpj/index_3.jhtml530.041分析:同一网页中登录次数最多大部分都是从主页搜索引擎直接收索到的网页。可了解到用户进行同网页翻页的比例相对较少,会出现用户衰减的情况。1、如果网页需要翻的页数太多,大量的用户基本只会选择浏览了2-6页后,没有搜索到想要的内容,直接就放弃此次的搜索,很少会选择浏览完全部内容。2、通过搜索入口,直接找到需要的帮助,就不需要对网址进行翻页处理。3、如果翻页情况比较小,可以建议设置全页显示,知识页面无此功能6.数据处理流程三
14、、数据预处理1.数据清洗, 针对上述归纳的脏数据类型,对原始数据进行数据清洗。删除数据类型删除数据记录原始数据记录百分比翻页1277609912.093%乱码错误网址5609910.0081%网站主页2527609914.143%无.html 120916099119.8%重复网页165906099127.2%2.数据选择, 选择记录中.jhtml后缀的记录,并对其进行手动分类处理。类型总记录数百分比(27612)说明zytj、yxsp、jmgj、information、tsasdf、dsjkf、jiao、jmg、tts、sjfxs、sjsdf790628.63%教学资源jszz、stpj、y
15、xzp、cgal、firsttipdm、secondtipdm、thirdtipdm、fourthtipdm、jingsa、kjxm、qk、sdfasf、sm、td954434.56%竞赛qyal、xtxm、wjxq、zxns、zzszl314511.38%企业合作news、notice、notices、sj786928.50%新闻合作3.数据集成:教学资源竞赛 用户泰迪公司 浏览 网页企业合作新闻公告四、统计分析选取知识内容中的教学资源类型进行分析网址内容点击次数tipdm.org/ts/661.jhtmlPython数据分析与挖掘实战图书配套资料下载2075tipdm.org/ts/654
16、.jhtmlR语言分析与挖掘实战图书配套资料下载934tipdm.org/ts/785.jhtml 贾圆圆数据挖掘竞赛平台838tipdm.org/ts/578.jhtmlMatlab分析与挖掘实战图书配套资料下载831tipdm.org/ts/655.jhtmlHadoop分析与挖掘实战图书配套资料下载505对其中的点击次数与网页进行分析。点击次数网页个数(87)网页百分比记录数(2075)记录百分比11011.5%100.48%244.6%80.39%33345%90.43%420757080.46%204898.70%分析:通过教学资源网页类型网页点击排名和网页个数点击次数可以看出,人们
17、对数据挖掘类比较感兴趣,从网页点击个数我们可以看出, 点击4次以上的网页个数占了80%左右,浏览量却占了98%,因此我们可以考虑,按点击行为进行分类,分析构建模型算法。四、模型构建与检验由于用户访问网站的数据记录很大,如果对数据不进行分类处理,对所有记录直接采用推荐系统进行推荐,这样会存在以下问题: 数据量太大意味着物品数与用户数很多,在模型构建用户与物品的稀疏矩阵时,出现设备内存空间不够的情况,并且模型计算需要消耗大量的时间。 用户区别很大,不同的用户关注信息不一样,因此即使能够得到推荐结果,其推荐效果也会不好。 分析思路基于项目的协同过滤性能:UserCF适用于用户较少的场合,否则计算用户
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 语言 数据 挖掘
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【丰****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【丰****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。