大数据技术及其在教育领域的应用.doc

大数据技术及其在教育领域的应用 【摘 要】互联网时代的数据正在迅速地膨胀，大数据成为信息技术发展的新热点。本文分析了大数据技术的概念及时代背景，阐述了大数据具有规模巨大、类型多样、产生速度快、价值密度低、存储要求高、管理复杂等特点，在教育领域应用大数据技术有利于革新教育理念和教育思维，实现个性化教育，重新构建教学评价方式，加强税务系统基于数据的管理，促进教育信息化深入发展。【关键词】教育信息化；大数据技术；应用随着网络信息技术的加速发展和应用，物联网、移动互联、社交网络等大大拓展了互联网的疆界和应用领域，数据正以前所未有的速度在不断地增长和累积，大数据时代的大幕已经开启。大数据在社会经济、政治、文化、生活等各方面产生深远的影响，将给各行各业的发展模式和决策带来前所未有的革新与挑战。教育行业也不例外，教育管理、思维方式、学习行为、教学评估等，无不受到大数据的影响。大数据的概念及时代背景大数据是一个正在发展中的概念。到目前为止，学术界对于“大数据”一词还没有准确、统一的定义。著名学者涂子沛在大数据一书中指出：“大数据（BigData）是指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、管理和分析的大容量数据，一般以以太节为单位。大数据之大，并不仅仅在于容量之大，更大的意义在于通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来大知识、大科技、大利润和大发展。”最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡全球研究院报告大数据：创新、竞争和生产力的下一个前沿则对“大数据”定义如下：大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”可见，大数据就是指蕴涵着巨大价值的、可有效利用的、多样化的海量数据集。进入2012年以来，世界各国大数据的关注度与日俱增。在2012年1月份的达沃斯世界经济论坛上，大数据是主题之一，并特别针对大数据发布了报告BigData，BigImpact：New Possibilities for International Development，探讨了新的数据产生方式下，如何更好地利用数据来产生良好的社会效益。2012年3月，美国奥巴马政府投资2亿美元，正式启动“大数据发展计划”，这一计划是美国政府继信息高速公路计划之后在信息科学领域的又一重大举措。同时，联合国一个名为GlobalPulse的倡议项目在2012年5月发布报告大数据发展：挑战与机遇，阐述大数据时代各国特别是发展中国家在面临数据洪流时的机遇与挑战，并对大数据的应用进行了初步的解读。目前，一些发达国家、著名研究机构以及大集团公司已将大数据作为获取有效信息和知识的重要来源、调整和部署战略决策的重要依据，大数据技术则成为信息挖掘、整理和分析的重要工具。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间。互联网时代的数据正在迅速膨胀，它决定着组织的未来发展，随着时间的推移，人们将越来越意识到数据对组织的重要性。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的知识信息，对大数据的二次开发则是通过大数据创造出新产品和服务。例如，Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。大数据这股汹涌浪潮正在兴起，将给各行各业的发展模式和决策带来前所未有的革新与挑战，教育领域同样不可避免，面临新的挑战和机遇。大数据的主要特点大数据时代的数据存在着以下几个主要特点。规模巨大。个人和组织面临着数据量的大规模增长，呈现为海量数据。典型个人计算机硬盘的容量为TB量级，一些大企业的数据量已经接近EB量级。而根据麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据。2015年全球移动终端产生的数据量将达到6300PB。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。此外，各种意想不到的来源都能产生数据。类型多样。数据来自多种渠道，如网络日志、社交媒体、互联网搜索、手机通话记录及传感器网等，内容包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。这些实际是多视角的，不仅有正规的数据、媒体新闻数据、时效性的数据，还有带有个人情感的数据。而这些数据又打破了之前限定的结构化数据范畴，包含着结构化、半结构化以及非结构化的数据，并且半结构化和非结构化数据所占份额越来越大。产生速度快。即数据被创建和移动的速度快，时效性要求高，这是大数据区别于传统数据挖掘最显著的特征。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，快速创建实时数据流已成为流行趋势。如一天之内谷歌公司处理几十PB的数据，Facebook新产生约10亿张照片、300TB以上的日志，淘宝网进行数千万笔交易、产生20TB以上的数据，新浪微博的约3亿用户可产生上亿条微博。价值密度低。随着物联网的广泛应用，信息感知无处不在，数据信息海量，但其价值密度较低。价值密度的高低与数据总量的大小成反比，大数据中单条数据可能无价值，无用数据多，但综合价值大。例如，视频数据中，1小时的视频中有用的数据可能仅有一两秒钟，其余的可能是无用的数据，价值密度相对较低。因此，如何通过强大的数据挖掘算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。存储要求高。种类多样的数据源，既提供了大量的数据，又带来了科学存储的问题。大数据通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。当前互联网中的数据向着异质异构、无结构趋势发展，新数据类型不断涌现，用户需求呈现出多样性。目前的存储架构难以解决数据的异质异构、爆炸性增长带来的存储问题，静态的存储方案满足不了数据的动态演化所带来的挑战。因而在海量分布式存储和查询方面仍然需要进一步研究。管理复杂。大数据的规模和复杂结构是传统IT架构所面临的直接挑战，使得传统的数据管理技术不适合处理海量异构数据。许多公司已经拥有大量的存档数据，却没有能力来处理它。传统的关系数据库无法处理大数据的规模，目前可选择的方法包括大规模并行处理架构、数据仓库，或类似Greenplum的数据库以及ApacheHadoop解决方案等。大数据在教育领域中的主要应用1. 革新教育理念和教育思维随着大数据时代的来临，教育大数据深刻改变着教育理念、教育思维方式。新的时代，教育领域充满了大数据，诸如学生、教师的一言一行，学校里的一切事物，都可以转化为数据。当每个在校学生都能用计算机终端学习时，包括上课、读书、写笔记、做作业、发微博、进行实验、讨论问题、参加各种活动等，这些都将成为教育大数据的来源。大数据比起传统的数字具有深刻的含义和价值。例如，对于一张试卷、一次考试，考试得分为90分，它可以是简简单单的一个传统的数字，但如果换一个角度来分析，把它作为一个数据来看待，就可以得到其背后所隐含的许多充满想象力的数据信息：可以是每一大题的得分，每一小题的得分，每一题选择了什么选项，每一题花了多少时间，是否修改过选项，做题的顺序有没有跳跃，什么时候翻卷子，有没有时间进行检查，检查了哪些题目，修改了哪些题目，等等，这些信息远远比一个90分要有价值得多。不单是考试，课堂、课程、师生互动的各个环节都渗透了这些大数据。教育将不再是靠理念和经验来传承的社会科学，大数据时代的教育将步入实证时代，变成一门实实在在的基于数据的实证科学。大数据使得教育者的思维方式发生了深刻变化，传统的教育大多是教育主管部门和教育者通过教学经验的学习、总结和继承来展开的，但是有些经验是不具有科学性的，常识有时会影响人们的判断。大数据时代将可以通过对教育数据的分析，挖掘出教学、学习、评估等符合学生实际与教学实际的情况，这样就可以有的放矢地制定、执行教育政策，制定出更符合实际的教育教学策略。2. 实现个性化教育大数据带来的一个变化在于实施个性化教育具有了可能性，真正实现从群体教育的方式转向个体教育。利用大数据技术，我们可以去关注每一个学生个体的微观表现，比如，他在什么时候翻开书，在听到什么话的时候微笑点头，在一道题上逗留了多久，在不同学科的课堂上提问多少次，开小差的次数分别为多少，会向多少同班同学发起主动交流，等等。这些数据的产生完全是过程性的，包括课堂的过程、作业的过程、师生或生生互动的过程，等等，是对即时性的行为与现象的记录。通过这些数据的整合能够诠释教学过程中学生个体的学习状态、表现和水平。而且这些数据完全是在学生不自知的情况下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的日常学习与生活，因此其采集非常自然、真实，可以获得学生的真实表现。大数据技术将给教师提供最为真实、最为个性化的学生特点信息，教师在教学过程中可以有针对性地进行因材施教。比如，在课堂学习过程中，哪些学生注意基础部分，哪些学生注意实践内容，哪些学生完成某一练习，哪些学生可以阅读推荐书目，等等。不仅如此，当学生在完成教师布置的作业时，也能通过数据分析强化学习。比如，通过电子设备做作业时，某一类型的题目有几次全对，就可以把类似的题目跳过；如果某个类型的题目犯错，系统则可进行多次强化，这样不仅提高了学习效率，也减轻了学生的学习负担。3. 重新构建教学评价方式在教学评价中利用大数据分析，可以通过技术层面来评价、分析，进而提升教学活动，从依靠经验评价转向基于数据评价。教学评价的方式不再是经验式的，而是可以通过大量数据的“归纳”，找出教学活动的规律，更好地优化、改进教学过程。比如新一代的在线学习平台，具有行为记录和学习诱导的功能。通过记录学习者鼠标的点击，可以研究学习者的活动轨迹，发现不同的人对不同知识点有何不同反应，用了多长时间，以及哪些知识点需要重复，哪些知识点需要深化等。对于学习活动来说，学习的效果体现在日常行为中，哪些知识没有掌握、哪类问题最易犯错等成为分析每个学生个体行为的直接依据。通过大数据分析，还可以发现学生思想、心态与行为的变化情况，可以分析出每个学生的特点，从而发现优点，规避缺点，矫正不良思想行为。此外，大数据通过技术手段，记录教育教学的过程，实现了从结果评价转向过程性评价。例如，基于网络学习平台或电子课本，能记录下学生完成作业情况、课堂言行、师生互动、同学交往等数据，教师在期末时将这些数据汇集起来，有了更加丰富的素材与数据依据，可以发现学生学习成长过程的特点，能对学生的发展提出建议。同时，这些数据也可以促使教师进行教学反思，自己在哪些方面需要改进，从而促进和优化教学实施过程。4. 加强学校基于数据的管理大数据对于学校管理具有重要的价值，有利于实现学校管理的精确化、科学化。学校管理离不开信息，学校是培养各类专门人才、传授知识和创造知识的场所，拥有众多的专业学科，与国内外联系广泛，每天进行着各种教学、科研及其管理活动，蕴藏着十分丰富的信息资源。学校管理中的各种决策和控制活动，如培养目标的确定、教学计划的制定、教学组织指挥、教学质量控制、教学评估、教师管理、学生管理等，都是以大量的数据为基础的，并不断产生各种新的数据，大数据的处理和挖掘对于学校管理具有关键作用。利用大数据技术，着眼于管理决策、管理活动、管理过程控制，全面归集学校管理大数据。比如，针对教务管理、行政管理、科研管理、人事管理、财务管理、后勤管理等各类领域，进行全校系统的规划、梳理，具体细化数据收集标准规范，及时归集，形成全校管理大数据。同时，针对重要管理对象的数据，由多个源头、从不同方向对同一个对象进行数据记录，数据之间可以互相印证，形成多源的管理对象大数据。此外，利用大数据分析技术，为学校网络信息安全管理也提供了重要的手段。比如，利用大数据帮助分析学校信息网络运行日志数据，据此学校信息安全管理人员能够审计网络环境，并观察到故障点的位置，然后生成报告，帮助他们升级或安装防病毒解决方案，进行程序修补，或采取其他安全措施，提升学校的信息安全防护能力。注：本文为全国教育信息技术研究“十二五”规划重点课题面向服务的数字化校园理念、策略及平台构建研究研究成果（项目编号：136121252）。四、启示从成都市依托“大数据分析”进行干部教育培训改革的实践中，我们总结出以下经验。第一，干部教育培训要主动运用新思维、新技术。面对“四个全面”战略布局和“五大发展理念”，干部教育培训必须创新思维，主动运用“互联网+”思维和大数据技术，建立干部教育培训体系，以提高培训效能和质量。第二，科学规范培训管理，建立协调、创新、共享的干部教育培训生态链。干部培训工作中，组织部门、培训机构、参训干部及其所在单位职能环环相扣，相辅相成，如果将四方数据汇集起来，建立起立体化的闭环干部培训管理系统，实现集中培训、专题培训、网络培训、涉外培训、高端培训等网络化、平台化管理，就能为干部培训管理规范化和科学化打下基础。第三，运用大数据分析精准对接供给侧与需求侧。针对性是干部教育培训的基本要求，根据汇集的平台化数据及大数据分析技术，其一，可以分析领导干部个人参训知识储备结构，从而有针对性地开展重点专项培训，弥补其专业知识的缺陷，实现培训内容供给与组织学习需求的对接。其二，组织部门在实施干部调训时，可针对性地调训配置学员，实现干部实际供给与组织选拔需求的对接。其三，可以根据学员的历史培训记录，针对性调整其班级培训课程、培训师资等方面内容，避免重复培训，实现培训内容供给与个体学习需求的对接。同时，可以分析学员个体的课堂教学、实践调研等微观状况，对于调整干部培训行为，实现个性化服务、需求培训等具有重要现实意义，从而真正实现“围绕中心、服务大局”、“遵循干部个人成长规律”和“以人为本”的培训目标。其四，通过运用大数据，使干部培训与干部任用有机结合，通过建立起干部培训的电子档案，使干部培训管理数字化，通过查看培训档案和分析培训结果，可以动态了解干部在若干年内的参训知识储备，能更好地实现把干部教育培训作为培养干部、发现干部、考察识别干部重要渠道的目的，提高干部任用的匹配度。 参考文献涂子沛.大数据M.广西：广西师范大学出版社，2012.7.严霄凤，张德馨.大数据研究J.计算机技术与发展，2013（4）.安晖等.大数据：下一个创新、竞争和生产力的前沿J.赛迪译丛，2012（25）.英维克托迈尔-舍恩伯格，肯尼思库克耶著，盛杨燕，周涛译.大数据时代M.杭州：浙江人民出版社，2013.1.