高职计算机实验室大数据分析系统设计.docx

高职计算机实验室大数据分析系统设计 摘要： 近年来，高等职业技术学院不断扩大其办学规模，高职院校实验室各类应用系统中积攒了大量的数据，如何从这些数据中发现具有决策价值的信息变得越来越重要。建设大数据实验室可以对这些数据进行深层次观察和分析。本文采取通用大数据架构，结合高职院校特点，提出了一种建设大数据实验室的方案，为实验室的教学、实验室管理提供决策依据。高校实验室在提供教学任务、培养人才的同时，实验室各类应用系统，如实验结果、实验室管理系统、门禁系统、监控系统、机房预约系统、电子班牌系统等信息化系统中，积攒了大量的业务数据。高职院校中，数据的周期、容量、规模和类型都在不断增长。如何从这些沉睡的数据中发现具有决策价值的信息变得越来越重要。高校实验室应当把数据从单纯的存储向分析、挖掘升级转变，通过对各级各类教育教学、管理系统数据的采集、关联、分析等方法，将数据转化为潜在的知识，构建高校实验室大数据可视化与决策分析体系为实验室及学科建设发展服务。本文设计实现一套计算机实验室大数据决策分析系统，为实验教学、实验室管理提供决策依据，包括实验教学分析、学生行为分析、实验室资源管理等。1 系统开发背景与要求1.1. 高职院校实验室管理特点1.1.1 信息复杂度高高职院校相对高校培训周期较短，并且一般需要承担短期培训任务，因此，人员类别较复杂。高职院校所各专业课程都需要依托计算机实验室进行专业课实验、线上教学或线上考核，而各专业对于计算机实验室的使用大多周期较短，通常一学期使用计算机实验室只有 12 周。同时，不同院系对于计算机的使用要求和功能需求具有一定的差异化和独立性，导致计算机中应用软件和系统设置难以统一管理。因此，高职院校计算机实验室使用者数量多、类别复杂、需求不统一，导致信息复杂度高，给管理带来了一定难处，更难以在复杂数据总挖掘可供参考的信息。1.1.2 管理模式相对落后高职院校中计算机实验室的日常管理仍然是人为管理为主，现代化的计算机设备以及管理系统只是辅助作用，主要还是承担资产信息存储的作用，对于临时性的资源调配、问题发现解决以及长久性的资源共享机制建设，都没有很好的实现。在出现业务交叉、共享利用时需要进行大工程量的人为干预操作，费时费力。因难以掌握全面的管理信息，上级部门进行管理决策时，缺乏及时、科学、有效的判断依据。1.2 系统开发要求针对以上问题，基于云计算平台对于数据进行集中的资源管理优势，考虑到计算机实验室对于数据安全性、客户端操作便捷性、复杂业务交互性以及日常管理等方面的要求，为加强数据存储、运算，提高资源利用率，本文将在云计算架构基础上设计实现一套计算机实验室大数据决策分析系统，以提升实验室管理水平，挖掘实验信息资源。包括“实验资源管理”、“实验室安全管理”和“考核评价管理”。2. 相关技术2.1 大数据大数据(BigData)，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据应用相比于传统的数据应用，具有数据体量巨大、数据类型繁多、查询分析复杂、处理速度快等特点，大数据技术就是提供从各种各样类型的数据中快速获得有价值信息的能力。高职院校中，数据的周期、容量、规模和类型都在不断增长。如何从这些沉睡的数据中发现具有决策价值的信息变得越来越重要。2.2 云计算云计算就是通过互联网，将复杂的待处理程序拆分成多个子程序，交由多部服务器组成的系统进行数据搜索、计算、分析，再讲处理结果返回用户，以实现强大的计算机效果。采用云计算技术，能够将实验室中的相关教学资源及软件设备通过一定的服务器平台进行有效的共享。目前分布式云计算平台搭建主要是基于Hadoop 架构在 Linux 系统上进行搭建。2. 计算机实验室大数据分析系统设计采用云计算技术实现共享大数据实验平台，由a物理机集群共同充当提供资源的宿主机，生成的虚拟机也是在物理机集群上运行，客户端通过网络来访问云平台中的虚拟机 ，或访问云平台提供的服务。云计算平台将为大数据分析系统提供强大的数据计算、分析服务。3.1云平台的体系结构高校在建设大数据实验室的时候需根据自己的经费预算和实际需要，来选择是使用公有云还是自建大数据私有云，云平台的虚拟化有KVM、Xen、Docker等。可采用应用容器引擎 Docker来实现，Docker 容器是一种轻量级虚拟化技术，直接和宿主机的操作系统内核交互，性能损耗较少。为了便于管理，常采用大规模容器编排管理框架 Kubernetes来统一规划和部署 Docker 容器。使用计算机实验室时，可从容器镜像中克隆出相应的虚拟机并分配给学生使用，实验结束后，所有虚拟机被回收，其资源被重新放回云平台的资源池供下次分配使用。3.2 大数据分析平台设计云平台为实验室管理提供了更加便捷的方式，也能够更加全面地获取实验相关数据。为更有效地利用这些数据，大数据管理平台应包含四大功能模块：系统管理、实验教学分析、学生行为分析、实验室资源管理。3.2.1 系统管理主要面向系统管理员和系统维护人员，用于系统设置、权限分配和数据维护等，包括对实验室管理数字系统相关运行参数的修改，以及对其他维护信息进行的数据增加、查询、修改、删除等操作。3.2.2 实验教学分析该模块主要面向教师，内容包括开设实验课程信息、实验教师信息、实验班级、人员信息、教学日志、学生实验成绩管理等。通过这类信息的综合评判，可以用于对教师的技术能力、管理水平等方面进行综合评定，以量化的方式来衡量教师的综合水平，为教师的职业发展方向提供决策分析。3.2.3 学生行为分析主要面向学生用户，包括学生实验学生信息、考勤情况、实验课堂表现、实验数据、学生实验成绩查询等。学生信息除包含基本信息外，还应包含学生的基础知识、相关经验等个性化信息，便于更适合个人的实验课题，实现分层教学。学生行为信息可以全面反映学生的综合素质，以此挖掘学生的兴趣所在，为学生未来发展提供参考建议。3.2.4 实验室资源管理包括实验室的使用、维护、更新、新增、报废等信息，根据这些信息管理人员可以快速使用工具安排实验室，并通过与门禁管理系统结合，与校园一卡通对接，实现教学实验分批、分组智能安排、考勤签到等。实验室资源管理也包括仪器设备的更新、维护、报废。实现从仪器设备的申报、审批、采购、合同签订、验收、使用、维修、报废、档案管理等的全生命周期管理，从而使实验资源管理更规范、更便捷、更高效、实验仪器设备的使用效益以及实验室开放效能考核。4 结束语基于云平台的计算机实验室大数据分析系统，将大数据与云计算技术充分融合，整合实验室教学资源，提高资源共享及资源利用率，降低实验室管理人员工作复杂度，对实验室数据进行深入的探索和分析，分析数据背后的状况，为教育工作者决策分析提供借鉴参考。下一步将开展实验室数据可视化研究，构建更加完善的高职院校实验室大数据挖掘分析平台。 -全文完-