计算机软件技术在大数据时代的应用研究.pdf

SOFTWARE软 件2023第 44 卷 第 8 期2023 年Vol.44,No.8基金项目：河南省教育厅高等教育教学改革研究与实践项目“新工科背景下产学研多方合作大数据应用型人才培养研究与实践”（2021SJGLX616）；教育部高等教育司产学合作协同育人项目“新工科背景下人工智能专业建设方案研究”（202102633001）；教育部高等教育司产学合作协同育人项目“嵌入式系统及应用方向师资队伍建设”（202102020023）作者简介：王燕玲（1982），女，河南新郑人，本科，副教授，从事计算机科学与技术专业相关的教学工作；毛建景（1980），女，河南南阳人，博士研究生，副教授，从事计算机教育教学和研究工作；冯梦清（1990），女，河南新郑人，硕士研究生，讲师，从事计算机相关工作。计算机软件技术在大数据时代的应用研究王燕玲1 毛建景2 冯梦清1（1.郑州工业应用技术学院信息工程学院，河南郑州 451150；2.郑州工业应用技术学院软件学院，河南郑州 451150）摘要：先进的大数据软件技术能够高效化地处理网络、生产体系中的数据信息，深层化分析数据，挖掘出数据内在价值。处在大数据时代背景下，计算机软件运行环境大大改善，海量数据应用、传输的安全性大大提升。本研究对大数据时代下计算机软件技术进行了论述，分析了计算机软件技术及大数据技术间的关系，并总结了大数据采集、大数据存储、大数据查询、大数据可视化中计算机软件技术的应用，以期在大数据时代充分发挥计算机软件技术的优势，进一步推动计算机软件技术的优化升级，助力大数据时代和计算机行业的发展、进步。关键词：大数据；计算机软件技术；应用策略；网络技术中图分类号：TP393 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.08.011本文著录格式：王燕玲,毛建景,冯梦清.计算机软件技术在大数据时代的应用研究J.软件,2023,44(08):050-052Research on the Application of Computer Software Technology in the Age of Big dataWANG Yanling1,MAO Jianjing2,FENG Mengqing1(1.School of Information Engineering,Zhengzhou Institute of Industrial Application Technology,Zhengzhou Henan 451150;2.School of Software,Zhengzhou Institute of Industrial Application Technology,Zhengzhou Henan 451150)【Abstract】：Advanced big data software technology can efficiently process the data information in the network and production system,deeply analyze the data,and dig out the intrinsic value of the data.In the context of the big data era,the operating environment of computer software has been greatly improved,and the security of massive data application and transmission has been greatly improved.This research mainly discusses computer software technology in the big data era,analyzes the relationship between computer software technology and big data technology,and summarizes the application of computer software technology in big data collection,big data storage,big data query,and big data visualization,with a view to giving full play to the advantages of computer software technology in the big data era,and further promoting the optimization and upgrading of computer software technology,help the development and progress of the big data era and the computer industry.【Key words】：big data;computer software technology;application strategy;network technique基金项目论文计算机软件技术的开发在大数据分析中占据着重要地位。大数据的管理功能，依赖于专业软件工具、编程技术，开展大数据采集工作时涉及到程序算法规定格式及字段，同时数据库的查询及存储也应用到专项 HQL或 SQL 等语言，而大数据可视化则需要借助前端编程语言、工具1。开展计算机软件技术在大数据时代的应用研究具有重要意义，能够促使计算机软件技术融入到互联网大数据中，实现计算机软件技术的与时俱进。1 大数据时代下计算机软件技术概述1.1 大数据大数据技术涵盖不同类型的大数据平台、大数据指数体系，具有数据整合效率高、数据处理进程快、数据种类繁多、数据规模大等显著特征2。依托大数据技术处理数据信息，提炼出具有较高价值的信息，对数据库51王燕玲 毛建景 冯梦清：计算机软件技术在大数据时代的应用研究功能进行优化，从而帮助用户进行科学判断，做出正确的决策，显著提升工作效率。大数据技术主要有大数据接入技术、大数据存储技术、大数据分析与挖掘技术、大数据共享交换技术、大数据展现技术。其中，大数据接入技术主要包括Sqoop、Kafka、ActiveMQ 以及 Flume 等；大数据存储技术涵盖 Hive、Hdfs、ElasticSearch、Hbase 和 Redis 等；大数据分析与挖掘技术包括 MapReduce、Sprak、Pig、Mahout等；大数据共享交换技术有Kafka、Web Service、Socket 和ZeroMQ 等；大数据展现技术包括 ECharts、Tableau。1.2 计算机软件技术计算机软件技术是软件设计、实施及应用等多项技术的统称，涉及程序设计语言、数据结构、数据库系统、软件工程及多媒体等多项技术。计算机软件技术主要包括云存储技术、虚拟化技术以及信息安全技术三大类型，细分为系统架构技术、数据库安装和操作技术、Linu 操作系统和程序编码技术等3。计算机软件技术依托大数据技术使信息传输的整体效率得到显著提升，保障信息传输的通畅性。计算机软件技术中的 Hive、Spark 和 HBase 等技术同大数据技术密切相关，发展过程中，应用范围持续扩大，成功开发出大数据终端，提升了计算机网络速率，助力了大数据时代综合发展的目标。2 大数据和计算机软件技术之间的关系基于网络系统开展线上操作、管理活动，能够在系统中记录、保存各环节的相关信息，促进生活化场景的数据化、流程化和业务化转变。细化的业务场景形成了海量系统运营数据，对网络数据信息管理工作提出了更高的要求。面向互联网环境下庞大的数据规模，大数据技术作为一套专业数据管理技术，结合数据信息本体呈现的需求关系来对各类应用场景下的数据载体应用特征进行界定，还能够参考系统预设标准完成自主驱动处理4。大数据时代计算机软件技术的应用呈现出大众化、智能化、服务化和国际化的趋势，凭借基础能力、数据采集、数据存储、数据查询、数据计算机和其他核心功能，实现了大数据开发和管理，在通信领域、商业运营领域、企业信息战略规划等领域中均发挥着重要作用。大数据和计算机软件技术两者相辅相成、密不可分。以大数据存储功能为例，海量数据信息的读写运用到 Hbase 和分布式 NoSQL 数据库，其中数据库相关技术即为计算机软件技术5。结合大数据技术下软件技术功能类型图来看，大数据应用下的各核心节点均涉及到计算机软件技术，所以在计算机软件技术不断更新、新计算机软件技术及工具不断形成的过程中，会极大地促进大数据技术的发展和应用。3 计算机软件技术在大数据时代的应用3.1 在大数据采集中的应用大数据技术中数据采集必须要借助专业计算机软件技术，具体应用措施包括如下几种：（1）是基于服务器日志的数据采集。用户在对 App或网站等软件系统进行访问时，页面设计的按钮具有选择、输入及点击等监听事件的功能，使用户的所有前端操作行为被网站所监听。用户的各项操作会使前端发出相应的网站请求，并在后端程序推出专项程序代码6。完成服务访问后，有关记录形成一定规模的日志信息，自主对日志格式进行设置。例如：在 Nginx 服务器下，用户信息、访问时间、IP 抵制及网络链接强求均可以记录在日志中。通过数据处理工具，包括 Linux 使用 TAR命令切割大文件、正则表达式匹配等，将有价值的信息从日志文件内进行提取和存储。（2）是实时采集。实时采集中应用率最高的即为Kafka，其适用于访问请求数量较多、数据规模庞大的网络应用系统，拥有临时存储功能，支持部分系统数据进入到该分布式的消息系统内，批量化处理、保存后端系统中的数据。（3）是网络请求写入数据。用户将表单、Ajax 请求提交或发送给前端系统后，浏览器请求可以向后端传送数据参数，开展数据运算处理，并在大数据存储系统内保存一定类型的数据资源。（4）是网络采集脚本写入数据。前端网页抓取数据的重要方式是爬虫技术，主要是借助 Python 对网络爬虫脚本进行编写，在网站系统中完成数据采集任务。该前端数据采集方式可以针对数据开展逻辑运算，生成应用价值较高的存储数据。3.2 在大数据存储中的应用大数据存储中计算机软件技术的应用主要包括以下类型：（1）是借助关系型数据库的系统架构构建数据库集群，向多个关系型数据库划分数据存储任务。例如，在数据库中存储网站系统的图片资源，其他类型数据资源则在不同数据库内进行存储，实施分表及分库化保存。数据访问时，结合访问资料类型，于后端程序代码中选择相应数据库，使数据库存储功能增大，并快速响应需求7；（2）是 HBase 技术。HBase 作为分布式数据库，是大数据存储技术的核心，拥有较强的可靠性、良好的性能，能够依托 API 或 Shell 接口对数据资源进行存储。52软 件第 44 卷 第 8 期SOFTWAREHBase 技术并未限定数据的结构，依靠灵活化的存储模式，提高了数据存储效率；（3）是 NoSQL 数据库。ES、Redis、Memcache 和 MongoDb 等 均 属 于 NoSQL 数据库，属于非关系型数据库。其中，MongoDb 的数据格式为 Bson，性能强大，存储字段名称为 name，且存储内容为“yeyz”“zhangsan”，能够对存储信息进行扩充，对新字段进行增添擦操作，高效地完成海量数据的存储任务。3.3 在大数据查询中的应用在 Oracle、MySQL 等关系型数据库下的大数据存储系统中，通过 SQL 语句对数据进行查询，弥补了关系型数据库的不足，主要包括以下几种：（1）Hive 技术。Hive 作为 Apache 公司所研发的技术架构，以 Hadoop技术为支撑，是重要的数据仓库管理工具，在大数据分布式系统中发挥着重要作用。Hive 技术将 HQL 作为查询语言，能够对基于文件的结构数据映射为同关系型数据库相近的数据表，借助 SQL 语言在映射的数据表中对字段信息进行查询；（2）Spark 技术。该计算机软件技术是大数据分析引擎，包括 Graphx、Spark Core、MLlib 和Spark SQL 等，内设 Spark SQ（运用 SQL、HQL 查询语言）和编程语言，支持大数据查询操作，具有较强的扩展性和通用性，执行速度较快8。其中，Spark SQL 适用于不同类型数据源，如：Hive 表、JSON 格式等。不同计算机软件技术协调配合，共同为大数据查询提供了可靠的支撑，也为大户数业务的发展奠定了坚实的基础。3.4 在大数据计算中的应用大数据时代依托计算机软件技术成功开发出高效的大数据计算引擎，例如，Spark Streaming、Flink、Spark 以及 Storm 等。大数据计算引擎属于计算机软件技术，划分为离线、实时两大类计算引擎。其中，Spark是代表性的离线计算引擎；Flink 和 Spark Streaming则为实时计算引擎，计算速度精确到毫秒或秒，延时量相对较大，能够以 T+1 秒为基准进行评估。而批量化的大数据计算任务则主要由 Storm 来完成。Flink 计算引擎占据着重要的位置，数据处理操作，为数据库内数据的有效存储提供了保障，但在实际运行过程中存在内存占用量较大的弊端。3.5 在大数据可视化中的应用前端软件包、JavaScript 等是常用的前端软件开发技术，实现了大数据可视化功能，可以运用前端页面对数据信息进行呈现、展示，构建数据可视化管理模式。以大数据时代企业实际运营管理工作需求为例，在了解用户大数据基础上，在前端借助与电子地图相近的方式将数据信息在版图中呈现出来，依靠视觉化的图形来清晰、快速地分析信息。数据表格、报表、图例等是主要的大数据展示种类。在实现大数据可视化功能时，应保证前端软件界面、后端数据查询代码有效搭配，并通过CSS、HTML5 和 JS 等前端语言完成编写任务。ECharts、Highcharts 等是当下应用较为广泛的可视化前端计算机软件工具平台，具有集成化的特征。以 ECharts 开源可视化为例，其包括不同行业中各类图表，比如，雷达图、柱状图及折线图等，可以在前端展示数据，支持开发工作者对图例进行自主开发、定义。4 结语作为大数据技术的基础，计算机软件技术在不断更新发展的过程中，形成了大量先进的软件工具、先进的编程语言、集成化的软件框架，复杂程度大大提高，在大数据采集、存储、前端展示等方面均发挥着重要的作用。在大数据技术应用范围日益扩大的背景之下，计算机软件技术迎来了全新的发展机遇，通过创新计算机软件技术，可以持续优化大户数时代信息处理方式，构建出全新的信息处理、应用方式，彰显计算机软件技术在大数据中的应用价值，实现智能化、多功能应用，推动二者的同步发展。参考文献1 陈世光.大数据视域下我国计算机软件的技术类型及具体应用探究J.智慧中国,2023(4):84-85.2 李松涛.基于大数据背景的计算机应用技术发展分析J.华东科技,2022(10):66-68.3 武贺斌.基于计算机软件技术的模式识别软件系统开发J.软件,2022,43(10):79-81.4 张雪莲.计算机软件技术在大数据时代的应用分析C/香港新世纪文化出版社.2022年第二届创新人才培养与可持续发展国际学术会议论文集(中文).2022年第二届创新人才培养与可持续发展国际学术会议论文集(中文),2022:261-262.5 任晓英.探究大数据技术在计算机软件系统开发中的应用J.中国信息化,2023(4):55-56.6 李佩,朱秋霞.基于大数据技术的计算机软件应用J.集成电路应用,2023,40(5):160-161.7 韦霞.大数据视域下计算机软件技术的开发与应用J.数字技术与应用,2022,40(10):88-90.8 吴小华.大数据时代计算机软件技术存在问题及对策研究J.软件,2021,42(12):113-115.