基于电网分布式存储构建业务分析模型的探索和研究.pdf

计算机与通信技术Computer and Communication Technology自动化技术与应用2024 年第 43 卷第 3 期Techniques ofAutomation&Applications基于电网分布式存储构建业务分析模型的探索和研究赵小凡,杜舒明,刘 超（广东电网有限责任公司广州供电局，广东 广州 510610）摘要:由于电网大数据分散存储在不同的独立存储服务中，难以保证文档检索全面性和准确性，影响查询业务质量。为此，构建基于电网分布式存储的业务分析模型。切分待存储文件，组成文件碎片，分布存储到不同的存储节点中，构建电网分布式存储模型。针对该模型，扩展查询业务关键词，增大查询范围。基于查询业务扩展结果，构建业务探索分析模型，从分布式数据库中检索相关文档。实验结果表明：所构建模型的各类电网大数据检索F1值接近1，提高了电网分布式存储文档检索的全面性和准确性。关键词:电网分布式存储；扩展查询；检索模型；业务分析模型中图分类号：TP311.133.1文献标识码:A文章编号:1003-7241(2024)03-0124-04Exploration and Research on Constructing Service Analysis ModelBased on Power Grid Distributed StorageZHAO Xiao-fan,DU Shu-ming,LIU Chao(Guangzhou Power Supply Bureau,Guangdong Power Grid Co.,Ltd.,Guangzhou 510610 China)Abstract:Because the big data of power grid is stored in different independent storage services,it is difficult to ensure the comprehensive-ness and accuracy of document retrieval,which affects the quality of query business.In order to solve the above problems,a ser-vice analysis model based on power grid distributed storage is constructed.The files to be stored are segmented to form file frag-ments,distributed and stored in different storage nodes,and the power grid distributed storage model is constructed.For this mod-el,it expands the query business keywords and expands the query scope.Based on the query business expansion results,it buildsa business exploration and analysis model to retrieve relevant documents from the distributed database.The experimental resultsshow that the F1 value of all kinds of power grid big data retrieval of the constructed model is close to 1,which improves thecomprehensiveness and accuracy of power grid distributed storage document retrieval.Keywords:power grid distributed storage;extended query;retrieval model;business analysis model收稿日期:2022-02-21DOI:10.20033/j.1003-7241.（2024）03-0124-04.1引言电力作为现代主要能源，在人们的生产、生活中起到了不可替代的作用。随着电网的大范围覆盖，电力大数据剧增，为电力服务提供了可靠的数据支持，但是电力数据的剧增给电力数据存储管理带来了巨大的难度和挑战，集中式存储已经无法满足电力管理要求，因此为减少电力存储压力，一种新式存储方式出现并被广泛应用，即分布式存储1。分布式存储就是将电网数据资源分散存储在多台独立服务器上，防止负载集中在一台服务器，使压力得以分散2。然而，随着需要存储的数据逐渐增加，更多独立服务器加入存储系统当中，造成业务查询困难。当用户需要进行查询时，输入查询指令，数据库系统根据查询指令检索电网信息或数据文件。由于电网数据文件是分开存储的，导致查询出来的文件缺乏全面性。在此背景下，针对电网分布式存储模式，如何提高业务查询全面性成为提升电网数据服务质量的关键。针对上述问题，目前常用的解决方式是模糊查询方式，这种方式是利用模糊数学的贴近度进行信息查询的处理方法，由于拓宽了信息查询的应用范围，在不完整语义或歧义描述下也可获得较为完整的查询结果，但是这种方式容易查询出大量不相关或相关程度较低的电网信息，影响了查询精确度3。针对上述问题，提出一种基于电网分布式存储构建业务分析模型。通过该模型以期提高电网分布式存储业务调取的全面性和准确性，降低分布式存储的查询难度，提高数据利用率和服务质量。2基于电网分布式存储的业务分析模型构建分布式存储模式的应用极大地缓解了电网大数据存储的压力，但是也增加数据查询的难度，很难保证数据查询的全面性。为此，针对电网分布式存储构建一种业务124自动化技术与应用2024 年第 43 卷第 3 期计算机与通信技术Computer and Communication TechnologyTechniques ofAutomation&Applications分析模型。该模型将查询扩展应用其中，通过查询词的扩展扩大查询业务范围，对扩展后的用户查询业务进行分析，完成从数据库中检索文件的任务4。2.1电网分布式存储模型目前，电网大数据存储方式主要有两种，一种是集中式存储，一种是分布式存储。前者优点是部署结构简单，易于管理和查询，缺点是存储空间有限，对大数据的管理能力较差；后者与前者正好相反，优点是更能满足大数据存储的需要，存储空间较大，缺点是数据不易管理，查询访问难度大5。分布式存储是将大数据分散存储到若干个独立的存储服务上，不再是统一存储在一个存储节点上，极大地缓解了存储压力6，图1为分布式存储模型。图1分布式存储模型从图1中可以看出，分布式存储主要分为六步骤。下面针对这些步骤进行具体分析。步骤一：文件切分。分布式存储的前提和基础是对电网大数据X进行切分，切分成n个文件块，这些文件块也被称为文件碎片，构成集合，记为：（1）式中，xi代表第i个文件碎片；步骤二：构建碎片矩阵。对文件碎片进行复制m次，得到碎片副本Xij。（2）式中，n代表文件碎片的副本数目；步骤三：构建文件碎片树Merkle Tree。将文件碎片随机存储到各个不同的存储节点上，构建文件碎片树7；步骤四：文件分发。文件碎片树结构将文件分发到不同的存储节点上，也就是建立文件碎片与存储节点之间映射关系，映射关系描述公式D(xij)如下：（3）其中，（4）（5）式中，ij代表碎片分发信息描述；i,j均代表碎片序号；MT(X)代表文件碎片树结构；p代表存储节点个数；r(ij,p)为随机选取函数；Y代表存储节点集合；f()代表选取规则；yr(ij,p)代表存储节点8；步骤五：构建文件存储关系对应表ST(X)。（6）步骤六：构建分布式存储节点的文件标识信息F(X)。（7）式中，K(X)代表文件X的描述关键字集合。基于上述过程，完成了电网大数据的分布式存储，并给每个独立存储节点赋予了文件标识信息，以便后期文件查询的需要9。2.2查询业务扩展针对建立的电网分布式存储模型，为其查询业务建立扩展模型，也就是通过扩展检索词的辐射范围来解决分布式存储查询难以保证全面性的问题10。查询扩展，简单地说，就是查询语句扩展、字词的扩展等，通过一种基于聚类分析方法提出查询业务扩展方法。该方法基本原理如下：根据用户初始查询词得出查询结果，然后利用聚类算法对查询结果均需聚类，然后从中筛选出与查询词相关但含有查询词较少的文档，最后从中提取出新查询句，完成查询业务扩展11。具体过程如下：步骤一：根据用户查询业务语句，建立初始查询向量，记为；为各个分布式存储节点中每篇文档建立文档向量，记为=(f1,f2,fm)，其中m为文档总数量；基于检索模型，根据初始查询语句向量 进行初始检索，得出初始检索结果；步骤二：计算初始检索文档与初始查询语句向量 之间的相关程度Sim12。对相关程度Sim进行从大到小排序，组成文档集合Z=(z1,z2,zn)，其中n为初始检索文档数量。从Z中随机选择k个文档向量，并将其设置为类中心向量；步骤三：计算存储在各个分布式存储节点中各个文档向量与k个类中心向量之间的距离，记为d。对d进行从小到大排序，然后找出距离类中心最小的文档向量，并125计算机与通信技术Computer and Communication Technology自动化技术与应用2024 年第 43 卷第 3 期Techniques ofAutomation&Applications将其分类到所属类别当中；步骤四：重复上述过程，遍历所有的存储节点中所有的文档。重新计算各个类的类中心向量，并回到步骤三。判断新的类中心向量是否发生改变？若不改变，则继续进行下一步，否则回到步骤三；步骤五：计算初始查询句 与各个类的类中心向量之间的相关程度Sim。计算公式如下：（8）式中，代表第j个类中心向量13。计算分布式存储节点中每篇文档与 之间的相关程度Sim。计算公式如下：（9）式中，代表调节因子，取值在0到1之间。按照Sim 值大小，同样按照从大到小顺序排序，得到排序后的文档集合。将中前N篇文档的所有关键词作为扩展候选词，记为P=(p1,p2,pn)。这里n为候选词的数量。计算P=(p1,p2,pn)中每个候选词的权重wi。计算公式如下：（10）式中，查询候选词i的权重；代表可调整的参数；U代表前N篇以外的文档数量14。选取wi值最大的K个词作为扩展词，并与初始查询语句组成新的查询词，完成查询业务扩展。通过用户查询语句的扩展，使得查询业务请求更加详细，这能在很大程度上保证后期业务探索分析的全面性，弥补分布式存储结构难以查询的问题。2.3业务探索分析模型基于上述查询业务扩展结果，进行业务探索分析模型构建，如图2所示。图2业务探索分析模型业务探索分析模型的工作根据检索词从独立的各个分布式存储节点中检索出相关文档15。其中，检索器运行规则如下：（11）式中，n、m表示检索词和电网大数据文档的数量；ai表示第i个检索词向量；bj表示第i个电网大数据文档向量；表示检索词与电网大数据文档之间的相似度。3模型应用仿真测试以MATLAB为仿真工具，以基于模糊查询的业务分析模型为对比项，进行仿真测试与分析。3.1测试样本本次仿真测试所使用的电网大数据分布情况如表1所示。表1电网大数据分布情况数据类别名称电力设备资产类电网故障维修类电网施工类电力销售类电力抄表类电力供应类文档数量255 254546 45524 6427 584 04215 844 510 45554 545 635检索关键词电力设备故障施工销售抄表需求借鉴某电力企业应用的分布式存储系统，将表1中的电网大数据进行切分，形成碎片，并随机分布存储到20个存储节点当中，如图3所示。图3电网大数据分布式存储情况3.2查询扩展对检索词进行查询扩展，扩展结果如下：电力设备资产类：变压器、断路器、隔离开关、电流互感器、电压互感器、避雷器、母线、电抗器、电容器、继电保护装置等；电网故障维修类：故障发生时间、故障类型、故障位置、故障维修时间、故障损失、故障维修人员、故障维修方式；电网施工类：施工地点、施工时间、施工成本、施工人员、电网施工设备、电网施工材料、施工风险；电力销售类：电力价格、电力类型、电力销售量、交易时间。电力抄表类：抄表值、抄表时间、抄表数据人员；电力供应类：电力消耗量预测、电力预测值、电力需126自动化技术与应用2024 年第 43 卷第 3 期计算机与通信技术Computer and Communication TechnologyTechniques ofAutomation&Applications求峰值、电力供应范围。3.3探索模型评价指标探索模型主要是针对电力分布式存储难以保障业务查询的全面性和准确性，为此，在这里通过计算二者之间的综合值F1值来进行评价。F1值计算公式如下：（12）（13）（14）式中，代表分布式文档中与检索扩展词相关的文档集合；代表检索结果集合中与检索词相关的文档集合；代表检索得到的文档集合；R代表检出的相关文档数量与检出的文档总量的比率；P代表指检出的相关文档数量与数据库中相关文档总量的比率。F1的取值范围为0到1之间，且越接近1，表明模型的分析探索结果越好。3.4结果对比分析相同仿真测试条件下，利用所研究业务分析模型和基于模糊查询的业务分析模型从分布式数据库当中检索文档数据，并统计F1值（无单位），结果如下：（1）所研究模型：电力设备资产类：0.866；电网故障维修类：0.835；电网施工类：0.847；电力销售类：0.844；电力抄表类：0.888；电力供应类：0.865。（2）基于模糊查询的业务分析模型电力设备资产类：0.755；电网故障维修类：0.762；电网施工类：0.771；电力销售类：0.756；电力抄表类：0.748；电力供应类：0.746。从上述结果可以看出，所研究模型应用下，得出的各类检索F1值均大于0.8，而基于模糊查询的业务分析模型应用下，得出的各类检索 F1 值均小于 0.8，在 0.7 左右。二者对比，前者更接近1，由此说明所研究的模型弥补了电网分布式存储难以保障检索全面性和准确性的问题，达到了研究目标。4结束语综上所述，随着电网规模的逐渐扩大，电网数据剧增，给电力系统电力存储业务带来了巨大难度。因此分布式电力数据存储逐渐取代集中式存储，但是这种存储方式应用下，数据查询业务服务质量难以保证，为此构建基于电网分布式存储的业务分析模型。在该模型中通过扩展查询词来提高文档检索全面性和准确性，弥补电力数据存储的不足。然而，本研究在测试部分，扩展词数量较少，导致检索结果与实际情况仍存在一定的偏差，因此有待进一步分析和研究，提升分析模型的准确度。参考文献:1 王玉军，卢敏，孙云枫,等.基于大数据技术的电网历史数据管理设计实现J.电子测量技术，2020，43(3):30-34.2 王冠男，杨镜非，王硕,等.考虑EV换电站调度和区块链数据存储的电网分布式优化J.电力系统自动化，2019，43(8):149-166,257.3 崔金栋，王胜文，辛业春.区块联盟链视角下智能电网数据管理技术框架研究J.中国电机工程学报，2020，40(3):836-848.4 唐爽，王亚沙，赵俊峰,等.基于本体推理的终端用户数据查询构造方法J.软件学报，2019，30(5):1532-1546.5 张平，赵晶，虞志刚,等.空间信息网络分布式存储方案研究J.中国电子科学研究院学报，2019，14(3):256-264.6 严新成，陈越，巴阳，等.云环境下支持可更新加密的分布式数据编码存储方案J.计算机研究与发展，2019，56(10):2170-2182.7 韩文军，余春生.面向输变电工程数据存储管理的分布式数据存储架构J.沈阳工业大学学报，2019，41(4):366-371.8 姚立群，邓攀，任海,等.星载多源数据的分布式存储与快速检索系统设计J.单片机与嵌入式系统应用，2019，19(4):1-5.9 郭庆，朱一凡，谢莹莹,等.面向大规模网络流量数据的实时汇聚查询关键技术研究J.小型微型计算机系统，2020，41(6):1314-1320.10 赵彦庆，程芳，魏勇.一种海量空间数据云存储与查询算法J.测绘科学技术学报，2019，36(2):185-189.11 马菁，李力.RDD上扩展索引层优化的分布式K-means算法J.计算机工程与应用，2019，55(1):167-173,276.12 罗希意，霍晓阳，傅洛伊.基于窗口函数和分布式集群的可视化学术搜索系统数据查询优化J.上海交通大学学报，2019，53(8):978-982.13 余传明，胡莎莎，叶鹏昊,等.基于深度强化学习的查询扩展模型研究J.情报理论与实践，2019，42(9):146-153.14 贾大宇，信俊昌，王之琼,等.存储容量可扩展区块链系统的高效查询模型J.软件学报，2019，30(9):2655-2670.15 戴厚乐，杨庚，闵兆娥.分布式环境下多关键词并行密文检索方案J.计算机应用，2019，39(10):2948-2954.作者简介:赵小凡（1986-），女，硕士，工程师，研究方向：软件工程。127