基于样本数据重复性的分布式数据库自动化查询方法_许伟.pdf
《基于样本数据重复性的分布式数据库自动化查询方法_许伟.pdf》由会员分享,可在线阅读,更多相关《基于样本数据重复性的分布式数据库自动化查询方法_许伟.pdf(4页珍藏版)》请在咨信网上搜索。
1、自动化技术与应用2023 年第 42 卷第 6 期计算机与通信技术Computer and Communication TechnologyTechniques ofAutomation&Applications基于样本数据重复性的分布式数据库自动化查询方法许 伟,胡 婷(宿迁市烟草专卖局(公司),江苏 宿迁 223800)摘要:为提高分布式数据库数据的查询效率和准确率,设计一种考虑样本数据重复性的分布式数据库自动化查询方法。提取数据信息的主要特征,确定主要信息方程的权衡函数,整合重复样本信息;分段数据库内的数据,明确数据特征,自适应分解得出自动化查询聚类中心和目标函数;采用ICTCLAS分词
2、系统计算关键词在文本中出现频率,根据灰狼优化算法求得最优函数集获取最优参数集;结合Shingle检测并标记样本信息匹配度,完成最终数据查询。实验结果表明方法查询准确率高于90%,平均耗时低于35 s,可被广泛推广使用。关键词:分布式数据库;模糊聚类分析;F-Measure方法中图分类号:TP274文献标识码:A文章编号:1003-7241(2023)06-0087-04Automatic Query Method of Distributed DatabaseBased on Repeatability of Sample DataXU Wei,HU Ting(Suqian City Toba
3、cco MonopolyAdministration(Company),Suqian 223800 China)Abstract:In order to improve the query efficiency and accuracy of distributed database data,an automatic query method of distributed data-base based on repeatability of sample data is designed.It extracts the main features of data information,d
4、etermines the trade-offfunction of the main information equation,and integrates the repeated sample information;It segments the data in the database,clarifies the data characteristics,and adaptively decomposes to obtain the automatic query clustering center and objective func-tion;The ICTCLAS word s
5、egmentation system is used to calculate the frequency of keywords in the text,and the optimal func-tion set and the optimal parameter set are obtained according to the gray wolf optimization algorithm;Combined with shingle,de-tect and mark the matching degree of sample information to complete the fi
6、nal data query.The experimental results show that thequery accuracy of the proposed method is higher than 90%and the average time is less than 35 s,which can be widely used.Keywords:distributed database;fuzzy clustering analysis;F-Measure method收稿日期:2022-02-09DOI:10.20033/j.1003-7241.(2023)06-0087-0
7、4.1引言我国社会经济和消费水平提升,加速了科学技术进步,特别是近年来电子计算机在日常生活中被广泛应用,数据信息和并发访问量的快速增长,导致数据库中存有众多重复数据。为方便查找目标信息,国外研究人员尝试建立非关系数据库,将信息划分至不同数据库中,在应用模块中同源汇总,以缓解重复数据内存占用率高的问题。国内研究人员石艳丽1通过前台端管理、借阅信息查询两部分,为用户提供可视化查询界面,帮助个体筛选已借出书籍,实现借阅信息查询;唐运乐2提出一种基于动态分布式聚类算法的大数据查询处理方法。划分输入的数据,以RRD格式存储;采用划分和层次混合动态聚类算法对数据进行分布式聚类;通过K近邻查询方式获得查询结
8、果。但是,上述方法都忽视了重复信息对查询的影响,导致查询结果内包含过多重复性信息,干扰用户判断。分布式数据库中的关系数据库,借助于集合代数等概念和方法来处理数据库中的信息,非关系数据库则可以弥补关系数据库的缺陷,将信息进行二次转化,便于有效避开重复数据,完成自动化查询。同时分布式数据库也叫做逻辑数据集或耦合数据库,即指利用物理存储介质模块进行分散存储,重组成存储空间和集成参数耦合的数据库。该数据库具有存储空间大、集成性好等优点。随着数据规模不断扩大,分布式数据库显示出良好的应用前景,但同时也会受到数据耦合作用影响,查询结果会出现一定误差。为提高查询结果的准确性,提出了考虑样本数据重复性的分布式
9、数据库自动化查询方法。以设计的数据样本整合存储系统为基础,提取出文本关键词特征,使用Shingle算法验证查询结果的召回率,通过仿真实验,验证了所提方法具有更高的准确率,可被推广应用。87计算机与通信技术Computer and Communication Technology自动化技术与应用2023 年第 42 卷第 6 期Techniques ofAutomation&Applications2考虑到样本数据重复性的信息整合提高分布式数据库中信息输送路径匹配精度,可以有效避免重复数据的产生,便于得出精准的查询结果,因此需要针对多种样本数据进行整合。首要任务为集成数据库信息,选择数据库中初始
10、数据和字符串作为主要特征集的提取向量3,获得特征指标权重,随后使用分布式数据库的信息积累分布功能,整合成数据信息。具体步骤如下:设wf为函数Y(t)的传输结束频率,Y(n)表示Y(t)的集合,公式(1)表示需整合的多层分布式中的数据集。(1)式中,S0表示尺度函数,Sk表示在高频时段的数据差值,dk表示分布式数据收集到的初始信息集。设devey为分布式数据库中识别率偏低的数据集,gppet为需要整合的信息量,mgyn表示需要集成的信息量必须满足的集成约束条件,通过式(2)得到初始数据方程:(2)式中,dghk表示信息库中的关联性数据4,ffil表示数据库中的主要特征向量。使用dgio和drjo
11、表示重复度最高的数据矩阵,kert为不同元素信息存储模块,eety代表查询容错率,构建数据库中的主要信息方程:(3)式中,vfip表示数据采样位置的位置确定参数,mkk表示分布式数据库中的信息量大小。设dgik为数据的关联信息,Rqwe表示数据库的特殊范数,得出分布式数据库信息的权衡函数:(4)式中,sdfg表示数据信息联合系数的分散值,fegh为数据属性和时空分布状态。如果用fh表示数据参数的近似取值,rrhj表述为数据属性系数的权重向量空间,便可提出数据库异构数据信息的累积分布函数:(5)式中,wdgj表示异构信息在整合过程中的周期误差,则被描述为数据源信息的采样周期。根据式(5)计算结果
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 样本 数据 重复性 分布式 数据库 自动化 查询 方法 许伟
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。