市政工程大数据质量评价方法研究.pdf
《市政工程大数据质量评价方法研究.pdf》由会员分享,可在线阅读,更多相关《市政工程大数据质量评价方法研究.pdf(5页珍藏版)》请在咨信网上搜索。
1、第1期(总第232期)2024 年 2 月CHINA MUNICIPAL ENGINEERINGN o.1 (S e r i a l N o.2 3 2)F e d.2 0 2 4141市政工程大数据质量评价方法研究张 雯 婷(中国市政工程中南设计研究总院有限公司,湖北 武汉 430010)摘要:大数据已在市政工程中得到了广泛应用,但大数据稀疏性和质量不高的问题亟待解决。为此,提出 1 种大数据质量评价方法,其中包括一级特征指标 7 项,二级度量指标 38 项和算术加权平均计算公式。地形图和 BIM 图库的实际案例验证说明,该方法可用、有效、正确,其对市政工程大数据质量评价实际应用具有一定的参
2、考价值。关键词:大数据;质量;评价方法中图分类号:U448.21 文献标志码:A 文章编号:1004-4655(2024)01-0141-03收稿日期:2023-03-07作者简介:张雯婷(1989),女,高级工程师,博士,主要从事市政工程指标体系和评价方法研究。DOI:10.3969/j.issn.1004-4655.2024.01.031大数据已在各行各业得到了广泛应用,但大数据的稀疏性和质量不高却成为其应用的“瓶颈”。目前这方面的研究,一是如何提高大数据的质量;二是如何对大数据质量进行评价。1 国、内外现状大数据质量研究包括大数据质量内涵、大数据质量管理和大数据质量评价 3 个方面1,其
3、中,大数据质量评价研究涉及模型,评价体系与指标以及评价方法。文献 2 涉及质量特征指标。查阅大数据质量特征文献发现,其中 12 篇有一定代表性。涉及的质量特征列表见表 1。表 1 大数据应用质量特征指标文献列表文献质量特征文献 3完整性、可信性、一致性、完备性、有效性、及时性和可访问性文献 4相关性、可信度、易理解性、准确性、保密性、并发性、可用性和流行性文献 5可访问性、授权性、及时性、文档性、可靠性、准确性、一致性、完备性、充分性、可审计性、适应性、可读性和结构性文献 6正确性、有效性和精确性文献 7准确性、可信度、相关性、通用性、完整性、全面性、一致性、唯一性、及时性、有效性和可追溯性文
4、献 8准确性、可及性、清晰度、相关性、一致性和及时性文献 9完整性、可靠性、准确性、一致性、解释性、可用性、互用性、安全性、时效性、响应性、流通性和有效性文献 10 可信性、客观性、可靠性、密度性、多样性、可解释性、简明性、一致性、易懂性、适量性、完整性、相关性、增值性、及时性、易操作性、广泛性、可访问性和安全性文献 11完整性、一致性、机密性、精确性、可信性、时间性、有效性、易理解性文献 12规范性、安全性、到达率、完整性、无误性、实时性、一致性、准确性、置信度、有效性、集成性、效率性和价值性文献 13准确性、完整性、一致性、完备性、有效性、及时性和可访问性文献 14针对性、关联性、最小性、
5、紧凑性、简洁性、可理解性、清晰性、简单性、衔接性、连贯性、可信性、可靠性、信誉度和权威性由表 1 可见,共有质量特征 120 个,每篇文献的质量特性从 3 个到 18 个各不相同,但文献的每组特征都是 1 个独立的质量度量体系。比较发现,文献涉及的质量特征有很多相同的项,比如,准确性、关联性、保密性、可信性、完备性、有效性、时效性、可靠性、通用性、简明性、权威性、理解性、可用性、文档性、衔接性、集成性、追溯性、一致性、适应性、规范性、结构性(大)、密度性(大)、紧凑型(大)等。分析发现,与大数据产品质量“功能性”相关的,即编号的有 3 个;与大数据产品质量“性能性”相关的,即编号的有 8 个;
6、与大数据产品质量“易用性”相关的,即编号的有 5 个;与大数据产品质量“维护性”相关的,即编号的有 1 个;与大数据产品质量“移植性”相关的,即编号的有 3 个;与大数据产品质量“大数据”相1422024 年第 1 期张雯婷:市政工程大数据质量评价方法研究关的,即标识(大)的有 3 个。归纳总结发现,以上 12 篇文献的质量特征值得借鉴,但也存在不足:第一,效率特征度量缺失;第二,大数据分析和挖掘的二级特征度量不足;第三,“维护性”二级特征不足;第四,“推广性”二级特征不足。为此,本文将在这几个方面进行完善。以上分析对大数据应用二级质量特征的定义有较强的参考意义。2 大数据质量特征指标和计算方
7、法2.1 大数据质量指标根据表 1,现给出大数据质量 7 个一级特性指标:功能性指标 x1,性能性指标 x2,易用性指标x3,效率性指标 x4,挖掘性指标 x5,维护性指标 x6和推广性指标 x7。指标打分有 4 级:(优秀,良好,一般,较差)=(4,3,2,1)。大数据质量特征指标见表 2。表 2 大数据质量特征指标一级特征功能性 性能性 易用性效率性挖掘性 维护性推广性二级特征适合性 成熟性 理解性 时间特性 关系性 分析性适应性准确性 完整性 易学性资源性结构性 修改性安装性安全性 简明性 操作性规模性分块性 扩充性共存性共享性 通用性 连接性管控性稀疏性 追踪性替换性开放性 重用性 灵
8、活性直观性 审核性支持性依从性 时效性 自述性封装性1)功能性 x1:指大数据满足用户明确和隐含要求功能的能力,包括 4 个二级质量特性指标,即合适性 x11,准确性 x12,安全性 x13和依从性 x14。2)性能性 x2:指大数据达到规定功能的能力程度,包括 6 个二级质量特性指标,即成熟性 x21,完整性 x22,简明性 x23,通用性 x24,重用性 x25和时效性 x26。3)易用性 x3:指提供给用户使用大数据的方便程度,包括 6 个二级质量特性指标,即理解性x31,易学性 x32,操作性 x33,一致性 x34,灵活性x35和自述性 x36。4)效率性 x4:指用户应用大数据的效
9、率,涉及大数据使用的时间开销、环境资源的开销、大数据产品的规模(多少字节 bit),相关指标是否容易被度量,是否容易被管控。包括 4 个二级质量特性指标,即时间性 x41,资源性 x42,规模性 x43和管控性 x44。5)挖掘性 x5:指对大数据内部、局部、关系进行分析与数据挖掘难易度的描述,比如结构是否简单,是否容易分层分块,数据密度大不大,是否直观等,包括 5 个二级质量特性指标,即关系性 x51,结构性 x52,分块性 x53,稀疏性 x54和直观性 x55。6)维护性 x6:指如果对大数据进行维护,是否容易进行解析、修改、扩充、拆解、追踪、审核,包括 6 个二级质量特性指标,即分析性
10、 x61,修改性 x62,扩充性 x63,追踪性 x64,审核性 x65和封装性 x66。7)推广性 x7:指大数据从厂商到用户的过程和服务,包括 5 个二级质量特性指标,即适应性 x71,安装性 x72,共存性 x73,替换性 x74和支持性 x75。2.2 大数据应用质量算术平均方法假设大数据质量数学上可以表示为 X。实际中,数据工程师可用算术求和公式(1)。(1)式中:ki为各一级指标的权重,所有 ki之和为 1;kj为各二级指标的权重,所有 kj之和为 1;i=1,2,7;j=1,2,6;xij为二级质量特性指标。3 实证验证3.1 卫星地形图质量评价方法比较卫星地形图是设计单位经常使
11、用的 1 种数据。市政设计单位在进行城市道路、立交桥、(给水、排水、热力、通信、电力、煤气)管网、自来水厂、污水处理厂、垃圾处理厂等工程设计时,地形图是基础性的数据。这类产品通常由勘察设计院通过航拍的方式提供有偿服务。下面以武汉市江夏区百点工业园卫星地形图为例,进行地形图数据产品的质量评价,见图 1。图 1 武汉市江夏区百点工业园卫星地形图在此,请相关 5 名设计人员,站在用户角度对图1进行一级指标打分,可得到表3的前6列。其中,A 为勘察工程师,B 为结构工程师,C 为给排水工1432024 年第 1 期张雯婷:市政工程大数据质量评价方法研究程师,D 为城镇规划工程师、E 为计算机工程师。利
12、用公式(1)计算可以得到表 3 的第 7 列,然后再求第 7 列的平均值得 3.62,这说明,该数据质量属于优良级别。表 3 地质图像数据打分人员功能性性能性易用性效率性挖掘性平均A3.803.603.603.803.603.68B3.703.503.703.603.403.58C3.603.803.403.503.803.62D3.403.503.603.603.703.56E3.803.703.503.703.603.66平均3.663.623.563.643.623.623.2 BIM 图库及其平台的质量评价BIM 图库及其平台是(建筑、市政、电力、公路、桥涵、铁路等)工程设计单位在做项
13、目可行性研究时经常使用的 1 种大数据产品,它是 1 种图计算数据 集。BIM(Building Information Modeling)是 虚拟建筑工程 3D 模型,及组装图库组件形成 3D 动画影像视频的平台。市政设计单位在进行工程项目招投标时,通常会制作和播放 BIM 全景漫游动画,以便让甲方和评审专家了解项目的概貌,为项目审批提供必需的直观展示。部分 BIM 图库设计出的渲染效果图见图 2。现以某院 BIM 图库及其平台为例,进行其数据产品的质量评价。请某计算机工程师对 BIM 图库及平台进行打分,并确定权值,即得到表 4。首先计算表 4 每行的平均值,再利用公式(1)可得到结果 3
14、.39,这说明,该数据质量属于优良级别。图 2 效果图表 4 BIM 图库质量特征打分及权值一级指标 权值二级指标及取值平均值功能性0.30合适性4正确性4安全性4共享性1开放性1依从性418/6性能性0.30成熟性4完整性4简明性4通用性4重用性4时效性323/6易用性0.15理解性3易学性3操作性3连接性4灵活性3自述性319/6效率性0.15时间性3资源性3规模性3管控性413/4挖掘性0.10关系性3结构性4分块性4稀疏性4可视性419/54 结语本文提出了 1 种大数据质量评价的方法,包括一级特征指标 7 项,二级度量指标 38 项和算术加权平均计算公式。与同类方法比较而言,本方法指
15、标体系相对齐全,是其创新点。研究发现,实际案例应用说明,该方法可用、有效、正确。该方法有待在更大范围内试用和验证,是即将展开的工作。参考文献:1 刘冰,庞琳.国内外大数据质量研究述评 J.情报学报,2019,38(2):217-226.2 IMMONEN A,PKKNEN P,OVASKA E.Evaluating the quality of social media data in big data architectureJ.IEEE Access,2015,3:2028-2043.3 ABDULLAH N,ISMAIL S A,SOPHIAYATI S,et al.Data quali
16、ty in big data:A reviewJ.International Journal of Advances in Soft Computing and its Applications,2015:17-27.4 KULKARNI A.A study on metadata management and quality evaluation in big data managementJ.Engineering Technology&Applied Science Research,2016,4(7):455-4595 CABALLERO I,SERRANO M,PIATTINI M.
17、A data quality in use model for big dataC/Proceedings of the International Conference on Conceptual Modeling.Heidelberg:Springer,2014:65-74.(下转第 148 页)1482024 年第 1 期翟东:软土地区桥梁桩基础基于经济性的精细化设计方法探讨由图 3 可知,通过单位体积桩基价格对 Qv进行修正后,对于不同桩长情况下分别采用调整“桩长”或“桩径”的方法,其与 Qv关系的线型发生了相应变化。对于桩长较短(L=15 m)时,两者调整的效率差距拉大,优劣性更加明
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 市政工程 数据 质量 评价 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。