浅谈数据溯源性分析的风向标价值.pdf

2023春季国际PCB技术/信息论坛366智能制造与机械加工技术 Intelligent manufacturing and Machining technology 浅谈数据溯源性分析的风向标价值Paper Code:S-045刘蓉蓉 司鹏博 陶启果（广州广合科技股份有限公司，广东 广州 510730）摘 要 文章基于在各功能模块之间进行数据或信息整合中，由于各功能模块规划和运作，在整体的协同层面可能发生功能间互斥或非高效运作导致的资源利用效率偏低。而实际的业务场景，各功能模块以独立的功能模块满足为基准进行相互独立运作并进行海量数据收集。本文讨论一种对已经获取的海量数据进行溯源性特征分析方法，充分利用大数据作为指引，开展改善和优化工作，可以作为一种指引和借鉴。关键词 隐性需求分析；数据挖掘；BUG探寻；平衡与整合 中图分类号：TN41 文献标识码：A 文章编号：1009-0096（2023）增刊-0366-08 The value of wind vane in data traceability analysisLiu Rongrong Si Pengbo Tao Qiguo Abstract This paper is based on the data or information integration between various functional modules.Due to the planning and operation of various functional modules,mutual exclusion between functions or inefficient operation may occur at the overall collaboration level,resulting in low resource utilization efficiency.In the actual business scenario,each functional module operates independently and collects massive data based on the satisfaction of independent functional modules.This paper discusses a method to analyze the traceability characteristics of the acquired massive data,and makes full use of big data as a guide to carry out improvement and optimization work,which can be used as a guide and reference.Key words Implicit Demand;Characteristic Analysis;Data Mining;Balance and Integration0 引言随着宏观经济的发展以及技术更新迭代，PCB行业在经历数轮大规模产能扩张后，不仅供需矛盾突出；而且，也进入了绝对的细分领域。特别是在通讯和计算领域，PCB代工行业，在产品硬件上，不仅仅需要达成客户要求的技术指标；同时，也需要支持以不同维度的查询和统计，以便能够实时了解产品过程状态；另外，生产过程中的相关参数以及品质管控数据记录也需如实记录。在对产品全生命周期记录中，在满足客户需求的同时，积累了海量的数据。我们需要不断研究如何挖掘这座数据金矿，使之成为改善的风向标，协助企业更好提高资源利用效率，以及与客户共享收益。文章将结合工作中的实际案例，梳理出4个步骤，讨论对于海量数据的溯源性特征值分析，为改善和提升提供指引，便于又针对性的推进改善和优化，体现出数据分析的风向标导向价值。功能显性需求与隐性需求理解。各独立模块功能关联性平衡与整合。367智能制造与机械加工技术 Intelligent manufacturing and Machining technology2023春季国际PCB技术/信息论坛潜在数据挖掘及BUG探寻。系统层面优化及效果评价。1 功能需求显性与隐性需求理解如引言部分所描述，在实际的业务中，无论是IT系统、生产操作过程数据、品质监控数据或工程指示数据记录，在满足各项功能需求的同时也会遗留过程的数据痕迹。这里我们会面临3个问题（本文也以如下3个问题为主导，进行阐述）：A、我们要满足怎样的需求，客户（用户）真实目的是什么？B、我们应该怎样满足这些需求，至少会留下哪些数据？能否同步收集某些关键数据？C、这些数据/信息在满足需求的同时，能否进一步挖掘？需求的表达和理解如下（图1-1）所示，显性需求和隐性需求“译码”准确度越高，本文所提及的论点所涉及的风向标指导意义更大。图1-1 需求的表达和理解2 各独立模块功能关联性平衡与整合我们在日常工作或管理工作中，为完成某个特定目的而提出需求，并最终以工艺规范、MI指示、客户spec或者IT系统开发的形式体现，并期望通过执行过程中的落实达到预期的效果。可以抽象的理解为用户发出需求描述，某个team通过“译码”理解该需求，并从技术/管理手段实现并指定对应的规则，交由执行部门/系统执行后达成预期。2.1 从用户的角度理解功能模块期望和用途相对于开发团队而言，用户对于功能目的理解往往更为直接，但不一定能够准确表达；同时，由于单个用户业务的鼓励性，所提出的需求或功能模块也是“点式需求”，不会过多顾及成体系的逻辑性和信息的平台型建设。再此，我们不仅需要明白用户的当前期望，也需要站在用户的角度理解功能的期望和目的，以及触类旁通引导用户思考是否有类似的需求。如何正确的“译码”用户的需求，并转化为技术/管理层面所需落实的功能，有助于满足正确的用户需求，达到“我实现的，就是你想要的，未来还有类似的要求”。在前期开发板电扫码调参数就是类似典型案例，为了简化输入参数工作，工序希望对脉冲VCP扫码调以下（图2.1-1）参数：面对用户的初步设想，我们站在用户的角度进行理解，从如何更好地实现用户深层次期望地角度进行补充，完善和细化需求的真实目的。2023春季国际PCB技术/信息论坛368智能制造与机械加工技术 Intelligent manufacturing and Machining technology 2.2 从技术实现角度确认功能实现的方法当明确了用户的需求后，我们再从技术的角度进行解读，在兼顾系统容忍性、数据安全性、功能稳定性、对于异常的回馈等方面进行考虑，进行技术层面进行需求实现 a、如何满足用户的需求对于用户而言，期望实现通过简单的扫lots卡条码后可以调取生产参数并驱动设备启动生产。至于调取参数、输入设备控制系统等工作由系统完成。通过和工序及技术人员讨论后，在调取完成基本功能后增加结果反馈环节：如果参数调取成功，设备在上机成功提醒后，投板机自动工作。如果由于各种原因，设备扫码调程序失败，则进行界面提醒。b、如何满足用户未来的需求用户提出需求是基于场景而触发，以达成目前的需求而至。但对于开发者或者技术人员而言，不建议只停留在达成用户当前需求为止。如本节所属案例，笔者在程序开发时，再完成基本的需求功能分析时，同步进行了水平展开：我们还有哪些场景会触发类似功能需求？我们的数据应该怎样处理，才能够相应未来的类似需求？基于基础数据，同各国优化基础规则和对平台数据的分组归类，以满足未来同类需求。我们有完整的工程网络和指示库，存储有海量的数据，从数据的调取层面很容易支持任何数据调取的需求。但是如何成组、分类别归类数据便于后续调取，提高后续调取效率及后续开发的便捷性则是很有价值的。对于本章所描述的案例，在满足用户需求的同时，分类汇总数据，如将所有图电、板电、镀金等与电镀相关的参数分类汇总并建立数据池，便于进行数据调用，主体的逻辑示意如下（图2.2-1）：结合用户的使用习惯，进行数据归类整理后，提升了数据调取效率。从实战经历看，有助于实现用户未来的需求，也有助于帮忙用户更好地优化现有需求，更好地达成预期功能效果。用户表达 脉冲 VCP 扫码调程序 调取参数表 显性需求 1、通过扫 lots 卡二维码,能够查询脉冲 VCP 指示库的 MI指定的内容;2、按照查询规则,导出 MI 指示库的内容,并写入设备控制系统;隐性需求 1、如果设备控制系统写入成功,则系统返回写入成功;如果失败则返回写入失败;3、如果写入成功,设备自动投板机可以启动工作;如果写入失败,不允许自动投板机启动;深深层层次次需需求求 我我们们的的类类似似设设备备,能能够够实实现现扫扫码码调调程程序序功功能能;图2.1-1 参数需求369智能制造与机械加工技术 Intelligent manufacturing and Machining technology2023春季国际PCB技术/信息论坛2.3 功能模块关联性分析和整合在上述的案例中，由于我们建立了基于数据特性类别的数据池，在数据调用或调取时，用访问数据池来替代访问数据库，避免程序直接访问完整数据库导致数据库负荷堵塞，同时由于也有利于后续程序员进行程序开发。结合上述案例，笔者认为，为明晰用户需求，提高用户需求满意度，结合IT开发特点，可以从以下几个方面考虑：图2.3-1 需求模块3 潜在的数据挖掘及BUG探寻前文所述的侧重于需求满足及实现过程，以独立功能达成为目标进行开发并实现，会存在以下类别的问题：需求描述太宽泛导致冗余数据过多、需求间逻辑冲突或互斥、在调取数据时存在频繁的校验和循环运算以及过程中产生核心数据但没有得到充分利用等，导致无论在系统运行方面还是在数据价值挖掘方面都存在极大的改善空间。文章基于工作中的改善案例，建议按以下3个层面进行数据分析，通过对于功能的深度分析，以便明晰功能的意义，更进一步控制和熟悉数据间的逻辑关系以及深度挖掘其价值。3.1 基于功能的特性值分析对于用户的需求进行功能特征分析，不仅需要明确用户的真实目的，而且也需要明确需求的特征信息，用以提炼核心的数据构成。图2.2-1 逻辑示意2023春季国际PCB技术/信息论坛370智能制造与机械加工技术 Intelligent manufacturing and Machining technology 如2.1（图2.1-1）部分图标所示，对于用户提出的“扫码调程序”需求，经过梳理最核心的需求功能特征值就是：根据条码代表的信息从数据库中查找出关键的产品特性产品信息；获取设备电脑控制权限，遵守设备控制电脑的输入协议，将产品信息输入控制电脑；增加数据库的密钥校验规则以确保数据的安全性；图3.1-1 控制过程设计3.2 基于价值的特征值和原理分析在“扫码调程序”的需求中，需要对于用户的需求细项做出原理性分析，哪些需求必须得到满足，哪些需求可以暂缓，哪些需求对系统非常有价值，哪些需求会对所有用户造成影响，如上图如所示，我们对“扫码调程序”进行简单的价值分解及未来使用的可能性。3.4 基于用户体验的BUG探寻当按照用户的需求及数据结构开发完功能并测试成功后，一般意义上可以立即为开发完成，但是对于溯源性数据分析和特征值分析才刚刚开始。通过用户使用的电子痕迹，分析实体用户的体验以及逻辑用户的体验是否和预期相一致。对于实体用户而言，在使用过程中会反馈是否达到预期效果、系统响应是否及时、有无错误发生以及有无对生产效率影响。对于逻辑用户（逻辑上存在的用户，如逻辑调用子程序、服务器CPU或配套的硬件等），在实体用户使用的过程中，逻辑用户也在按照预定模式进行运作，如访问了哪些服务器及调用了哪些接口？使用了怎样的密钥、校验的返回值需求细项 价值 扩展用途 获取产品信息 1、替代人工查询系统数据 1、在后续的数字化或自动化运作中,将十分常见;2、有利提高分类分组数据的分组效率;3、不同扫码方式及信息获取方式研究;控制设备及下发参数 1、替代人工输入参数 2、在后续的数字化或自动化运作中,将十分常见;1、在后续的数字化或自动化运作中,将十分常见;2、有助于积累设备交互经验积累;3、可以产生生产记录信息;密钥校验 数据安全 和数据库安全;多用途场景下应不同的密钥等级研究;字体颜色 视觉效果-适合即可/字体大小 视觉效果-适合即可/刷新频率 显示器更新频率/371智能制造与机械加工技术 Intelligent manufacturing and Machining technology2023春季国际PCB技术/信息论坛是多少？程序是否按预定的次数访问？有没有给其他的程序调用造成干扰？对于CPU的时域分配是否造成了干扰一般而言，对于实体用户反馈的BUG处理比较简单，分析也很简单；但是对于逻辑用户的所体现的BUG或潜在BUG则需要专业的分析和探寻。结合笔者的实际经验，对于BUG的探寻，虽然是一个自我否定的过程，但通过用户的反馈很容易发现改善点和机会点，推动持续改善。4 系统层面优化及效果评级在对用户需求溯源性分析和特征性分析后，可以明确需求的真实意图，同时也应对需求list进行重要性和优先性排序，然后基于用户反馈进行BUG探测。（在对需求list排序时，至少需要完成MoSCoW分析：必须有Must Have、应该有Should Have、可能有 Could Have以及本次不会有的 Wont Have this time）。4.1 对逻辑用户反馈进行分析及改善逻辑用户作为一种特殊的虚拟存在，能否反应出系统运行效率，从CPU占用、程序运行时间、密钥校验及异常反馈等，对于其反馈则需要主动探测。如下（图4.1-1）检索的后台数据分析案例：图4.1-1 优化前执行计划如（图4.1-1）虽然已经达到了用户的功能需求，但是对于服务器的资源消耗极大，绿色字体的代码，由于逻辑上属于非最优解，导致该语句需要检索超过25万条记录，同时占用了总搜索程序运行时间的99%（CPU资源消耗上占用了79.8%的时间）。图4.1-2 优化前跟踪信息2023春季国际PCB技术/信息论坛372智能制造与机械加工技术 Intelligent manufacturing and Machining technology 步骤1：显示SQL执行计划在数据库里面分析和编译的时间，CPU消耗大概是6毫秒，整个过程时间占用了6毫秒步骤2：显示SQL执行计划扫描了33次表，消耗了8645次逻辑读来获取数据，物理读没有数据，表示这些数据在内存中有缓存，所以不用从磁盘读取数据。步骤3：显示数据库实际执行SQL语句的CPU时间为109毫秒，占用时间为23毫秒。步骤4：SMSS工具中显示的SQL执行时间，如果不超过1秒的时候，这里一般不会显示出来。那么根据上面（图4.1-2）的跟踪信息，可以判断出，整条SQL语句的执行时间为：6+6+109+23=144毫秒，其中CPU占用了：6+109=115毫秒。实际上仅仅是一个十分简单的查询和检索功能。通过进行逻辑用户的反馈探索，我们发现上述问题后，结合需求的真实目的进行特征值分析，并优化代码，最终优化后的效果如下（图4.1-3）：图4.1-3 优化后跟踪信息SQL语句使用了是索引查找（seeks），并且是全索引覆盖，放弃使用聚集索引来返回额外的冗余数据（最直观的数据体现就是逻辑读取由8,645次降低为40次）。同时，跟踪信息中显示，总的执行时间为：5+5+3=13毫秒，扫描和逻辑读分别为:1和40次。这条SQL的执行效率来说是最合适并且效率也是最快的。由于不同企业和IT开发人员的习惯不同，具体的技术细节不一定具有参考意义，但是对于逻辑用户反馈的主动探测则是十分重要的。如本例所描述的，对于潜在BUG进行溯源性数据分析和特征性数据分析，为我们指引了改善方向，起到了改善的风向标作用。4.2 以数据为指引在生产优化中应用实体用户和逻辑用户有所不同，实体用户属于真实的用户群体，其反馈的BUG或待优化项则是需要进行深度分析，如前期在数控的优化中，结合数控加工工艺特点，对海量数据进行特征性数据分析，指引进行生产优化及改善。在此之前，先对特征值予以澄清：基于数控加工的功能和价值，结合特征值的分析，系统逐个型号精细分析，输出不同锣刀直径的锣程、锣刀直径、精锣锣程等数据，便于甄别出异常后进行二次判断确认有无改善空间，优化措施和方法由工程技术人员判断后进行推特征数据 意义及影响因素 叠数 可以接受几pnl叠在一起生产,叠数越高效率越高;同等材质下,最小锣刀直径越大,叠数越大;锣刀寿命 锣刀可以加工的长度,一般情况下,锣刀直径越大,可加工长度越长;R角 R角,产品上的最小内弧角,内弧直径越小,锣刀可选择的直径越小;锣程 生产产品所需要加工的总长度;精锣 生产产品所需要精细加工的总长度;(精锣属于二次锣程加工)粗锣 生产产品所需要粗细加工的总长度;373智能制造与机械加工技术 Intelligent manufacturing and Machining technology2023春季国际PCB技术/信息论坛进。从前期统计的改善效果看，已经取得了初步的效果。从统计数据看，有改善机会的型号提升比例约为15%20%，总体的改善幅度超过5%。5 结论 随着技术的进步，数据的收集和积累越来越容易也越来越得到认可，“数据产生价值”这个论点也属于公认的事实。如果让数据产生价值，以及如何挖掘数据的价值才是真正的关键所在，笔者认为，数据的价值在于对于数据的合理分析，基于价值进行溯源性、原理性和特征性分析，结合数据的特点和需求的深层次目的，才能如风向标一般为企业指引改善的方向。参考文献1 张志安,曹小杰,晏齐宏.从美国大选看大数据与网络舆情研究J.汕头大学学报(人文社会科学版),2017.2 宫丽华.论十九大以后综合行政执法改革与大部制改革的融合之道J.经济研究导刊;2019年01期.3 姜良存.空间数据溯源建模与语义计算方法研究D.武汉大学,2018.4 赵佳鑫.浅谈需求元数据管理J.中国金融电脑,2019:80-81.5 任欢.海量数据查询优化算法的研究J.2022(6).6 张胜昌,张艳,赵良昆.SQL Server数据库安全影响因素及优化设计措施分析J.电脑编程技巧与维护,2022(1):83-84.7 刘小杰.基于SQL的智能灌溉专家系统优化设计J.农机化研究,2022,44(4):5.8 吴险峰.SQL Server环境下的SQL优化方法探讨J.电脑知识与技术,2008,002(015):1002-1003.第一作者简介刘蓉蓉，广州广合科技股份有限公司主任工程师，主要从事智能制造系统的开发和流程优化工作。