基于智能制造园区的数据治理研究.pdf

IM主题策划 Theme Plan28 2024年第2期基于智能制造园区的数据治理研究蔡彤，张羽欣（中海油能源发展装备技术有限公司临港基地项目组，天津 300450）摘要：随着科技的不断发展，智能制造园区建设逐渐成为制造业企业数字化转型的重中之重，而海量数据的管理在智能制造园区的信息建设中蕴藏着难以预料的风险。本文通过分析数据采集、整合、存储、安全、隐私保护及主数据管理等方面的问题，以期为智能制造园区的可持续发展提供理论和实践支持。通过设立明确的数据治理原则、制定统一的数据标准，确保数据治理活动符合组织的战略目标和价值观，消除数据冗余和不一致性，提高数据的准确性和可靠性。通过实施数据清洗、数据验证和数据审计，确保数据的准确性和完整性，避免低质量数据对业务决策产生负面影响。通过建立数据共享平台和开放数据接口，促进数据的流通和利用，推动数据驱动的业务创新和价值创造，将数据转化为园区的竞争优势和发展动力，实现数据的科学管理和最大化价值，以支持园区的战略发展和业务创新。关键词：智能制造园区；数据治理；大数据；主数据中图分类号：TP274+.2文献标志码：A1引言随着数字化转型在制造业掀起的翻天浪潮，智能制造成为制造业企业数字化转型的核心目标，而数据治理是实现智能制造及数字化转型的必要条件。智能制造技术是在现代传感技术、网络技术、自动化技术及人工智能的基础上，通过感知、人机交互、决策、执行和反馈，实现产品设计过程、制造过程和企业管理及服务的智能化，是信息技术与制造技术的深度融合与集成1。由于各类传感技术、自动化技术等在智能制造园区的应用较多，各类生产数据的数据量以指数级的速度进行增长，导致传统的制造产业园区在经过智能制造的信息化改造之后，往往都会面对复杂的数据环境，海量数据的数据管理、数据质量、数据安全等问题都是关键且亟待解决的。在这一背景下，对智能制造园区进行数据治理是刻不容缓，通过数据治理可以优化智能制造园区的数据流程，提高园区生产效率；建立合规合理的数据共享机制，加强各系统间的互通能力；形成完善的数据安全管理形式，防范潜在的数据安全威胁。2数据治理及其作用2.1数据治理的研究现状数据标准化是数据管理的基础性工作，是企业数据治理的首要环节。我国高度重视数据标准体系建设，不断推进数据标准化各领域国家标准、行业标准、地方标准和团体标准的研制，着力解决各层级、各部门间的“数据壁垒”，欧美国家也非常重视数据标准建设，以推动投稿网站：Theme Plan 主题策划IM 2024年第2期 29数据共享开放，更好释放数据价值，为我国的相关建设提供了一定参考借鉴2。企业及生产车间内的数据采集十分复杂，加之新老设备的交叉使用，不同类型的数据源势必会形成异构，那么接口转换设计工作就需要十分扎实，避免造成因为接口无法传输而形成的采集疏漏，更加要避免因接口之间无法转换而造成信息藩篱；目前生产企业大多已意识到数据治理和数据标准化工作的重要意义，对于硬件与数据标准方面的咨询逐渐增多，但是大多数生产型企业对数据治理的认知仍处于概念阶段，缺乏数字化转型实践经验，没有深刻理解“一把手”工程的背后意义。大多数生产企业及园区数据治理的主要痛点与难点：1）企业对收集上来的数据没有任何用途，产生黑暗数据和数据尾气，通过时间的累积，造成采集上来的数据有 50%80%是睡眠数据，难以开展数据治理工作；2）园区多源系统数据标准不统一，数据治理执行考核机制不完善；3）数据治理的标准与各个行业标准衔接不足；4）企业或园区在信息化建设时缺乏整体规划，导致数据分散，形成数据孤岛，数据很难互通，而打通数据孤岛的成本高、难度大、周期长，使得企业或园区往往在数据治理时对其望而却步。目前，国内外学者围绕数据治理框架、治理成熟度、治理规则体系和隐私与安全等方面展开了研究。在国外，Khatri3等提出了数据治理决策域模型和数据治理的应用范围；Gartner4提出了数据治理成熟度模型及行动方案，强调了高层应该重视数据资产；Bhansali5认为数据治理是对数据持续监控和评价的过程，其作用是为了进行数据的风险管控。在国内，包冬梅6对比分析了数据治理常见的 DAMA 框架和 DGI 框架的主要内容和要素架构，并将数据治理引入图书馆领域，创造性地提出了高校图书馆数据治理框架；严昕7等将数据治理理念引入城镇信息化中，为改善城镇信息化中数据质量参差不齐的现象提供了参考；程广明8专门研究了数据治理模型和成熟度评估；陈火全9等认为要加强数据治理中的网络安全性和社会隐私性的信誉机制和保护力度10。国内外智能制造领域一些领先企业对数据治理的应用也有显著的实践成果，基于这些研究与实践的成果，在国内的应用也应对其具有成效的实践方法加以借鉴，例如制定全面的数据治理战略，组建跨学科的数据治理团队，建立统一的数据标准和规范，实施严格的数据质量管理，加强数据安全保护，从而提升数据治理于智能制造领域的实用性。2.2数据治理的定义狭义上讲，数据治理是指对数据质量的管理，专注在数据本身。广义上讲，数据治理是对数据的全生命周期进行管理11。DGI（Data Governance Institute，数据治理研究所）认为，企业不仅需要管理数据的系统，更需要一个完整的规则系统及规章流程。总体来说，数据治理的目标是实现数据价值最大化12。国际数据管理协会认为，数据治理是对数据资产管理行使权力和控制的活动集合，包括对主数据、元数据、数据标准、数据质量及数据安全等不同数据管理职能的指导13。数据治理是对企业或行业内上下级全部的数据、业务、组织机构等信息进行定义、梳理，形成标准，对全范围内数据进行宏观管控。每个公司、企业的数据结构均具有多样性、多变性、多类型等特征，且体量相当庞大，每个数据都是单独的元素或个体，所以需要对数据进行治理、整合、分析，数据治理循环往复，没有终点。2.3数据治理的战略当今社会正处于数字化时代转型的重要时期，在产能数据呈爆炸性增长态势的时代背景下，高效利用 AI 分析功能高效管理产线上的生产数据是在市场竞争中的取得优势重要捷径，在未来 10 年内充分发挥数据的价值将持续成为企业关注的问题。而数据治理的战略来自于企业对业务战略中固有数据需求的理解，这些需求驱动着企业形成一套定制化的数据治理战略，指导企业从顶层规划开展数据治理工作，指明企业数据应用的方向。企业及生产车间开展数据治理工作的实施步骤可分为制定数据标准化管理体系文件、建设企业级数据湖、搭建开源的低代码共享数据平台三部分，企业及生产车间数据管理架构如图 1 所示。数据治理工作必然是长久性实施的漫长过程，无法一蹴而就，必须经过反复迭代、反复优化完善，才能真正意义上使数据产生流动性的价值。同时，数据要素确权具有高成本性，在早期实施的过程中，需要企业管理层具有先破后立的坚强决心。具体分析数据治理的实施步骤可理解为：1）数据标准化制定。通过对数据标准的统一规范主数据、元数据等的编码规则、位数、含义。详细内容可参考 DAMA 数据治理框架。数据标准化制定的意义在于，统一企业级知识库数据体系，打通系统间通信藩篱，形IM主题策划 Theme Plan30 2024年第2期成数据资产。2）企业级数据湖的搭建。通过对结构化、半结构化、非结构化的分类存储和处理，对企业生产数据和业务数据进行挖掘分析，优化产线和业务结构。数据湖的意义在于流通数据资产，提供原始数据的存储环境。3）低代码共享平台。算法开源，企业下所有生产车间、产线、职能部门等可即时调取、编辑、增添新的算法资源，有利于搭建数据共享平台，将数字化自顶向下，从管理级深入到产线级，实现数字化转型数据和业务之间的中间握手环节。图 1企业及生产车间数据管理架构2.4数据治理对智能制造园区的重要作用“十四五”规划对智能制造提出新高度和新要求，伴随数字化战略宏观实施，智能制造园区已悄然迈进工业 4.0 新时代纪元。智能制造园区实现可持续发展的基本要求是“多主体协同”和“信息共享”，未来的发展趋势是大数据指导生产、数字化共享平台调动全员参与，共享是关键。数据治理和数据标准化的加快实施，对智能制造园区的建设、系统的运维升级将构成全生命周期影响。数据治理工作关键是对过程经验、数据的积累，在统筹规划、分阶段实施的过程中，应以点带面，通过打造优质的试点项目来总结经验，将对象园区的实施成果及时收集，形成园区系统开发手册园区数据标准指南等通用型文件，并向中下游产业进行推广。3智能制造园区数据治理现状及问题3.1智能制造园区数据类型特点智能制造园区中采集的各类数据具有不同于企业的数据特点：隔离性，工业数据来自多道工序的多台设备，且设备均独立工作，工序间数据互不流通，都依据着自身的工业业务流程，从而形成一座座“数据孤岛”14；多模态，工业数据来源多样，结构复杂。除工业生产中所采集的温度、压力、流量等时序数据之外，涉及的数据类型多样化，还包括一些生产计划数据、设备健康数据、质量数据等5；强关联，工业数据中的关联主要包括生产指标间的关联（如原料燃料流量、温度、压力的关联）、生产过程的关联（如生产工序间的工艺参数关联关系）、产品设计制造等环节之间的关联（如仿真过程与产品实际工况间的关联）15；高通量，传感器所采集的时序数据具有设备多、测点多、频率高、吞吐量大及连续不间断的特点。以某工业生产设备为例，数据采样频率为 10Hz，单台设备每秒产生 16kB 的传感器数据，按 20 台设备全量采集计算，每日将产生约 12.87GB 的数据，每年将产生4.58TB 的数据，呈现出高通量的特征。数据带来巨大的投稿网站：Theme Plan 主题策划IM 2024年第2期 31存储成本，还存在衔接不连贯、标准不统一、数据不对齐和“脏”数据等质量问题，无法为数据分析提供有效接口，如何提升数据价值密度、提高数据挖掘效率都是亟待解决的问题16。3.2智能制造园区数据治理存在的问题1）数据接入的设计直接影响硬件设备的选型，硬件设备的选型将支撑着整个园区的信息传输工作，因此数据治理工作的顶层逻辑设计至关重要。2）园区往往都是分期进行建设，在信息化建设方面会产生不同步的情况，而生产车间内的数据采集十分复杂，加之新老设备的交叉使用，不同类型的数据源势必会形成异构，那么接口转换设计工作就需要十分扎实，避免造成因为接口无法传输而形成的采集疏漏问题，更加要避免因接口之间无法转换而造成信息藩篱问题。3）在园区人员方面需要理清具体的人员配置情况，在园区的运营过程中，数据人才的占比较低，并且业务人员在数据治理中应发挥的作用也不明确。4）数据治理的流程和制度，在园区内缺少主责部门去统筹，在数据的采集、新增、变更、流转、处理、使用和销毁的全生命周期中，没有相应的管理流程和制度保障。5）在数据的应用方面，数据分析和数据挖掘的结果与实际情况偏差较大，而且数据的准确性无法识别，导致数据在园区层级乃至往上的展示或者计算均有偏差，从而影响生产预测或维护。3.3智能制造园区数据治理实践应用研究我国目前在智能制造园区的智慧化建设方面虽然取得了积极进展，但在技术和数据层面缺乏数据治理及数据标准化相关内容，智能制造园区在实施过程中就会出现信息孤岛等信息化建设的老问题；因此亟需通过数据治理的数据标准体系进行引导，形成试验性的数据统一标准，在园区数字化建设中进行技术应用和验证。某智能制造园区的数据治理及数据标准化体系经过项目应用的实践和完善，在园区运维期间的改造项目中、企业知识库建设中、主题数据库管理中继续进行版本升级，智能制造园区数据管理架构如图 2 所示，通过统一化、标准化的数据管理手段，给园区带来数据管理能力上的提升。主要包括数据流角度的提升、数据协同角度的提升、管理体系角度的提升，并且在管理方面提高了园区内部产线的协同工作能力，提质降本增效；通过高度契合业务的数据分析，增强业务决策能力；通过数据治理所解决的数据采集精细度及质量问题，同步提升了管理方面的颗粒度；从整体效益出发创新管理和业务模式，增强数据价值的获取。3.4智能制造园区进行数据治理的对策在数据治理的过程中，基于园区数据治理的多个关键方面，包括数据接入设计、硬件设备选型、园区分期建设中的数据异构问题、治理人员配置和角色定义、数据治理流程和制度的缺失，以及数据价值挖掘与利用的偏差性。这些问题在实际的园区信息化建设中非常常见，也是数据治理工作的核心挑战。1）对于智能制造园区而言，首先面向园区的整体数字化统筹建设应以实现系统总体功能为目的，从顶层构建整个系统结构，满足前期的系统规划和后续的系统集成以达到最优的目标。同时设计数据接入方案时，要充分考虑硬件设备的兼容性和扩展性，确保硬件能够支持未来数据量的增长和数据类型的多样性。硬件设备选型应基于数据接入的需求，例如网络带宽、存储容量、计算能力等，以满足实时数据采集、传输和处理的要求。2）对于分期建设的园区，应制定统一的数据标准和接口规范，确保新老设备之间的数据能够无缝对接。引入专业的数据集成工具或中间件，帮助实现不同数据源之间的数据转换和整合，减少因接口问题导致的采集疏漏和信息壁垒。全面整合不同厂商、不同型号的安防、能源、生产设备设施及软件平台，建立统一园区管理模式，打破“数据孤岛”，实现共享数据。数据标准严格按照云、展、边、端的架构编制，这样的标准化设计不仅有助于明确各层级的职责和功能，提高了系统的可扩展性和安全性，还促进了整个系统的高效运作和协同，最大限度地发挥数据的潜在价值，通过将数据资产特化于园区，可以利用先进的数据分析和挖掘技术，对园区的运营和资源使用进行深入的洞察，从而优化园区的规划、服务、发展和运营策略。这样的策略不仅为园区管理提供了更强的决策支持，还促进了创新和发展的新机会。3）明确数据治理团队的组织架构和人员配置，确保有足够的专业人员负责数据治理工作。对业务人员进行数据治理相关的培训，提升他们的数据意识和数据处理能力，使其在数据治理中发挥更大的作用。4）建立数据治理的主责部门或委员会，负责统筹安排数据治理的各项工作，确保数据治理工作的系统性和IM主题策划 Theme Plan32 2024年第2期连续性。制定数据治理的流程和制度，覆盖数据采集、新增、变更、流转、处理、使用和销毁的全生命周期，确保每个环节都有明确的管理规定和操作指引。5）在数据治理的管理和应用方面，应持续保持以业务目标为实施核心，以数据为基础，以技术为支撑，以制度为保障，将数据文化“内化于心，外化于行，固化于制”，将“数据驱动”应用到实际工作中，自顶向下的完善整体的数据治理体系，从园区层级向产线、向企业全范围辐射，影响到生产、管理乃至一系列的制度制定，增强数据文化的全面影响力，保障数据资产的 质量。4智能制造园区数据治理下的数据集成与共享数据集成和共享是对企业内部各个系统之间、各部门之间乃至各个企业之间数据移动过程中进行有效的管理和应用，通过数据的集成来横贯整个企业的异构系统、应用、数据源等，实现各类异构系统的共享，打通数据通道，充分发挥数据价值。以某智能制造园区的设计为例，其整体设计思路为“以物联构建孪生，以数字驱动园区智能低碳运行”，通过物联汇聚园区硬件数据和不同基础子系统数据，在园区侧形成统一的数字底座支撑、边缘场景应用，为云端数据中台提供基础，自底向上实施，边端通过 IoT 技术采集各类智能仪表数据，在边端平台通过 MQTT、TCP/IP、Modbus 等通信协议实现数据采集和汇聚，并在数据中台进行数据处理和业务融合，最终在指挥中心进行孪生展示。在这其中的异构子系统多达 30 个，通过应用集成从而形成一套整体的数据集成应用管理措施。在实施过程中，比较突出的问题主要有：缺乏从顶层出发的信息化规划，各个入驻车间的信息化建设和管理各自为政；多系统独立运行，且园区及入驻车间的系统存在新旧不一问题，对于利旧的系统和设备设施改造成本较大，数据标准难以统一，从而导致边缘端子系统乃至数据中台的集成共享问题难以解决；因为园区是分期建设，虽然在一期设计过程中考虑了后期数据及相关系统的融合接入问题，但是下沉至需要集成的系统自身改造仍有较大工作量；各个系统的应用层次、深度、宽度不一，深入业务的应用水平参差不齐，导致数据共享的难度较大。以上这些问题导致了该智能制造园区的横向、纵向的数据治理协同能力不高。通过结合国内外业界的最佳实践案例，并根据该园区的集团业务需求和管理现状，对相应对策、策略进行了实用，达到了较好的实现效果。结合顶层设计理念，从应用集成层面出发，向下对四个层级进行延展，分别是门户集成、服务集成、流程集成和数据集成。门户集成一般为统一用户管理、统一图 2智能制造园区数据管理架构投稿网站：Theme Plan 主题策划IM 2024年第2期 33身份认证、单点登录、界面集成、代办集成、关键指标集成和内容管理等，重点是为不同角色的用户提供一个统一的入口15，把控数据通道范围，提升资源查找效率，解决多系统难融合问题，形成统一数据入口；服务集成是一套实现流程集成和数据集成的技术架构，通过标准化的通信体系实现跨平台、跨系统的应用交互和数据共享，解决多系统数据共享问题，通过标准化体系对边缘系统进行适度改造，对于利旧系统进行服务集成层面改造，规避“数据孤岛”问题；流程集成即将分布在不同系统中的片段式业务流程完整地整合在一起，从而达到业务链路整合；数据集成通过数据复制、数据联邦、接口集成三种形式将异构的数据源集成到一起，使数据能够在企业范围内以透明的方式去访问，从而在整体上维护数据的一致性。结合园区分期建设特点，对于先建设系统留有改造空间，对于后建设系统尽可能对利旧系统进行适应开发，结合需要集成的系统按照统一的标准化体系，进行适度改造，先将系统上线使用，对于使用时出现的问题及相应导致的集成问题进行不断的迭代改造，避免影响园区正常运行的同时解决其融合问题。从集团的管理层面出发，对园区入驻车间的整体应用层次、深度、宽度根据园区的建设进行适应性的改造工作，整体开发依据敏捷性迭代标准进行，尽可能进行全方位标准统一，实现企业级数据管理体系，以四个层级向上提供集成支撑，解决企业信息孤岛问题，提高信息共享和利用的效率，达成数据集成的大目标。5结束语信息化浪潮方兴未艾，而信息化到数据化的迈进过程中，数据是数字化时代的“新石油”，通过深化数字化技术在各个业务层面上的应用，基于数据驱动整体企业层面的数字化、智能化发展，不断在企业层级乃至行业层级释放数据能力信号，放大叠加数据业务能力，实现多层面的数据驱动业务创新和管理变革。在实现上述内容的过程中，数据治理是驱动企业数字化转型的引擎，只有先通过数据治理工作解决数据资源共享、融合和流动的问题才能有效地让数据“活”起来，充分地在企业层级释放数据红利，为行业、国家乃至国际提供数字化转型的重要支撑。参考文献1 张曙工业 4.0 和智能制造 J机械设计与制造工程，2014，43(8)：1-52 张亮，黄金加强数字政府数据标准建设 J中国发展观察，2023(6)：103-1053 KHATRI V，BROWN C V.Designing data governanceJCommunications of the ACM，2010，53(1)：148-1524 NEWMAN D，LOGAN D.Gartner introduces the EIM maturity modelEB/OL(2008-08)2023-10-12http：/ BHANSALI NData governance：creating value from information assetsJProc of Cikm，2013，2011(4)：213-2226 包冬梅，范颖捷，李鸣高校图书馆数据治理及其框 架 J图书情报工作，2015，59(18)：134-1417 严昕，孙红蕾，郑建明城镇信息化中的数据治理问题研究 J情报科学，2017(9)：30-358 程广明大数据治理模型与治理成熟度评估研究 J科技与创新，2016(9)：71-759 陈火全大数据背景下数据治理的网络安全策略 J宏观经济研究，2015(8)：76-8410 魏津瑜，马骏数据治理视角下的工业互联网发展对策研究 J科学管理研究，2020，38(6)：58-6311 程娅面向未来：欧盟数据治理框架的要素分析与经验启示 J数字图书馆论坛，2022(12)：47-5312 祝守宇，蔡春久数据标准化企业数据治理的基 石 M北京：电子工业出版社，202313 汪洋，王柯，张桃宁等工业数字化转型中的数据治理研究 J信息技术与网络安全，2022，41(4)：25-3114 于洪，杨雪梅三支决策在工业大数据中的应用 J西北大学学报（自然科学版），2021，51(4)：505-51515 袁泉基于 SOA 架构的 JX 省烟草商业系统企业应用集成平台的建设与实施 D江西：江西财经大学，2017收稿日期：2024-01-19