勘察设计企业商务智能%28BI%29平台应用研究.pdf
《勘察设计企业商务智能%28BI%29平台应用研究.pdf》由会员分享,可在线阅读,更多相关《勘察设计企业商务智能%28BI%29平台应用研究.pdf(5页珍藏版)》请在咨信网上搜索。
1、752023875数智瞭望 勘察设计企业商务智能(BI)平台应用研究 浙江大学建筑设计研究院有限公司 朱晓伟 胡迅 黄争舸 浙江大学计算机学院 丁晨杰近几年来,随着勘察设计行业信息化建设的高速发展,行业大部分企业已经从原来几乎没有业务系统,进入到业务系统全面开花阶段1。经过几年的运行,行政管理系统、生产经营系统、财务系统、协同设计系统等已积累了大量的业务数据,但由于各系统间相互独立,且往往缺乏统一的数据标准,数据不仅共享困难,还会出现不一致的情况,因而难以实现数据的集成、深度分析和再利用。相较于原先分散的数据源,借助商务智能(Business Intelligence,BI)平台可以将分散的数
2、据建立起统一的数据仓库,使企业数据更加规范,可以更好地被分析利用。BI平台作为企业管理中一种以数据为驱动力的智能化管理工具,可以帮助企业有效地收集、整合、分析和可视化数据,显著提高企业的决策水平和管理能力。在当前日益严峻的经济形势下,市场环境越来越复杂,商业竞争越来越激烈,迫使企业必须加快数字化转型,而BI平台正是通过大数据分析助力企业实现商业价值的重要方式之一。大数据时代,企业管理人员利用大数据BI工具进行企业经营状况分析和数据挖掘,已成为现代企业提高竞争力的重要举措2。汪少锋3从数据采集、优化数据预处理流程、数据分析建模、数据可视化等方面进行了深入研究,提出了BI平台如何应用在企业财务管理
3、中的一套解决方案;胡志刚4等主要研究了BI在科研管理领域中的应用,介绍了科研智能的整体框架和关键技术;侯杰5等综合运用数据仓库技术、数据挖掘算法和多维数据建模与分析方法,建立了一套面向矿业集团经营和发展的商务智能分析体系;胡立勇6等则将BI技术应用到医院急救设备管理中,实现了医院急救设备的快速调配。尽管BI平台在商业领域得到了广泛应用和验证,但其在勘察设计行业中的应用成果相对较少,研发面向勘察设计行业的BI平台有着重要的现实意义。本文旨在探索BI平台在勘察设计行业的落地应用研究,重点关注如何利用现有的前沿技术和方法,让业务人员基于业务需求快速地搭图1 企业BI平台整体架构图762023876数
4、智瞭望 表1 主题域分析设计部门名称主题域划分主题内容描述人力资源部人事信息主题组织架构、员工基本信息、考核、考勤、任职等运营管理部经营信息主题招投标、立项、合同、客户、业绩、出图等财务管理部财务信息主题产值、开票、到款、应收账款、周转率、合同等质量科技部质量信息主题协同完成率、校审合规率、设计输入、科研等综合办公室办公信息主题办公资产、车辆、房屋水电、工会等品牌推广部品牌信息主题获奖、荣誉、学会及协会等信息技术部数据资产主题IT资产、成果档案等MySQLFrameWorkMysqlReaderHDFSWriterHDFSDataX3.0ReadPlugin WritePlugin图2 Dat
5、aX设计框架企业级数字驾驶舱示例经营概况财务概况人员概况投标中标率 立项数量 合同总额 净产值 开票额 到款额 应收账款 职级分布 离职率 专业分布 图3 企业级数字驾驶舱数据指标体系建各类应用。笔者基于当前国内外研究现状,结合行业企业实际情况,设计了一套企业BI平台的实现方案,其整体架构如图1所示。数据连接层:用于梳理企业各个业务系统和管理流程中的原始业务数据,以及重要的线下数据,并分别通过不同的方式接入数据同步引擎。数据治理层:针对线上数据,使用数据同步工具对业务数据进行数据清洗、数据转换、数据关联等操作,以全量同步、增量同步的方式搭建数据仓库;针对线下数据,使用经过数据预处理后的EXCE
6、L或CSV文件进行数据导入;针对其他逻辑非常复杂的线上业务数据,通过API数据服务的方式进行构建。通过这些不同的数据集成方式,完成数据仓库的搭建,确保数据仓库中的数据与原始业务数据的同步和实时更新,再对外提供数据存储和数据服务。自助分析层:针对各类企业数据分析可视化场景需求,通过平台提供的各类功能特性,创建和使用各种报表及其他组件、仪表盘和故事板进行可视化数据分析,构建可视化数据应用等。应用发布层:对构建的数据应用设置用户角色和数据权限的分配,发布并分享应用给各类管理者使用。数据仓库建设数据仓库是BI运行的数据基础,BI需要依赖数据仓库去做数据分析。因此,建立数据仓库是BI平台能否成功搭建的关
7、键。在企业信息化建设过程中,常常会出现大量异构系统和数据的情况。这些异构系统和数据来源于不同部门、业务流程或技术平台,可能具有不同的数据格式、数据结构和数据标准,容易导致数据孤岛、数据冗余和数据集成困难等问题,对企业的数据管理和应用形成挑战。在没有数据仓库之前,企业的数据查询和分析系统、数据集市、报表系统、驾驶舱等各类系统的数据访问操作,通常直接基于业务系统数据。这种简单的数据访问模式,容易形成以下几个问题:一是业务系统对应的多个报表系统的更新和维护问题;二是不同业务系统之间的数据互通问题;三是业务系统的数据存在脏数据的问题;四是直接操作业务数据做分析,对业务数据库的压力太大,影响线上业务的稳
8、定,同时还有破坏业务数据的风险问题。数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合,用于支持管理决策。具体而言,数据仓库中的数据不是企业业务数据的简单堆积,而是被组织成面向主题的数据模型,以便用户能够轻松地进行查询、分析和决策。本文的目标是搭建一个企业数据仓库,通过数据抽取、转换、装载的过程(Extract-Transform-Load,ETL)工具,将原本分散、不同信息流、标准不统一的企业经营、生产、财务、项目和人力资源等数据载入并实时更新到数据仓库中,用以提供一致、准确的数据视图,为决策者和分析师提供强大的数据分析和洞察能力,支持业务决策、市场分析、业绩评估等重要
9、活动。772023877数智瞭望 对于勘察设计企业来说,借助功能强大的ETL工具,实现对各种业务数据的处理、转换、迁移,是建立企业数据中心,确保数据逻辑统一的理想途径之一。市面上有很多ETL工具,本文选用DataX工具用于数据仓库建设,它是阿里巴巴旗下的一款优秀的开源产品,能提供各种数据存储的读写插件,支持多线程执行,使用操作也很简单。DataX是阿里云DataWorks数据集成的开源版本,是在阿里巴巴集团内被广泛使用的离线数据同步工具,实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase等各种异构数据源之间高效的数
10、据同步功能。DataX先通过ETL进行数据清洗、转换、合并与集成,再将底层数据导入到数据仓库中。DataX采用Framework+Plugin架构,将数据源读取和写入抽象称为 Reader/Writer插件,纳入到整个同步框架中,如图2所示。本文在实际搭建数据仓库时的一项重要工作就是编写各类Reader和Writer,完成定义好的各主题域下的数据同步和更新。在进行主题域划分时,需要了解企业不同的业务流程都有哪些业务活动参与其中。划分主题域的方法有很多种,不同企业选取的方法也有所不同,其中较为常用的方法包括按部门划分、按需求划分、按功能划分和按业务系统划分四种类型。本文根据笔者所在企业实际运作情
11、况,选取了最为常见的按部门划分方式来设计主题域。不同部门对应不同的职责范围,从事不同业务内容,管理不同的数据对象,会形成各种不同的主题域,如经营域、生产域、人事域、财务域等。这些主题域由不同的主题内容组成,具体如表1所示。BI平台选型目前,大部分勘察设计企业做数据分析的现状是:首先由部门员工提出具体业务需求,其次由IT人员完成数据的采集、处理、可视化和分析等一系列任务,业务人员再对IT人员完成的结果进行确认并提出修改意见。这个过程往往会迭代好几轮,工作量较大。随着企业业务的快速发展,这种模式暴露出一些问题:一是已完成的应用难以适应业务的快速变化,且维护成本较高;二是IT人员需要面对各类业务人员
12、提出的需求,他们对业务的理解往往没有专业人员理解得透彻,导致产出结果无法满足预期;三是该模式由于多方的参与,从需求到开发至最终交付需要一个过程,这使得产出成果的时效性较差。为此,本文尝试一种新模式,那就是让IT人员只负责数据标准定义、数据仓库和数据集市的建立,提供各类数据服务,剩下的工作让业务人员自己来完成。他们通过建好的BI平台,在不需要编写任何代码的情况下,根据具体业务需求,通过“拖拉拽”式的自助式服务,灵活搭建各类应用,完成对业务数据的可视化、分析和挖掘等工作。基于上述目标,在选择BI平台时,需要考虑以下几个关键因素:表2 国内外主流BI平台比较名称用户群体描述Tableau数据分析师国
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 勘察 设计 企业 商务 智能 28 BI 29 平台 应用 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。