电力系统数据仓库解决方案样本.doc
《电力系统数据仓库解决方案样本.doc》由会员分享,可在线阅读,更多相关《电力系统数据仓库解决方案样本.doc(58页珍藏版)》请在咨信网上搜索。
目录 1背景 - 1 - 2需求概述 - 2 - 2.1电量分析 - 2 - 2.1.1基本指标 - 2 - 2.1.2深度分析 - 2 - 2.2供电可靠性分析 - 3 - 2.3电压合格率分析 - 4 - 2.4线损分析 - 5 - 2.4.1基本指标 - 5 - 2.4.2深度分析 - 6 - 2.4.3图形展示 - 6 - 2.5装备水平分析 - 6 - 2.6人力资源分析 - 7 - 3解决方案 - 8 - 3.1创立仓库模型 - 8 - 3.1.1主题1 售电量 - 8 - 3.1.2主题2 用电量 - 9 - 3.2数据抽取规则 - 10 - 3.2.1分析业务系统库,对数据字典进行分类 - 10 - 3.2.2找出各业务系统内及其与目的数据库之间存在数据不一致。 - 11 - 3.2.3设计出适当转换规则 - 12 - 3.2.4设计数据抽取流程 - 12 - 3.2.5设计数据抽取流程抽取方式,并开始数据抽取 - 13 - 3.2.6对抽取到数据仓库中数据,进行验证 - 14 - 3.2.7完毕数据抽取 - 14 - 3.3 OLAP多维分析 - 14 - 3.3.1多角度分析 - 14 - 3.3.2图形展示 - 16 - 3.4数据挖掘 - 17 - 3.4.1关联分析 - 17 - 3.4.2分类分析 - 19 - 3.4.3预测分析 - 20 - 4采用技术及有关产品 - 21 - 4.1构建数据仓库技术环节 - 21 - 4.2有关产品简介 - 22 - 4.2.1 Warehouse Manager - 23 - 4.2.2 Cube Views - 24 - 4.2.2.1概述 - 24 - 4.2.2.2建模及优化过程 - 25 - 4.2.3 OLAP Server - 26 - 4.2.3.1概述 - 26 - 4.2.3.2使用MOLAP系列工具建立电力分析模型 - 28 - 4.2.4 Alphablox - 31 - 4.2.4.1概述 - 31 - 4.2.4.2 AlphaBlox体系构造 - 32 - 4.2.4.3 AlphaBlox应用 - 33 - 4.2.4.4 Cube分析引擎(Alphablox Cubing Engine) - 34 - 4.2.5 Intelligent Miner - 35 - 4.2.5.1数据挖掘评分组件(IM Scoring) - 36 - 4.2.5.2数据挖掘建模组件(IM Modeling) - 37 - 4.2.5.3数据挖掘图示化组件(IM Visualization) - 37 - 5实行筹划 - 39 - 5.1地纬公司技术、实力与经验 - 39 - 5.2实行开发综述 - 39 - 5.3实行开发筹划 - 40 - 一、需求分析阶段 - 40 - 二、物理建模阶段 - 40 - 三、数据转换(即ETL过程)阶段 - 40 - 四、生成多维模式并搭建立方体阶段 - 40 - 五、多维分析及呈现阶段 - 40 - 六、数据挖掘阶段 - 41 - 附:工程实行整体筹划一览表 - 41 - 1背景 随着计算机应用技术普及,电力行业信息化建设得以突飞猛进发展,营销MIS系统、抄表自动化系统、配电GIS系统、调度自动化系统、变电生产管理系统、以及办公自动化OA系统等基本应用系统已经在各电力公司得以建成并稳定运营。如何运用更前端计算机技术,在这些基本应用系统之上,建立更高层次应用,已成为各电力公司对内提高自身管理水平和运营效率、对外提高服务质量、最后提高公司自身竞争力重要手段。 当前,各级电力公司迫切需要对大量详尽真实历史数据进行综合分析,及时精确地掌握公司电力营销状况,科学地预测电力市场发展趋势,为制定电力政策和电力市场营销战略提供根据。因而,运用数据仓库技术和辅助决策支持有关技术,建设电力营销数据仓库和辅助决策支持系统已成为一项核心任务。 在这种形势下,济南市供电局适时提出了建立济南供电局辅助决策支持系统任务,通过对数据库数据和人工录入数据挖掘,以指标体系为中心,进行深度分析和挖掘,为不同层次管理人员提供决策信息支持。 济南供电局辅助决策支持系统第一阶段重要以电量、电压合格率、供电可靠性、线损核心指标,输、配、变电设备装备水平,人力资源为重点。本方案暂以电量为主题给出建设实行初步方案。 2需求概述 2.1电量分析 通过对全公司、分部门、分变电站、分电压级别、分时间段、分线路供电量和售电量数据显示,提供电量基本指标数据。 通过基本数据再挖掘可实现不同用电时间段售电量分析、不同地区用电分析、不同电价类别售电量分析、不同行业用电分析、大顾客分析。 数据来源营销自动化系统。 2.1.1基本指标 l 全公司供电量,各供电部公用区供电量,无损供电量电量,趸售供电量(按线路名称记录、按趸售县单位记录) l 全公司售电量,各供电部公用区售电量,趸售电量登记表(按线路名称记录、按趸售县单位记录),无损电量(按电压级别),各单位电费口径售电量、线损口径售电量,各单位分压售电量表,各单位分线售电量(各客户售电量明细)。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线供电量查询分析。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线售电量查询分析。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段分电压售电量 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意关口计量点供电量。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意受电计量点售电量。 2.1.2深度分析 1. 不同用电时间段售电量分析 依照不同月份用电总量记录数据,纵向分析各个月份售电量变化趋势,横向比较不同月份售电量差别,形成多维分析,比较不同月份之间售电量变化差别;理解市场需求时间属性,及时捕获市场变化。 2. 不同地区用电分析 分析地区售电量历史数据,形成该地区售电量变化曲线,依照曲线走势判断该地区将来电量变化趋势;分析各地区对总体售电量涨跌贡献率;依照该地区各行业顾客分布状况,结合行业发展综合指标,进一步分析、判断该地区售电量潜力;分析各经济指标对电量涨幅贡献率。 3. 不同电价类别售电量分析 针对不同类别电价,记录售电量历史数据,分析不同类别电价相应售电量变化趋势;通过多维分析,横向和纵向相结合,立体、直观地分析售电量变化率差别,可以得到不同电价类别售电量增长潜力,为用电营销某些电价调节提供决策根据。 4. 不同行业用电分析 按照行业分类,记录行业售电量,比较历史数据,形成不同行业售电量变化曲线;纵向分析某一行业售电量随时间变化趋势;横向比较不同行业售电量差别,重点关注不同行业之间售电量变化示行业用电潜力、各类顾客需求潜力和区域用电增长潜力等,为公司决策人员提供重要决策根据。 5. 大顾客分析 大顾客分析是用电营销重要环节。从各种角度分析大顾客用电特性,制定贴身营销方略,获取更高经营利润。 6. 综合记录分析 用电量排名前十顾客 用电量增长排名前十顾客 浮现负增长顾客 某月用电量日分析与温度同轴显示 售电量,同比增长率,按单位、季度、用电类型,结合业扩分析增长因素。 对紧急限电序位方案表进行管理。涉及负荷接近能力预警,超负荷运营报警等、限电序列资料等。 2.2供电可靠性分析 全公司、分单位供电可靠率、顾客平均停电时间、停电顾客平均停电时间基本数据。按月停电时间超过10小时线路以及停电时间长短和停电次数分别对明细排序。 在此基本上可进行可靠性影响因素分析筹划停电、暂时停电、故障对供电可靠率 RS-1影响,并详细分析故障对可靠率详细影响。 数据来源抄表自动化、配电GIS。 详细指标如下: 1. 顾客停电明细(报表形式) 2. 对基本显示数据,按单位柱状图和报表显示,历史同期对比柱状图显示,本年度发展趋势折线图显示。 3. 可靠性影响因素,按单位和影响因素柱状图和报表显示,历史同期对比柱状图显示,本年度发展趋势折线图显示。 4. 详细影响因素,按影响因素柱状图和报表显示,历史同期对比柱状图显示,本年度发展趋势折线图显示。 5. 月停电时间超过10小时线路报表显示(本月),详细每条线路本年度历史停电时间折线图显示。 6. 按停电时间长短和停电次数分别对明细排序(本月)。 2.3电压合格率分析 基本指标:都市综合电压合格率、A类电压合格率、B类电压合格率、C类电压合格率、D类电压合格率等基本数据。 通过对几种系统数据深度挖掘,可对A类电压合格率分析电压质量监测点越上限在每天时间段分布;和该段时间内主变压器分接头位置、电容器投切状态、系统负荷状况信息显示在一张图标上,判断每天越限时间浮现时间段与否大体相似、与否自动调压、电容器与否自动投切。 B、C类电压合格率,分析最差几种电压质量监测点供电半径、无功配备状况,所供变电站无功补偿状况,以分析因素。 数据来源抄表自动化系统、调度自动化系统。 WEB展示规定: 1. 综合电压合格率趋势分析,历史同期对比(折线图)。 2. 分类别电压合格率趋势分析,历史同期对比(折线图)。详细明细报表形式。分单位趋势分析,历史同期对比(折线图)。 3. 详细电压质量监测点电压合格率趋势分析,历史同期对比(折线图)。 4. A类电压质量监测点全天明细与主变压器分接头位置、电容器投切状态、系统负荷状况同轴显示。 5. B、C、D类全月显示与供电半径、系统负荷状况、无功配备状况,所供变电站无功补偿状况同轴显示。 2.4线损分析 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线线损率以及母线不平衡率等线损管理小指标查询分析。 掌握任意时间段任意计量点档案资料 展示各时段线损状况,并可以对线损率进行多项分析,涉及综合指标分析、线损构成分析、趋势分析、供(售)电量增长分析、顾客分类用电分析等子系统,对综合、线损率历史趋势进行全面分析,顾客用电量增长分析。 分析线路近来线损率变化异常。可以分层逐渐分析,分析这条线路下任一计量点电量、档案资料等。对线损异常线路,查询线路手拉手运营记录、用电量波动较大客户用电信息、客户更换供电线路查询、营销自动化系统中各种基本数据查询,缩小对异常线路分析范畴,使分析更有针对性。 实时形成每时段线损率,实现超高报警。异常分析,对线损率变化异常线路(售电量变化异惯顾客)报警。 提供降损决策分析,涉及调节电压,送电线路升压,并联无功补偿,增长并列线路,增大导线面积等各种降损决策综合分析. 数据来源抄表自动化系统。 2.4.1基本指标 l 全公司供电量,各供电部公用区供电量,无损供电量电量,趸售供电量(按线路名称记录、按趸售县单位记录) l 全公司售电量,各供电部公用区售电量,趸售电量登记表(按线路名称记录、按趸售县单位记录),无损电量(按电压级别),各单位电费口径售电量、线损口径售电量,各单位分压售电量表,各单位分线售电量(各客户售电量明细)。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线供电量查询分析。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线售电量查询分析。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)任意时间段分线线损率查询分析。 l 按照供电区域(全局、部门、变电站)任意时间段母线不平衡率等线损管理小指标查询分析。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段分电压售电量 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意关口计量点供电量。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意受电计量点售电量。 l 按照供电区域(全公司、部门、变电站、电压级别、线路)查询任意时间段任意计量点档案资料 2.4.2深度分析 以上指标上月同期,去年同期和指标值比对 展示各时段线损状况,并可以对线损率进行多项分析,涉及综合指标分析、线损构成分析、趋势分析、供(售)电量增长分析、顾客分类用电分析等子系统,对综合、线损率历史趋势进行全面分析,顾客用电量增长分析。 手拉手线路拉手状况汇总表。手拉手线路线损综合记录分析。 分析线路近来线损率变化异常。可以分层逐渐分析,分析这条线路下任一计量点电量、档案资料等。对线损异常线路,查询线路手拉手运营记录、用电量波动较大客户用电信息、磁卡表电量分析、客户抄表时间查询、客户更换供电线路查询、营销自动化系统中各种基本数据查询,缩小对异常线路分析范畴,使分析更有针对性。 手拉手线路线损分析。在计算线损时由于线路调度也许引起误差,分析综合线损。 实时形成每时段线损率,实现超高报警。异常分析,对线损率变化异常线路(售电量变化异惯顾客)报警。 提供降损决策分析,涉及调节电压,送电线路升压,并联无功补偿,增长并列线路,增大导线面积等各种降损决策综合分析. 2.4.3图形展示 以上指标和分析图形柱状图、折线图、饼图展示。 可以任意选取一条或几条线路进行分析。对超过一定范畴数据用红色显示。 显示某时间点线损状况。如显示各10点线损曲线。可以分析某一时间段数据。 每天线损状况,可以显示每天线损曲线。以及每条线路每月线损曲线。 2.5装备水平分析 变电站,开关、互感器、隔离开关、变压器容量、保护综自设备按变电站、电压级别、产品型号、类型显示记录成果。 记录变电综合自动化率、双配备率、无油化率、组合化率。以及变电设备到期需检修、实验设备。检修实验完毕率。 记录缺陷按数量、类型、变电站等呈现历史变化曲线图形点击可直接显示明细。 输配电线路总条数,总长度。输电线路按电压级别、型号、架空和电缆、投运时间(年)、资产记录条数和长度。配电线路按单位、资产性质、电缆架空、显示记录成果。 架空配电线路、配电变压器、低压台区个数,配电室、箱变、台架、配电室、开关站、环网柜、分支箱、联系柱上开关、分段柱上开关显示记录成果。 并可按照台帐中设备投运日期记录需更换设备,按照实验时期记录需进行实验设备,按照巡视周期应进行巡视线路及设备等。 数据来源配电GIS,变电生产管理系统。 2.6人力资源分析 人员基本信息,可按部门、性别、身份、年龄构造、工作年限、人员分类、专业职务、政治面貌、文化限度、用工形式、技能工资、岗位工资进行记录,并可交叉记录。 构建历史数据,反映职工调动纪录,记录调动时间,先后部门、岗位变动,主业职工人数、三产职工人数历史曲线,生产、管理人员人数及比例历史纪录,全局人员、生产人员、管理人员中各种学历比例历史纪录 可进行技能构造分析、学历层次分析、员工年龄变化趋势分析、年龄构造分析、专业分析记录、中层干部构造分析、公司机关人员现状分析、高档技能人才比例、人才密度等记录显示。 数据来源人事MIS系统。 3解决方案 3.1创立仓库模型 依照对电力行业营销系统、调度系统、抄表自动化系统等理解,咱们提取了售电量、用电量两个主题,并依照也许影响该主题有关因素,设计出该主题星型模式。 3.1.1主题1 售电量 主题 售电量 影响电量因素: l 顾客(含大客户) l 时间(粒度为天) l 行业分类 l 用电类别 l 电价类别 l 供电区域 ——地区 ——部门 ——变电站 ——线路 ——公用区 l 电压级别 l ***售电量*** 构建星型模式: 图3-1 售电量星型模型 3.1.2主题2 用电量 主题 用电量 影响电量因素: l 变压器 l 时间(粒度为天) l 供电区域 ——地区 ——部门 ——变电站 ——线路 ——公用区 l 电压级别 l 业扩 ——新增 ——增容 l 外部因素 ——天气(温度) ——政策 ——电价调节 ——经济形势 l ***用电量*** 构建星型模式: 图3-2 用电量星型模型 3.2数据抽取规则 数据抽取是依照元数据库中主题表定义、数据源定义、数据抽取规则定义对异地异构数据源(涉及各平台数据库、文本文献、HTML文献、知识库等)进行清理、转换,对数据进行重新组织和加工,装载到数据仓库目的库中。在组织不同来源数据过程中,先将数据转换成一种中间模式,再把它移至暂时工作区。加工数据是保证目的数据库中数据完整性、一致性。在数据抽取过程中,必要在最后顾客密切配合下,才干实现数据真正统一。初期数据抽取是依托手工编程和程序生成器实现,当前则通过高效工具来实现,如Ardent公司Infomoter产品、SAS数据仓库产品SAS/WA(WarehouseAdministrator)及各大数据仓库厂商推出、完整数据仓库解决方案。在本解决方案中,咱们将采用IBM公司DB2 Warehouse Manager来完毕数据抽取。 3.2.1分析业务系统库,对数据字典进行分类 理解各个业务系统库,分析需要从那些业务系统库抽取数据,并分析各个系统之间联系,熟悉要抽取数据业务系统库数据字典。然后,对源数据库中数据进行细分,将数据字典中各字段转换到分类数据表中,然后将整个数据抽取过程建立在分类数据表基本上。分类数据抽取方略实质是将创立集合记录过程中对导入记录映像分类和再分类工作一某些提前至键值定义中,使得原本无法并行概括键值和分类抽取集合键值过程变得可以并行操作,并且并行操作各类人员或程序有了更明确任务划分,起到了分工合伙作用。从而在数据仓库和数据集市构建中,将源字段分类、分类字段键值概括、已抽取数据再分类等工作分派给不同人员并行解决,形成流水线效应,提高了工作效率。 分类数据抽取方略过程如图3-3所示: 图3-3 分类数据抽取方略过程 3.2.2找出各业务系统内及其与目的数据库之间存在数据不一致。 各个源数据系统是由不同公司在不同步间开发,数据之间都存在很大不一致。 l 在不同系统中,同一实体编码类型也许不一致。例如,有两个数据源存储与客户关于信息,在定义数据构成客户编码类型时,也许一种用是可变字符型,而另一种用是整型; l 在不同系统中,同一实体编码方案也许不一致。例如,在定义客户性别这一属性类型时,一种也许是char(2),存储数据值为"男"和"女",另一种属性类型为char(1),数据值为"F"和"M";有系统还也许用是0、1和2,0表达男,1表达女,2表达性别未知。 l 不同系统中,数据存储粒度也许不一致。例如,在抄表自动化系统中,对大客户抄表时间间隔精准到小时,但是在目的数据仓库中,需要将抄表时间间隔精准到天。 l 数据需要清理。有系统由于开发时间比较早,存储它里面数据也许已经不在满足当前实际需求,成为错误数据。例如,在老历史数据中,存在一种计量点相应各种有功表状况,这是不符合实际需求,但是,咱们又必要要使用这些老历史数据,这就规定对这些存在错误历史数据进行清洗、整顿,以符合实际需求。在某些状况下,为了保证输入数据对的性,需要一种简朴算法。在复杂状况下,需要调用人工智能某些子程序把输入数据清理为可接受输出形式。 l 一种维也许有各种级别,在业务系统库中,这些数据也许存储在各种表中,这需要将包括在各种表中关于数据进行合理合并。例如,客户维涉及供电局、供电所和客户三个级别,它层次如图3-4所示: 客户维 ……供电局 … …供电所 ……客户 图3-4 客户维层次 供电局、供电所信息存储单位信息表中,客户信息存储在客户基本信息中,这就需要对两张表进行合并。 l 目的仓库也许只关怀业务系统库表中一某些数据。例如,在业务系统库客户基本信息中,也许依照时间存储了一种客户多条信息,但是目的仓库对每个客户只需要一条信息就足够了,这就需要对数据进行清洗。 l 需要提供缺省值。有时候,数据仓库一种输出值没有相应输入源。这时,必要提供缺省值。 l 必要进行数据格式转换。例如,E B C D I C到A S C I I转换(或反过来)必要进行;关于日期输入数据格式是Y Y / M M / D D,当它被写入输出文献时,需要转化为D D / M M / Y Y格式。 3.2.3设计出适当转换规则 针对各个业务系统库数据之间不一致,制定出相应转换规则 l 各个系统编码类型转换。例如,源系统中,客户编码用是整型,目的仓库中,用是char(12),那么将整型每位转换成一位字符,转换完毕,局限性12位,在前面用字符‘0’补足12位。 l 各个系统编码方案转换。例如,源系统中,客户性别用是“男”、“女”,而目的仓库中,用是“0”,“1”,“2”,那么做如下转换: Ø 男 -> 0 Ø 女 -> 1 Ø 空值 -> 2 l 对数据进行清理。例如,对一种计量点存在各种有功表状况,就要按照实际状况,要么拆提成各种计量点,要么,将各种有功表进行求和。 l 数据格式进行转换。例如,ASCII码转换成E B C D I C,需要使用相应转换函数。 3.2.4设计数据抽取流程 每个数据抽取流程完毕一种功能相对独立实体数据抽取,例如,一种抽取流程完毕一种维或事实表数据抽取。在本方案中,咱们将借助于IBM公司可视化数据抽取工具DB2 Warehouse Manager来完毕数据抽取流程设计。 一种数据抽取流程也许会涉及到各种表,需要运用各种数据抽取规则,进行各种数据转换,并且各个数据转换之间存在制约关系,一种转换必须在某个或某几种转换完毕之后才干进行。例如,客户维数据抽取流程需要从系统信息表和客户基本信息表中抽取数据,并且需要将客户基本信息表中不需要客户信息清洗掉。客户维数据抽取流程在DB2 Warehouse Manager中设计如图3-5所示: 图3-5 客户维数据抽取流程 3.2.5设计数据抽取流程抽取方式,并开始数据抽取 对大数据量实体数据抽取进行整体抽取,也许会占用太多时间,普通会采用增量抽取;对于小数据量实体,可以考虑使用整体抽取。在数据抽取流程设计完毕之后,就需要指定数据抽取流程抽取方式,例如是人工抽取,还是自动;如果是自动,那么就需要指定开始抽取时间或时间间隔。对有制约关系各个抽取流程,还要指定她们之间先后关系。 在数据抽取流程抽取方式设计完毕之后,就可以开始数据抽取了。 3.2.6对抽取到数据仓库中数据,进行验证 在数据抽取到数据仓库后,就需要对数据进行验证,看与否满足一致性,与否满足实际需求,与否达到了预期目的。如果,数据没有达到预期目的,就要找出不满足需求因素,重复环节3.2.2-3.2.6,重新分析各系统之间存在问题,重新设计转换规则、数据抽取流程。 3.2.7完毕数据抽取 手工或定期地启动数据抽取流程,将数据从业务系统库中抽取到数据仓库中。 3.3 OLAP多维分析 针对电力系统将要建立数据仓库模型,咱们选取OLAP展示作为数据仓库向顾客提供信息接口,来满足决策支持或多维环境特定查询和报表需求。 3.3.1多角度分析 对同一主题数据,OLAP呈现可以在不同角度对数据进行展示,顾客可以依照需要,随意组合展示角度和展示方式。 例如,顾客选定对售电量主题进行分析,可以从顾客、时间、行业分类、用电类别、电价类别、供电区域、电压级别角度对售电量进行。顾客在分析过程中,既可以把上述所有角度都选定,在各种角度综合伙用下进行分析,也可以只选取自己感兴趣角度进行分析。例如,可以进行下列不同角度呈现: l 某行业在各个时间段内电量趋势及同期比。 l 某用电类别在各个时间段内电量趋势及同期比。 l 某电价类别在各个时间段内电量趋势及同期比。 l 某供电区域在各个时间段内电量趋势及同期比。 l 某电压级别在各个时间段内电量趋势及同期比。 l 在某段时间内,各行业用电量及其在总电量中所占比重。 l 在某段时间内,各用电类别用电量及其在总电量中所占比重。 l 在某段时间内,各电价类别用电量及其在总电量中所占比重。 l 在某段时间内,各供电区域用电量及其在总电量中所占比重。 l 在某段时间内,各电压级别用电量及其在总电量中所占比重。 l 某电价类别中,不同供电区域在某段时间内用电量,及对比。 l 某行业中,不同供电区域在某段时间内用电量,及对比。 l 某用电类别中,不同供电区域在某段时间内用电量,及对比。 l 某供电区域中,不同供电区域在某段时间内用电量,及对比。 l 某电压级别中,不同供电区域在某段时间内用电量,及对比。 l 在某供电区域内,各行业用电在某段时间内用电量,及其在总电量中所占比重。 l 在某供电区域内,各用电类别用电在某段时间内用电量,及其在总电量中所占比重。 l 在某供电区域内,各电价类别用电在某段时间内用电量,及其在总电量中所占比重。 l 在某供电区域内,各电压级别用电在某段时间内用电量,及其在总电量中所占比重。 l 某大客户在各个时间段内电量趋势及同期比。 l 在某段时间内,各用电大户用电量,及其在总售电量中所占比重。 l 某行业中,各用电大户在某段时间内用电量,及对比。 l 某用电类别中,各用电大户在某段时间内用电量,及对比。 l 某电价类别中,各电大户在某段时间内用电量,及对比。 l 某供电区域中,各电大户在某段时间内用电量,及对比。 l 某电压级别中,各电大户在某段时间内用电量,及对比。 l ……… 分析时除了维度灵活选取外,展示系统还支持在某一维度上钻取分析。例如,在按照行业分类和时间角度对售电量进行分析时,顾客可以依照需要采用向下钻取(Drill)分析方式,查看时间角度上更细节数据,如可以查看每个季度每月数据或只查看第四季度下面三个月数据,如图3-6所示。 图3-6 钻取分析图 对于某角度细节粒度数据,如各行业分类每天售电量,也可以采用上卷(Roll-up)分析方式查看高粒度上数据,如可以对1月份每天数据进行汇总。 对于任何一种顾客关怀角度,只要此角度存在层次关系,咱们展示都可以进行此种向高层上卷和向下层钻取操作。让顾客只是点击一下鼠标,便可以站在不同层次之间浏览数据,以便顾客既可以对细节数据把握,有可以满足顾客对综合数据需求。 咱们展示对同样一组数据,可以以不同视角进行呈现。对图3-6所示数据,此时展示是不同行业四个季度售电量。可以采用旋转(Rotate)/转轴(Pivot)分析办法,展示在四个季度中不同行业售电量。这种旋转(Rotate)/转轴(Pivot)操作,使得顾客对拥有同样角度数据,可以这次以这个角度作为观测重点,下次又以另一角度作为观测重点。此种操作办法,对同一组数据,给顾客提供更灵活观测视角。 3.3.2图形展示 咱们展示既能提供数字报表展示,还能提供强大图形展示功能。可以对数字报表以柱状图、饼图、折线图等图形直观呈现给顾客,还支持对顾客关怀图形区域进一步细化展示功能。图3-7给出了两种图形组合图形报表,左面饼图给出了不同地区售电量占总售电量比例,右面折线图给出了三种行业在、八个季度中售电量变化趋势。 图3-7 组合图形报表 咱们对普通图形展示功能做了扩充,支持在图表上直接进行分析,可以使顾客以便直观进行主题分析。如顾客查看四个季度不同行业分类售电量(图3-8),顾客如果此时仅想查看四个季度“非普工业”售电量,此时只需在“非普工业”点击一下,图形将显示四个季度“非普工业”售电量状况(3-9)。 图3-8 行业分类售电量呈现 图3-9 非普工业售电量呈现 3.4数据挖掘 运用Intelligent Miner可实现关联分析、聚类分析、分类、预测、时序模式和偏差分析等6种信息挖掘办法。下面举例阐明前3类挖掘。 3.4.1关联分析 例如咱们关怀各线路之间售电量变化有关性,这属于挖掘中关联挖掘。一方面咱们需要在系统中指定咱们以为也许关于联线路,如从线路1到线路10有关数据,通过系统运算分析咱们可以得到一张如图3-10所示图表: 图 3-10 关联挖掘示意图 l 图表可以告诉咱们什么? 图中节点表达不同线路,节点之间连线表达不同节点之间关联规则,连线颜色代表该关联规则支持度,而连线粗细限度代表着该关联改进度。所谓规则A==>B支持度是指,A与B同步浮现概率;而A==>B改进度是指,在A变化状况下,B一定变化概率。 在图中咱们可以看到,线路8上售电量变化有80%概率会引起线路10上售电量变化,而线路8和线路10在物理上并不一定是邻近。在这种状况下,如果咱们要在线路8上新增一种顾客,而该顾客用电量将会把线路8平均负荷从50%提高到80%,这样一来,咱们是不需要对线路8进行改造。但通过咱们挖掘分析可以懂得,新增顾客也许会大大提高线路10平均负荷,而如果线路10自身已经接近满负荷,则咱们需要对线路10进行改造。 l 咱们可以运用关联做什么? l 有了这样工具之后,咱们可以分析许多与主题有关因素之间关系,找到某些潜在规则,而这样规则也许是咱们在平时工作中主线不会想到。例如: l 供电区域与用电类别之间关联:历城区售电量上涨时,我市大宗工业售电量也将大幅上涨。 l 居民照明用电、商业用电及大宗工业用电之间关系:居民照明售电量大幅上升时,商业用电也将大幅上升,而大宗工业售电量也许会有相应减少。 l 各电压级别之间关系:当35KV如下售电量大幅减少时,220KV以上售电量也许会有相应减少。 l 农业售电量与某种工业之间关系:当农业售电量大幅上升时,某特定工业售电量也许随之大幅上升。 l 如果底层数据完整,咱们甚至可以找出每天温度与日售电量之间关联规则,从而依照天气预报来推测下一时间段售电量。 3.4.2分类分析 例如咱们想按自己原则对所有总电量进行分类,而这种原则又也许是不固定,例如,要看总电量中月用电量不不大于5万度和不大于等于5万度各占多少,而在月用电量不不大于5万度售电量中,大工业用电和非大工业用电各占多少。 要实现这样目,咱们需要在系统中指定每一层规则,通过系统分析运算,咱们可以得到一张类似于下图一张图表: 图3-11 分类挖掘示意图 图中显示是一棵树,树根结点代表一定期间段内总电量,结点上方显示中文即为咱们自己定义分类规则,在这里,咱们把总电量按“月售电量>5万度”原则提成两某些。根结点左结点代表月售电量不不大于5万度顾客售电量,而右结点代表不大于等于5万度售电量。在不不大于5万度售电量中,咱们又按“与否大工业”原则进行细分,又得到两个结点,以此类推。 固然,咱们可以看到每一结点详细数据,如它在父结点总量当中所占有比例或绝对数量。 3.4.3预测分析 例如咱们想依照大量历史数据来推测下一时间段(也许是月也也许是年)售电量。 要实现这样目,咱们需要在系统中指定预测时间段长度(如是一种月还是一年)、与否使用特定模型、使用何种模型及指标预测角度之后,通过系统运算、分析,咱们会得到一张类似于图3-12图表。 图3-12 预测分析示意图 在图中可以看到,咱们可以随时变化相应预测条件来生成新预测成果。 预测成果展示可以是折线图,柱状图或数据表等各种形式。 4采用技术及有关产品 4.1构建数据仓库技术环节 详细来看,开发数据仓库流程重要按照下列环节: (1) 启动工程 一方面建立开发数据仓库工程目的及制定工程筹划。筹划涉及数据来源、提供者、技术设备、资源、技能、成员培训、责任、方式办法、工程跟踪及详细工程调度等。 (2) 建立技术环境 选取实现数据仓库软硬件资源,涉及开发平台、DBMS、网络通信、开发工具、终端访问工具及建立服务水平目的(关于可用性、装载、维护及查询性能。) (3) 拟定主题进行数据建模(需求分析) 依照决策需求拟定主题,选取数据源,对数据仓库数据组织进行逻辑构造设计。 (4) 设计数据仓库中数据库(物理建模) 依照需求分析得到逻辑模式,开发数据仓库中数据物理存储构造,即设计多维数据构造事实表和维表。(Warehouse manager) (5) 数据转换程序(即ETL过程) 实现从源系统中抽取、清理、一致化、综合、装载数据等过程设计和编码。(Warehouse manager) (6) 管理元数据(某些已经在环节4、5中完毕) 定义元数据,即表达、定义数据意义及系统各构成部件之间关系。元数据涉及核心字、属性、数据描述、物理数据构造、源数据构造、映射及转换规则、综合算法、代码、默认值、安全规定、变化及数据时限等。(Warehouse manager) (7) 创立仓库模式 用定义好事实表和维表生成多维模式。注,这个模式不存在层和层次概念。(Warehouse manager) (8) 搭建立方体 在已创立仓库模式基本上,对维定义了层和层次;创立了需要预测算量度;运用优化器依照业务进行了切片优化和预解决,生成MQT(物化视图);在模式中建立立方体,供查询和多维分析使用。(Cube Views) (9) 开发基于多维存储OLAP模型 前面创立模型是基于关系存储,在这里要创立基于多维存储OLAP模型。重要工作分为建模和布置两步:(OLAP Server) Ø 基于仓库中表建立OLAP模型 i. 一方面建立元模型(涉及创立星型或雪花模式,定义维、属性、层和层次等); ii. 再建立元轮廓,即将前面定义元模型转换成OLAP Server所能辨认元数据。 Ø 将建好模型布置到AS(分析服务器)中; 注意,Cube View和Olap server是两个并行使用工具,后者功能似乎比前者更强大。 (10) 多维分析及呈现 使用数据分析和呈现工具,开发多维分析程序以及呈现页面。(Alphablox) (11) 查询优化 IBM提供了专门查询优化工具Query Patroller,它通过协助DBA控制和理解数据库使用状况,从而实现预见性管理、查询信息分析、查询监控等。 (12) 数据挖掘 运用数据挖掘工具抽取此前没有发现、可理解、可操作信息。涉及聚类、关联、分类、预测分析等。(Intelligent Miner) (13) 管理数据仓库环境 数据仓库必要像其她系统同样进行管理,涉及质量检测、管理决策支持工具及应用程序,并定期进行数据更新,使数据仓库正常运营。 4.2有关产品简介 IBM公司DB2数据仓库公司版提供了完整数据仓库解决方案,涉及DB2 ESE、DB2 Warehouse Manager、DB2 Cube Views、DB2 OLAP Server、DB2 Intelligence Miner和DB2 Alphalox,整体框架如图4-1所示: 图4-1 DB2 数据仓库解决方案整体框架 DB2 ESE通过使用非共享体系构造、查询重写、迅速装载、物化查询表、复制查询汇总表、多维聚簇技术、动态位图索引等技术,来提供了对通用海量并行数据仓库支持;B2 Warehouse Manager提供了可视化界面,以便了数据加载、转换和抽取;DB2 Cube Views是OLAP元数据互换工具及物化查询表生成器,它通过将经常关怀查询做成物化表,大大加快了查询速度;OLAP Server是功能强大OLAP分析工具,它可以对维进行加、减、乘、除等各种运算;DB2 Intelligence Miner是数据挖掘工具,它涉及数据挖掘建模工具、数据挖掘评分工具和数据挖掘图示化工具三某些;DB2 Alphablox是遵循J2EE规范前端展示开发平台,它提供了基于WEB开放原则标签语言,可以迅速开发WEB分析应用。 4.2.1 Warehouse Manager Warehouse Manager重要- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电力系统 数据仓库 解决方案 样本
咨信网温馨提示:
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
关于本文