大数据应用案例.docx

大数据应用案例
1物联网大数据应用
由于遍布全球的众多传感器和智能设备，物联网触发了数据或大数据的淹 没。只有大数据技术和框架才能处理这样庞大的数据量，这些数据量可以传输各 种类型的信息。物联网的数量增长越多，就需要更多的大数据技术。在这个领域 内，机构需要将重点转移到实时易于访问的丰富数据上。这些数据会影响客户群， 并可通过挖掘产生有意义的结论。来自传感器的数据应该被处理以实时发现模式 和见解，以推进业务目标。现有的大数据技术可以有效利用传入的传感器数据， 将其存储起来，并使用人工智能进展高效分析。实际上，对于物联网处理，大数 据是燃料而人工智能是大脑。
物联网不仅是大数据的重要来源，还是大数据应用的主要市场。在物联网中， 现实世界中的每个物体都可以是数据的生产者和消费者，由于物体种类繁多，物 联网的应用也层出不穷。下面简述几种典型物联网大数据的使用案例。 车队管理
许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技 能和道路平安行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机 器日志数据，物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛 使用该技术来监控车队车辆的速度，行驶里程，休息停靠，油耗，发动机使用情 况等。因此，该公司减少了有害排放和燃料消耗。UPS快递为了使总部能在车辆 出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无 线适配器和GPS。同时，这些设备也方便了公司监视管理员工并优化行车线路。 UPS为货车定制的最正确行车路径是根据过去的行车经历总结而来的。2011年， UPS的驾驶员少跑了近4828万公里的路程。
1.2智慧城市
智慧城市，是一个基于物联网大数据应用的热点研究工程，图1所示为基于 物联网大数据的智能城市规划。迈阿密戴德县，就是一个智慧城市的样板。佛罗 里达州迈阿密戴德县与IBM的智慧城市工程合作，将35种关键县政工作和迈阿 密市严密联系起来，帮助政府领导在治理水资源、减少交通拥堵和提升公共平安 方面制定决策时获得更好的信息支撑。IBM使用云计算环境中的深度分析向戴德 县提供智能仪表盘应用，帮助县政府各个部门实现协作化和可视化管理。智慧城 市应用为戴德县带来多方面的收益，例如戴德县的公园管理部门今年因及时发现
和修复跑冒滴漏的水管而节省了 100万美元的水费。
图1基于物联网的智慧城市 农业
基于物联网应用技术平台可以升级传统农业流程，对农作物的用药、灌溉、 施肥及其相关畜牧业等实现实时监控，提高资源利用率，减少对环境的污染，特 别是加强农作物疾病监控与常见传染性疫情预警，在保证农作物增产率的同时提 高生产经济效益，从而实现农业现代化高效经营和可持续开展。
约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数，如土壤湿度水 平等。数据发送到一个集中管理平台，根据湿度水平，可以提醒农民何时进展灌 溉。这可以防止不必要的灌溉，防止特定地区的水资源集中。
卫生保健
可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的安康状况。来自这 些设备的数据可用于追踪如血压，糖水平等参数，以及预先诊断感染疾病的可能 性。Preventice公司整合了应用程序，手机，笔记本电脑，平板电脑和云等，用 于远程病人监控。该公司允许客户的医生在线监测其安康状况，以防止常规检查。 Proteus是一家初创公司，其药丸中含有传感器，可用于检查患者是否遵医嘱。 2基于大数据的智能交通
信息通讯技术的开展，使交通运输从数据贫乏转向数据丰富的大数据时代， 北京市6万余辆出租车一天就会产生数亿条GPS数据，车牌识别、交通监控视 频等数据量更大，交通相关的数据量级已从TB级别跃升到PB级别，对智能交 通系统的运营和管理产生了巨大影响。面对众多的交通大数据，如何对其进展准 确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交 通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核 心内容。
交通大数据与传统交通数据的不同主要表达在特征中。结合交通大数据的根 本类型，认为交通大数据具有6V特征，具体如表1所示。
表1交通大数据的特征
特征
描述

构造化数据和非构造化数据的广泛来源与长期存储

交通流具有时变性，交通管理与效劳具有时效性，需要 较快的数据处理速度

数据来源广泛、类型丰富，交通系统具有多状态特征

数据存在缺失、错误、冗余等异常现象

具有时间、空间、历史等多维特征，是多元效劳的根底
Visualization ：可视化
交通运行状态、城市路网特性等需要可视化的展现
数据是智能交通系统的根底，交通数据采集手段和处理方法的深度革新将引 领智能交通系统的变革。目前，国际智能交通领域的车路协同系统、公众出行便 捷效劳、车联网等热点技术领域都在广泛研究和应用大数据技术。
交通大数据的应用对交通的开展将带来巨大的变化，这主要表达在大数据技 术的实时性、分布性、高效性及预测性方面。
1〕实时性。传统的海量数据模糊查询和统计分析无法到达交通实时性的需 求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海 量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得 更加合理。
2〕分布性。传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会 因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推 动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通 紧急事件中多方协作、快速处置。
3〕高效性。高效的交通大数据挖掘能力，能够快速发现海量交通数据中的 内在关联规律，进而提高交通运营效率以及路网的通行能力。伦敦市利用大数据 减少了交通拥堵时间，提高了交通运转效率。
4〕预测性。大数据技术较高的预测能力可降低交通状态误报和漏报的概率， 通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时 对交通的动态性进展实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开 拥堵路段。
大数据对交通的巨大影响除了以上几个方面外，对交通环境的平安性也有巨 大影响。大数据的实时性和可预测性以及综合的决策模型有助于提高交通平安系 统的数据处理能力。大数据快速整合各个传感器数据，结合车辆运行轨迹数据， 综合分析车辆行驶平安性，为应急决策提供辅助，提高应急救援能力，有效降低 交通事故的发生。由此可见，大数据技术的出现及应用能够有效地解决智能交通 面临的诸多难题。
3企业内部大数据应用
目前，大数据的主要来源和应用都是来自于企业内部，商业智能〔business intelligencei BIJ和OLAP可以说是大数据应用的前辈。企业内部大数据的应用， 可以在多个方面提升企业的生产效率和竞争力。
具体而言：市场方面，利用大数据关联分析，更准确地了解消费者的使用行 为，挖掘新的商业模式；销售规划方面，通过大量数据的比较，优化商品价格； 运营方面，提高运营效率和运营满意度，优化劳动力投入，准确预测人员配置要 求，防止产能过剩，降低人员本钱；供给链方面，利用大数据进展库存优化、物 流优化、供给商协同等工作，可以缓和供需之间的矛盾、控制预算开支，提升效 劳。
在金融领域，企业内部大数据的应用得到了快速开展。例如，招商银行通过 数据分析识别出招行信用卡价值客户经常出现在星巴克、DQ、麦当劳等场所后， 通过〃多倍积分累计"〃积分店面兑换”等活动吸引优质客户；通过构建客户流失 预警模型，对流失率等级前20%的客户出售高收益理财产品予以挽留，使得金卡 和金葵花卡客户流失率分别降低了 15个和7个百分点；通过对客户交易记录进 展分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施穿 插销售，取得了良好成效。
当然最典型的应用还是在电子商务领域，每天有数以万计的交易在淘宝上进 展，与此同时相应的交易时间、商品价格、购置数量会被记录，更重要的是，这 些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相 匹配.淘宝数据魔方是淘宝平台上的大数据应用方案，通过这一效劳，商家可以 了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并 可以据此进展生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格 买到更心仪的宝贝。而阿里信用贷款那么是阿里巴巴通过掌握的企业交易数据，借 助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露， 截至目前阿里巴巴已经放贷300多亿元，坏账率约Q3%左右，大大低于商业银 行。
4大数据在金融领域应用
金融领域一直较为重视大数据技术的开展。相比常规商业分析手段，大数据 可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源 优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降 低库存积压的风险，从而获取更高的利润。
41大数据在金融领域典型应用场景
在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业 客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据 资源整合后的大数据可提供前瞻性预测。二是供给链金融。利用大数据技术，银 行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成 企业之间的关系图谱，利于企业分析及风险控制。
在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证 券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的 量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社 交网络如微博、朋友圈、专业论坛等渠道上的构造化和非构造化数据，形成市场 主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智 能投资参谋。智能投资参谋业务提供线上投资参谋效劳，其基于客户的风险偏好、 交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个 性化财富管理方案。
在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对 客户偏好进展分类筛选，从而到达精准营销的目的。二是消费信贷。基于大数据 的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。
4 2金融大数据的典型案例分析
为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通 过规那么欲实现快速建模、实时告警与在线智能监控报表等功能，以到达实时接收 官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录 等数据的目的。
该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统， 帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电 子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引 擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据， 识别恶意用户和欺诈行为，并实时预警和处置；通过弓I入机器学习框架，对少量 数据进展分析、挖掘构建并周期性更新反欺诈规那么和反欺诈模型。
系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登 录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志 流水、实时识别出近万笔风险行为并进展预警。数据接入、计算报警、案件调查 的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已 帮助卡中心挽回数百万元的风险损失。
百度的搜索技术正在全面注入百度金融。百度金融使用的梯度增强决策树算 法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独 到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等 问题。百度〃磐石”系统基于每日100亿次搜索行为，通过200多个维度为亿账 号准确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺 诈、信息检验、信用分级等效劳。该系统累计为百度内部信贷业务拦截数十万欺 诈用户，拦截数十亿不良资产、减少数百万人力本钱，累计合作近500家社会金 融机构，帮助其提升了整体风险防控水平。
5在线社交网络大数据应用
在线社交网络，是一种在信息网络上由社会个体集合及个体之间的连接关系 构成的社会性构造。在线社交网络大数据主要来自即时消息、在线社交、微博和 共享空间4类应用。由于在线社交网络大数据代表了人的各类活动，因此对于此 类数据的分析得到了更多关注。在线社交网络大数据分析是从网络构造、群体互 动和信息传播3个维度，通过基于数学、信息学、社会学、管理学等多个学科的 融合理论和方法，为理解人类社会中存在的各种关系提供的一种可计算的分析方 法。
目前，在线社交网络大数据的应用包括网络舆情分析、网络情报与分析、 社会化营销、政府决策支持、在线教育等。圣克鲁斯警察局是美国警界最早应用 大数据进展预测分析的试点，通过分析社交网络，可以发现犯罪趋势和犯罪模式， 甚至可以对重点区域的犯罪概率进展预测。2013年4月，美国计算搜索引擎 Wolfram Alpha,通过对Facebook中100多万美国用户社交数据进展分析，试图 研究用户的社会行为规律。根据分析发现，大局部Facebook用户在20岁出头时 开场恋爱，27岁左右时订婚，30岁左右结婚，而30〜6。岁之间，婚姻关系变化 缓慢。这个研究结果与美国人口普查数据相比，几乎完全一致。
中国社科院国情调查与大数据研究中心联合腾讯互联网与社会研究中心在 京发布〃社交网络与赋能研究报告〃，该报告历时1年合作而成，剖析老中青三个 代际人群在使用社交网络时的特点，社交网络赋予他们的影响和变化。
报告显示，在55岁以上老年QQ活泼用户中，发QQ空间的比例为32%, 浏览QQ空间的比例为49%,发文字消息的比例为62%,发表情消息的比例为 26%,玩游戏的比例为13% ；使用互联网或社交网络的老年人在日常休闲活动的 内容上更加丰富，各项活动的选择比例也更高。比方在跳广场舞方面，不使用互 联网的老年人仅有81%的选择比例，而使用互联网但不使用社交网络的老年人 有11%的比例，而既使用互联网又使用社交网络的老年人那么有约22%的会进展跳 舞活动。
对于中年人群体，女性比男性更加愿意用社交网络尝试新的购物模式，大概 有235%的女性中年在朋友圈买过东西，而男性中年在朋友圈购物的比例占 17.8%,在社交网络上购物的生活方式也逐渐在中年人群体中流行起来。
而对于身为互联网原住民的青年人，94%的人表示出门不带手机感到很不习 惯，868%的人无法适应从智能手机换到普通手机，73%的人通常每隔15分钟至 少看一次微信/QQ等社交软件。半数以上的人都愿意尝试在互联网和社交网络 上进展职业选择，青年人在社交网络上职业选择倾向现排名前三的职业分别为微 商、公众号写手、电子游戏玩家，其分别对应的百分比为30.跳、18.6%、16.8%, 可见，以一种虚拟网络平台为根底构建起的新型就业模式可能在青年人中有一定 的市场。
以下再列举几个具体案例：
1〕用户画像体系
每个企业都不可以防止的要对用户进展画像，用户画像的提出，根本上是源 于企业对用户认知的需求。产品经理，需要了解用户的特征，对产品进展功能的 完善。内容运营人员，需要筛选目标用户，对内容进展精准投放。
2〕微博事件研究
事件预警：对微博中发生的重大事件进展监控，及时发出通知，编辑或运营 人员高效快速的完成内容的创作或采取相应的运营策略。
事件演变分析：记录事件的演变过程，分析事件的开展态势。
3〕相似文本研究
在*些内容的聚合页〔如*些话题聚合页面等〕，存在内容重复或及其相似的 现像，会导致信息呈现不够多元化和丰富性，引起视觉疲劳。
总得说来，在线社交网络大数据应用可以从以下3方面帮助我们了解人的行 为，以及掌握社会和经济活动的变化规律：
1〕前期警告。通过检测用户使用电子设备及效劳中出现的异常，在出现危 机时可以更快速地应对。
2〕实时监控。通过对用户当前行为、情感和意愿等方面的监控，可以为政 策和方案的制定提供准确的信息。
3〕实时反响。在实时监控的根底上，可以针对*些社会活动获得群体的反 应信息。
6年多行业大数据应用
大数据分析是促进传统电网向智慧电网进展革新的重要力量，大数据分析系 统由数据采集、数据传输、数据挖掘、数据反响等多个环节组成，其以物理电网 为依托，将先进的传感测量技术、通信技术、云计算技术和控制技术与物理电网 高度融合，通过对电网运行数据、负载变化数据、设备监控数据、电力企业营销 数据、电力企业管理数据等多类型数据的分析与挖掘，实现对电网的全环节高效 运维、全天候实时监控、全地域应急处置、全用户需求预测，为智慧电网的平安、 可靠、经济、高效、绿色运行提供最有力的保障。
电力大数据分析在电力系统的每个环节都有重要应用，协助实现了对电网的 智能控制和优化配置，提高电力规划的管理能力。
第一，发电环节可对常规能源发电的机组的运行情况、设备之间的互动以及 各种参数指标实行实时监控，对风力、太阳能发电进展电机组的稳态特性和动态 特性进展稳定性分析预测，实现发电环节的自动、稳定和高效。
第二，输电环节可通过大数据分析提高其平安性，通过在每个节点上增加监 控能力，可对整个输送线路上的导线温度、线路电容、绝缘子污秽以及线路风振 进展全程监测，并作出评估和诊断。由于智能电网具有自愈的特性，对发现破坏 或者不正常的情况进展自我治愈，对用户实现连续供电。
第三，变电环节可以通过大数据分析优化其变电方案，更好地提高变电环节 的可靠性和智能化水平，同时还可分析整个变电站的检修频次，更好的保障系统 可靠性。
第四，配电环节，由于我国幅员辽阔，所以配电规模和配电设备数量都十分 巨大，针对这一情况，应用大数据分析可为配电网络最优布设提供决策依据，防 止大规模人力、物力的多余投入。
第五，用电环节。大数据将各个电力提供方和需求方严密的连结起来，实现 了电网与用户的双向互动，革新电力效劳的传统模式，为用户提供更加优质、便 捷、个性化的效劳，提高了人民生活质量。同时，物联网技术的参加还可解决远 程抄录电表问题，及时发现异常情况，减少电力盗窃降低损失。
应用电力大数据分析设计的智能电网是将电力流、信息流和业务流高度融 合，大幅优化电网的综合性能，新型电网的优势主要表达在：第一，具有坚强的 电网根底体系和技术支撑体系，能够抵御各类外部干扰和攻击，能够适应大规模 清洁能源和可再生能源的接入，电网的坚强性得到稳固和提升。第二，信息技术、 传感器技术、自动控制技术与电网根底设施有机融合，可获取电网的全景信息， 及时发现、预见可能发生的故障。故障发生时，电网可以快速隔离故障，实现自 我恢复，从而防止大面积停电的发生。第三，柔性交/直流输电、网厂协调、智 能调度、电力储能、配电自动化等技术的广泛应用，使电网运行控制更加灵活、 经济，并能适应大量分布式电源、微电网及电动汽车充放电设施的接入。第四， 通信、信息和现代管理技术的综合运用，将大大提高电力设备使用效率，降低电 能损耗，使电网运行更加经济和高效。第五，实现实时和非实时信息的高度集成、 共享与利用，为运行管理展示全面、完整和精细的电网运营状态图，同时能够提 供相应的辅助决策支持、控制实施方案和应对预案。第六，建立双向互动的效劳 模式，用户可以实时了解供电能力、电能质量、电价状况和停电信息，合理安排 电器使用；电力企业可以获取用户的详细用电信息，为其提供更多的增值效劳。