遥感大数据及其应用ppt课件.ppt

遥感大数据及其应用1 引子引子v2020世纪人类社会的一大进步是人们可以离开地球世纪人类社会的一大进步是人们可以离开地球来观测地球来观测地球v19611961年年4 4月月1212日日“东方号东方号”宇宙飞船载着苏联少宇宙飞船载着苏联少校加加林在校加加林在300300多多kmkm的高度围绕地球飞行了的高度围绕地球飞行了106106分分钟，有诗为证：钟，有诗为证：东方号，东方号，东方号，东方号，你打开了人类通往宇宙的大门；你打开了人类通往宇宙的大门；加加林，加加林，加加林，加加林，你实现了人类飞出地球的理想。你实现了人类飞出地球的理想。19701970年年4 4月月2424日我国第一颗人造地球卫星日我国第一颗人造地球卫星“东方东方红一号红一号”发射成功。国家决定发射成功。国家决定20162016年年4 4月月2424日为日为首个首个“中国航天日中国航天日”23报告内容报告内容人类进入大数据时代人类进入大数据时代 1234遥感大数据及其特点遥感大数据及其特点 遥感大数据挖掘与应用遥感大数据挖掘与应用结论与展望结论与展望4信息高速公路到网络空间信息高速公路到网络空间v19931993年年9 9月，美国启动月，美国启动“信息高速公路信息高速公路”计划，即计划，即国家信息基础设施（国家信息基础设施（NIINII）,引发了席卷全球的信引发了席卷全球的信息化革命息化革命；19941994年，美国启动了国家空间数据基年，美国启动了国家空间数据基础设施（础设施（NSDI)NSDI)的建设的建设v19951995年，中国启动了推动全国信息化的年，中国启动了推动全国信息化的“八金八金”工程，标志着我国信息化建设开始起步工程，标志着我国信息化建设开始起步v利用卫星导航定位技术、卫星遥感技术、网络地利用卫星导航定位技术、卫星遥感技术、网络地理信息技术和计算机虚拟现实技术，大量的表述理信息技术和计算机虚拟现实技术，大量的表述地球自然形态和人类活动的几何与社会属性数据地球自然形态和人类活动的几何与社会属性数据和信息被送入电脑，并在互联网上流通，形成虚和信息被送入电脑，并在互联网上流通，形成虚拟的网络空间（拟的网络空间（Cyberspace）5数字地球的提出数字地球的提出v19981998年，美国副总统戈尔提出年，美国副总统戈尔提出“数字地球数字地球”概念，概念，全球开始步入数字地球和数字城市建设新阶段全球开始步入数字地球和数字城市建设新阶段v目前，我国已建成数字中国基础框架，已有目前，我国已建成数字中国基础框架，已有600600多个多个城市初步建成数字城市基础框架，国家测绘地理信城市初步建成数字城市基础框架，国家测绘地理信息局发布在互联网上的息局发布在互联网上的“天地图天地图”成了数字中国和成了数字中国和数字城市的载体数字城市的载体6智慧地球智慧地球v20062006年年以来以来，物联网、云计算等新一代信息技术正，物联网、云计算等新一代信息技术正式推出，实现了工业化与信息化的综合集成式推出，实现了工业化与信息化的综合集成v通过无所不在的传感网将网络世界与现实世界关联通过无所不在的传感网将网络世界与现实世界关联起来，形成虚实一体化的空间（起来，形成虚实一体化的空间（Cyberphysicalspace），），将自动和实时地感知现实世界中人和物将自动和实时地感知现实世界中人和物的各种状态和变化，由云计算中心处理其中海量和的各种状态和变化，由云计算中心处理其中海量和复杂的计算、控制并产生智能反馈复杂的计算、控制并产生智能反馈v20092009年，全世界各国正式提出建设智慧地球和智慧年，全世界各国正式提出建设智慧地球和智慧城市城市智慧地球可为人类生存繁衍、经济发展、社会交往和文化享受等诸多方面提供各种智能化的服务：实现低碳、绿色、可持续发展7大数据的兴起大数据的兴起vNature ScienceNature Science出版社分别于出版社分别于20082008年、年、20112011年出版了年出版了Big Big DataData、Dealing with dataDealing with data专刊，指出大数据时代已专刊，指出大数据时代已到来到来v20122012年年3 3月，美国奥巴马政府宣布正式发布了月，美国奥巴马政府宣布正式发布了“大数据研究大数据研究和发展倡议和发展倡议”，意义堪比，意义堪比2020世纪的信息高速公路计划世纪的信息高速公路计划v无所不在的亿万个各类传感器将产生越来越多的数据，数无所不在的亿万个各类传感器将产生越来越多的数据，数据量级将从现在的据量级将从现在的GBGB、TBTB（TeraByteTeraByte）级逐步增长到）级逐步增长到PBPB、EBEB和和ZBZB（ZettaByteZettaByte）级）级。v迫切需要通过迫切需要通过分析这些结构复杂、数量庞大的数据，以云分析这些结构复杂、数量庞大的数据，以云端运算整合分析，便能快速地将之转化成有价值的信息，端运算整合分析，便能快速地将之转化成有价值的信息，从中探索和挖掘自然和社会的变化规律从中探索和挖掘自然和社会的变化规律v利用大规模有效数据分析预测建模、可视化和发现新规律利用大规模有效数据分析预测建模、可视化和发现新规律的时代的时代即将即将到来到来8 大数据的特征大数据的特征vVolume（体量大）（体量大）:大量大量TB、PB、EB级以上的数级以上的数据等待处理；据等待处理；vVelocity（速度快）：（速度快）：需要响应以秒甚至毫秒计的流需要响应以秒甚至毫秒计的流数据的不断产生；数据的不断产生；vVariety（模态多样）（模态多样）:数据来源和类型繁多，文本、数据来源和类型繁多，文本、图片、视频等结构化和非结构化数据并存；图片、视频等结构化和非结构化数据并存；vVeracity（真伪难辨）（真伪难辨）:由于数据的噪音、缺失、不由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性；一致性、歧义等引起的数据不确定性；vValue（价值巨大）（价值巨大）:大数据使得人们以前所未有的维大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。标在于从数据中挖掘价值。此此“5V”又译为：体量、速度、多样性、真实性又译为：体量、速度、多样性、真实性和价值。和价值。9 数据挖掘的定义数据挖掘的定义v从海量、多源大数据中自动发现和提取隐含的、从海量、多源大数据中自动发现和提取隐含的、非显见的模式、规则和知识的过程。非显见的模式、规则和知识的过程。v数据挖掘比数据处理和信息提取有更大的难度，数据挖掘比数据处理和信息提取有更大的难度，需要基于大数据和知识库的智能推理。需要基于大数据和知识库的智能推理。v基于智慧城市的大数据和云计算，数据挖掘的目基于智慧城市的大数据和云计算，数据挖掘的目的是从中窥探和挖掘自然和社会的变化的是从中窥探和挖掘自然和社会的变化规律规律，人，人们的生活、行为及喜好，社会的潮流、思维和舆们的生活、行为及喜好，社会的潮流、思维和舆论趋向，推断市场对产品、服务甚至政策等各方论趋向，推断市场对产品、服务甚至政策等各方面的反应。面的反应。10 数据挖掘过程数据挖掘过程数据获取数据获取数据存储数据存储数据计算数据计算数据传送数据传送与分配与分配数据挖掘数据挖掘数据呈现数据呈现数据安全数据安全数据采集、编数据采集、编索与整合索与整合需要低成本存需要低成本存储与分布式处储与分布式处理理大量的仿真和计算任务须协调数百个参数需要将高维图像等多媒体数需要将高维图像等多媒体数据降维后度量与处理据降维后度量与处理需要可视化需要可视化计算结果计算结果分享与访问控分享与访问控制，安全与隐制，安全与隐私保护私保护数据数据仓库仓库选择数选择数据据选择选择变换变换挖掘挖掘融合融合抽取信息融合信息融合信息变换的数据变换的数据数据融合、取数据融合、取样、多分辨率样、多分辨率分析分析去噪、特征去噪、特征抽取、标称抽取、标称化化降维处降维处理理分类分类/群集群集可视化可视化/认证认证11 数据挖掘算法数据挖掘算法12准备阶段准备阶段合合并并压压缩缩清清洗洗过过滤滤格格式式转转换换包发现阶段发现阶段统计分析统计分析线性分析、线性分析、非线性分析、非线性分析、线形回归、线形回归、因子分析、因子分析、单变量曲线、单变量曲线、双变量统计双变量统计时间序列分析时间序列分析知识发现知识发现人工神经网络、人工神经网络、决策树方法、决策树方法、遗传算法、遗传算法、规律推理规律推理可可视视化化多变量的图形分多变量的图形分析并给出变量的析并给出变量的关系关系寻找规按律建立模型解释阶段解释阶段关联规则关联规则揭示数据间的内在联系，例如揭示数据间的内在联系，例如发现政府、部门网站上各种文件之间发现政府、部门网站上各种文件之间访问的相互关系，获得不同网页间关访问的相互关系，获得不同网页间关联度，便于组织站点的内容联度，便于组织站点的内容分类分类照分类的公共属性描述来分配类别，照分类的公共属性描述来分配类别，利用历史数据推导和预测利用历史数据推导和预测聚类聚类包括客户群聚类、包括客户群聚类、web 网页聚类，以网页聚类，以便网站为用户提供特定的服务便网站为用户提供特定的服务序列序列挖掘出数据的前后时间顺序关系，找挖掘出数据的前后时间顺序关系，找到那些到那些“一些项跟随另一项一些项跟随另一项”的内部事的内部事务模式务模式路径路径发现发现 web 站点中常被访问的页面，了站点中常被访问的页面，了解用户的网络行为，以便改进页面及解用户的网络行为，以便改进页面及网站结构的设计网站结构的设计12空间数据挖掘空间数据挖掘金字塔金字塔（Pyramid of Spatial Data Mining）13 时空数据挖掘和知识发现的方法时空数据挖掘和知识发现的方法v统计方法和空间统计学统计方法和空间统计学v归纳方法归纳方法v聚类方法聚类方法v空间多测度、多时相分析方法空间多测度、多时相分析方法v探测性的数据分析探测性的数据分析vRough集方法集方法v数据场数据场和和云模型云模型v图像分析和模式识别图像分析和模式识别v神经网络、证据理论、遗传算法神经网络、证据理论、遗传算法v数学形态学数学形态学.14报告内容报告内容人类进入大数据时代人类进入大数据时代 1234遥感大数据及其特点遥感大数据及其特点 遥感大数据挖掘与应用遥感大数据挖掘与应用结论与展望结论与展望15遥感传感器遥感传感器无所不在（无所不在（UbiquitousUbiquitous）地球空间信息的数据获取将从空天地地球空间信息的数据获取将从空天地专用传感专用传感器器扩展到物联网中上亿个无所不在的扩展到物联网中上亿个无所不在的非专用传非专用传感器感器智能手机智能手机：具有通信、导航、定位、摄影、摄具有通信、导航、定位、摄影、摄像和传输功能的时空数据传感器像和传输功能的时空数据传感器城市中视频传感器城市中视频传感器：由于数量众多，：由于数量众多，能提供能提供PBPB和和EBEB级连续图像。这些都将大大地提高地球空级连续图像。这些都将大大地提高地球空间信息学的数据获取能力间信息学的数据获取能力16空天地传感器资源（专业和非专业）空天地传感器资源（专业和非专业）v天上的卫星已超过天上的卫星已超过1000个（美国个（美国500多个，俄罗斯多个，俄罗斯120多，中国多，中国135个）；个）；v空中的有人飞机和无人机超过空中的有人飞机和无人机超过10000架；架；v地面移动测量系统和智能驾驶车上百万辆（光学和激光地面移动测量系统和智能驾驶车上百万辆（光学和激光雷达）；雷达）；v海上移动测量系统（光学、激光雷达和声纳）；海上移动测量系统（光学、激光雷达和声纳）；v城市的各种智能传感器（中国视频头城市的各种智能传感器（中国视频头2000多万）；多万）；v人人手中的智能手机与智能手表（人人手中的智能手机与智能手表（10亿多个）。亿多个）。1718 国际商业遥感技术进展国际商业遥感技术进展18美国美国IKONOS IKONOS 卫星卫星19美美国国华华盛盛顿顿（1 1米米）20 IKONOSIKONOS卫卫星星多多光光谱谱影影像像（4 4米米）（排排队队参参观观毛毛主主席席纪纪念念堂堂的的队队伍伍隐隐约约可可见见，花花坛坛信信息息没没有有，背景草坪不清晰）背景草坪不清晰）IKONOSIKONOS卫卫星星融融合合影影像像（1 1米米）（排排队队参参观观毛毛主主席席纪纪念念堂堂的的队队伍伍清清晰晰可可见见，花花坛坛和和背背景景草草坪坪显显示示出出来来，色色调调自自然然逼逼真真，连连纪纪念念堂堂柱子的阴影都很清楚）柱子的阴影都很清楚）21三峡坝区卫星图象三峡坝区卫星图象QuickBird22典型的高分辨率遥感影像：北京西站，美国典型的高分辨率遥感影像：北京西站，美国GeoEyeGeoEye，分辨率，分辨率0.40.4米米23 中外卫星遥感的性能差别v在轨运行卫星数量在轨运行卫星数量:205+300；135;v空间分辨率空间分辨率:0.15m；0.5-3m;v卫星定轨精度卫星定轨精度:3-5cm；3-5cm;v卫星定姿精度卫星定姿精度:0.001gon；0.005gon;v无控制目标定位精度无控制目标定位精度:5-10m；5-20m;v有控制目标定位精度有控制目标定位精度:0.3-0.5pixel；0.5-1 pixel;v量化级别量化级别:10-12 bit；8-10 bit;v卫星侧摆变轨速度卫星侧摆变轨速度:5 seconds)How long it needs for a customer to make a purchase decision?Where are the places in a shopping mall that have the most customer flows?154Satellite imagery scan the city traffics for every 10 minutes Data acquisitionA cloud-based service that is capable to model and predict traffics based on satellite imagesData MiningCTE understands the driving activity(not taking a bus)and navigates with predicted traffics DataDriven Mobile App应用实例应用实例 III:智慧城市中的智能交通（智慧城市中的智能交通（ITS）1553.6 遥感强军（能打仗、打胜仗）遥感强军（能打仗、打胜仗）制空权制空权 制天权制天权制海权制海权 制信息权制信息权卫星应用卫星应用 遥感信息技术成为支撑军事信息化作战，夺取战场信遥感信息技术成为支撑军事信息化作战，夺取战场信息优势，解决制约我军联合作战和精确打击瓶颈问题的重息优势，解决制约我军联合作战和精确打击瓶颈问题的重要技术手段要技术手段156 空天信息网实时信息服务空天信息网实时信息服务157 沈阳沈阳xx无人机高分数据实时处理实例无人机高分数据实时处理实例无人机应急起飞实时匹配实时匹配1秒秒/景景生成正射产品生成正射产品三维实时展示三维实时展示15秒目标变化自动检测秒目标变化自动检测传至“四判一综合”的“一判”战位实时传回图片158实验数据实验数据漏检率漏检率(%)虚警率虚警率(%)用时（用时（min）1016.67282025273028.57294014.2830基于概率投票的模版匹配检测方法基于概率投票的模版匹配检测方法（Z.Lei,T.Fang,2012,TGRS）实验数据实验数据漏检率漏检率(%)虚警率虚警率(%)用时（用时（min）1016.673.52003.23003.54003.6LIESMARSLIESMARS方法的检测精度方法的检测精度基于多特征约束的飞机目标检测基于多特征约束的飞机目标检测 两种方法比较两种方法比较在保持在保持低虚警率低虚警率的同时全面的同时全面提提高检测速度高检测速度虚警虚警虚警虚警虚警虚警虚警虚警典型目标自动检测159突破多时相影像自动匹配、快速变化检测、物理毁伤评估模型等瓶颈问题研发我军首个打击效果评估的系统基于遥感信息的打击效果评估系统卫星卫星卫星卫星无人无人无人无人机机机机特侦特侦特侦特侦技侦技侦技侦技侦解决解决解决解决“打得怎么样打得怎么样打得怎么样打得怎么样”的核心问题的核心问题的核心问题的核心问题1603.7 精准农业vGNSS+RS+GIS+Commulication 其中其中 GNSS(GPS/北斗北斗）：）：导航定位；导航定位；RS：作物长势分析，作物类别识别；作物长势分析，作物类别识别；GIS：农业信息系统。：农业信息系统。161日日本本长长野野地地区区苹苹果果和和水水稻稻的的提提取取及及水水稻稻覆覆盖盖度度提提取取(左左)长野市长野市PHIPHI图像中农作物图像中农作物 地块的提取结果，蓝色地块的提取结果，蓝色 为水稻、黄色为苹果树为水稻、黄色为苹果树 (中中)长野市水稻地块的相覆盖长野市水稻地块的相覆盖度图度图 (右上右上)中图的局部放大的结中图的局部放大的结 果。果。HighLow 高光谱遥感的农业信息提取高光谱遥感的农业信息提取高光谱遥感的农业信息提取高光谱遥感的农业信息提取IRSA CAS162 农业应用（精准农业）：农作物农业应用（精准农业）：农作物的识别和品种划分的识别和品种划分左左:日本长野县盐尻市南部农作物的识别结果日本长野县盐尻市南部农作物的识别结果 紫紫-水稻水稻,黄黄-葡萄葡萄,绿绿-梨梨,蓝蓝-大豆大豆右右:长野市西北部农作物的识别结果长野市西北部农作物的识别结果 黄黄-苹果苹果,蓝蓝-水稻水稻下下:葡萄的相对长势，葡萄的相对长势，红色区长势相对较好长势相对较好HighLow高光谱遥感用于农业信息提取和长势监测高光谱遥感用于农业信息提取和长势监测163Critical to precision farming is the sophisticated new equipment that is now commercially available.The photo above shows a tractor with an imaging system attached on a track to obtain spectral measurements within a field.These measurements provide information about the health of a crop.Photograph courtesy United States Department of Agriculture(USDA)Agricultural Research Service 大田光谱测量拖拉机大田光谱测量拖拉机164This photo shows a movable linear irrigation system with an imaging system attached.Such devices can be programmed,based on remote sensing data,to provide the right amount of water at the right time to different areas within a field.(Photograph courtesy USDA Agricultural Research Service)带有成像传感器的可移动线性灌溉系统带有成像传感器的可移动线性灌溉系统165报告内容报告内容人类进入大数据时代人类进入大数据时代 1234遥感大数据及其特点遥感大数据及其特点 遥感大数据挖掘与应用遥感大数据挖掘与应用结论与展望结论与展望166脑认知与空间认知脑认知与空间认知v从从感知、认知到行动感知、认知到行动（数据驱动应用），是脑认知过程的一种（数据驱动应用），是脑认知过程的一种模式。脑认知科学与地球空间信息科学的融合，是极高挑战性模式。脑认知科学与地球空间信息科学的融合，是极高挑战性的命题。的命题。v遥感信息科学可以通过开发遥感信息科学可以通过开发 多种不同空间信息脑来实现这三多种不同空间信息脑来实现这三 个过程的自动化。个过程的自动化。1 1）地球空间信息海量数据获取，）地球空间信息海量数据获取，2 2）智慧空间数据挖掘，）智慧空间数据挖掘，3 3）地球空间数据驱动应用）地球空间数据驱动应用 卫星上的相机和智能处理系统就好比一个卫星上的相机和智能处理系统就好比一个 对地观测脑对地观测脑，所拍摄的所有影像将被，所拍摄的所有影像将被对地观测脑对地观测脑快快速处理、提取有用的信息和驱动相应应用，实现脑认知中的感速处理、提取有用的信息和驱动相应应用，实现脑认知中的感知、认知和行动这三个过程知、认知和行动这三个过程（互联网（互联网+天基信息实时服务）天基信息实时服务）。167卫星：卫星：不少于不少于6060颗低轨（颗低轨（500-800500-800公里）公里）卫星组网卫星组网遥感信息服务指标：遥感信息服务指标：空间分辨率：空间分辨率：0.50.5米米 时间分辨率时间分辨率：全球目标优于全球目标优于1 1小时小时实时导航定位精度：实时导航定位精度：米级米级地面移动通信：地面移动通信：覆盖覆盖全球的语音、视频和图像通信全球的语音、视频和图像通信 PNTRCPNTRC系统系统建设初步设想：建设初步设想：一星多用、多星组网、多网融合、智能服务一星多用、多星组网、多网融合、智能服务168结论结论1.无所不在的遥感传感器将产生前所未有的遥感大数据；2.面对“数据海量、信息缺失、知识难觅”的局面，需要解决基于云计算的遥感数据智能处理和数据挖掘问题；3.遥感大数据应用面广、价值巨大，需要加大产业化力度，推进军民深度融合。169谢谢大家！谢谢大家！17020122012年年1 1月月9 9日太原发射场日太原发射场ZY-3ZY-3测绘卫星成功发射测绘卫星成功发射171