时空数据分析,时空数据有哪些
海洋数据时空特征分析
如上所述的海洋数据的总体特征,从GIS的角度来看,还有着其独特的时空特征。相对于陆地数据来讲,海洋数据普遍存在着非常典型的真三维和时刻变动的特点。
2.1.4.1 海洋数据的空间类型复杂
海洋数据的空间类型相比陆地数据的复杂性主要体现在:海洋是个真三维的环境。这就使处理海洋空间问题必然要涉及3个空间坐标的问题,而不再像陆地上那样,在很多情况下只需要处理2个平面坐标。值得重视的是,第3个空间坐标的出现,不是简单意义上的增加1个坐标。即使是只考虑空间数据的存储,按照这种2:3的线性比例来看,可能新出现需要考虑和处理的空间情况也会多增加一半,而实际情况则是在更多方面,如三维的可视化等,会增加更多的麻烦。
如图2.1所示,通过对国际流行的商业化GIS和数据库软件所采用的数据模型的对比研究,得出常用GIS系统的数据组织与管理模型。数据首先被分解成空间数据和属性数据两大类,属性数据与空间数据分开存储管理,其中属性数据用SQLServer等关系数据管理系统管理,空间数据用文件或关系数据库方式管理。空间数据的存储格式包括矢量、栅格、图像和多维表格等。此外,所谓的对象数据,则经常采用空间数据和属性数据并置的方式进行存储与管理。
对于二维数据(包括含高程的二维数据),这种组织方式已经在无数个实例验证了它的成功,因此对它的效率和可靠度毋庸置疑。
但是目前需要处理的海洋数据,是一种真三维的数据,那么空间数据如果用关系表组织的话,就多出很大的数据量,因为原先是二维空间结构的,现在需要在二维的基础上再叠加一维,如果数据关系表设计不周到,必然会造成数据的极大冗余。数据的文件式存储暂时也许会是个更好的选择,但是需要重新制定新的文件格式,以提高三维空间数据存放的效率。
图2.1 GIS系统中常用的数据组织和管理模型
2.1.4.2 海洋数据的时间类型复杂
与增加了第三维空间数据相比,海洋数据新增加的时间类型则要更加突出。这是因为,在常用的陆地GIS系统中,一般都不考虑或极少考虑到数据的时间变动问题,而在海洋数据中,这种情况恰好相反,时间不再作为一种属性数据的形式出现,而是成为完全并列于空间数据的重要类型之一,在多数时候,它的重要性不亚于任何一维的空间数据。
如图2.2所示,既然有了新的时间类型数据,必须给它赋予一个合理的重要位置,与空间数据的位置同等重要,或者至少也要比一般的属性数据更加重要。
同时,海洋数据的时间类型具有多种样式,类比于空间数据的存储格式,时间数据也有所谓的“矢量”、“栅格”、“图表”等,用更加标准的语言描述,应该是“时刻”、“时段”、“过程”等。时刻指精确到一定精度的时间节点,例如对于一般海洋常规调查的海流测量,精确到分钟的时间精度已经可以作为一个时刻出现。时段指一定时间区间内的所有结果,即具有一定的起始时刻和结束时刻,在这个时间区间中的数据都属于该时段。实际上,一个时段的平均结果或代表性效果,在更大的时间尺度上,可以作为时刻出现,例如以每月的水温测量平均值作为当月的代表,在全年的水温序列中,它仅仅是一个时间点而已。过程定义成时刻或者时段的序列。
用时间和空间做个类比:单个时刻的数据相当于空间“矢量”数据中的点;单个时段的数据相当于空间“栅格”数据中的一个像素;时刻(或时段)的不规则序列,相当于空间“矢量”数据中的线;如果时刻(或时段)的序列是规则间隔的,并且时刻序列间的时间空隙是可以忽略的,那么该过程就相当于空间数据中的“栅格”数据。仅有时间概念的话,无法组成面,因此这里没有“矢量”数据的面,所谓的“栅格”数据也只是指栅格线而已。
这样,就可以重新勾勒一下海洋数据的常用组织方法和管理模型的概念框架了(图2.2)。其中,空间数据已经被时空数据全面代替,需要处理的同时包含时间和空间的数据类型。关于时空拓扑的研究,目前并没有取得较大的进展,并且考虑到这种研究如果和具体的专业(如物理海洋学)结合,将专业理论、技术和方法融入到拓扑关系研究中,会更加合适。
图2.2 海洋数据的时空组织和管理模型
2.1.4.3 海洋数据的属性数据
海洋数据的属性数据,可以分为海洋要素数据和海洋现象数据两大类,前者是海洋调查的真实测量数据,后者则是理论抽象的数据。海洋要素经常是以场的形式出现的,海洋场表现为海洋要素的连续场分布,海洋场是海洋和海洋科学的基本特点。
而关于欧拉方式和拉格朗日方式是物理海洋科学研究中的两种基本表达方式。在海洋地理信息系统中,这两种方式对于解决海洋数据,更重要的是海洋现象(如海流)的问题,具有非常重要的启发意义。其中,欧拉方式更多的是体现了一种欧拉场的表达方式,在空间场的范畴下建立海洋要素场,从而进一步揭示更多的海洋现象。例如,海洋水团的研究,则主要是从海洋要素场入手来分析水团的生消变化。在海洋地理信息系统中,这样的海洋现象应该更容易用欧拉方式来表达。而拉格朗日方式则有所不同,在拉格朗日表达方式中,场的概念被弱化了,但是海洋现象的空间位置变动成为一种更易于表现。例如,海流可以用欧拉方式表达为流场,但是持续的海流更应该用拉格朗日方式来表达,拉格朗日方式的海流在更多的时候更能体现海流研究中的很多精华,起到欧拉方式所难以达到的表达效果。
如前所述,所谓海洋现象,是指在对海洋场的分析和研究基础上,物理要素的特殊空间和时间分布规律的总称。一种海洋现象,外在表现上必然对应着某个或某些物理要素的特殊分布。所以,海洋动力学现象是其中的重点。某些海洋现象,其本身或许不发生明显的动力学变化,但是动力学的变化却必然影响和制约着其随后的发展变化。所以说,海洋动力学现象是海洋要素场的重点。
显然,海洋要素场和海洋现象概念既有联系,又有区别,经常需要在对象与场之间进行概念切换。它们的关系主要体现在:海洋场是海洋科学研究的基本对象,海洋现象相对于海洋场来说,实际上是海洋场的特征表达和概念提炼。从数学的空间变换角度看,对应着场域到局部域的变换。从对象视图到场视图的转换或逆过程,可以用特征函数(对象到场)或反函数(场到对象)建立。但是有时海洋现象也有其特殊性,不能仅仅用这种变换就能够完全解决问题。例如,基于拉格朗日描述方法的海洋现象就是另外一种思路。所以,海洋场的表达目前基本上只局限于欧拉方式下,对于基于拉格朗日的海洋现象的表达需要采用新的表达方法,如采用时空“矢量”方式来处理。
基于拉格朗日描述的海洋动力学,它在监测和预报海洋环境污染方面的特殊地位,因此一直受到广泛重视。例如,海域内污染物质(如油膜)的漂移可以认为是一种拉格朗日形式的运动。简单地说,海水的流线场才真正代表了污染物质的运动特征,海水的运动轨迹场才真正代表了污染物质可能造成的危害。认识到这一点,就可以发现它在应用层次上所具有的特殊意义。
如上所述,海洋数据有时也称为海洋时空数据,它具有三个基本特征,即时间、空间和属性特征。这也是地理信息系统处理地理空间数据的一般方法。
2.1.4.4 时空数据的复杂性
相比于一般地理数据,海洋数据的时间特性和空间三维特性使得海洋地理信息时刻面对时空数据的复杂性问题,尤其是海洋数据的组织、存储和管理,如何对时间和空间重新组合,从而在原有的二维空间图层的概念上增加新的数据类型是一个重要的基本问题。
海洋时空数据除了在数量上具有大小的概念之外,在时空尺度问题上也遵循海洋科学固有的规律,因此时空数据具有自身的尺度问题和多层次问题。
2.1.4.5 海洋现象的表达
海洋要素数据的表达可以通过增加时间—空间组合的方式进行表达,但海洋现象本身还涉及海洋科学研究对海洋现象的定量化刻画问题,对此,涉及海洋地理信息系统的完整化,需要对海洋现象的基本涵义做出定量的解释,进而构建它的时空表达方式。
流式时空数据异常检测的可视化实现
随着流式时空数据源源不断的产生,如何及时了解不同时间、空间背景下的数据特征、信息成为一个重要的课题。在异常检测和监控方面,在很多情况下,异常与正常模式的界限实际并不明显,且对于流式数据这种动态的、层次化的数据而言,对于异常的定义也不是固定的,与数据特殊的时间空间背景密切相关,对于这种情况,常常需要人为介入,即依靠专家知识或经验来对异常进行判断。本文通过系统 Voila ,展示了如何对流式时空数据进行有效的异常检测和监控。
在气象分析、公共卫生、城市规划等领域,流式时空数据不断产生,对流式时空数据分析的实时性、准确性提出了更高的要求。
在异常检测方面,传统主要依靠统计学方法或机器学习方法实现。但在实际应用中,异常检测存在两方面的挑战:
在流式数据的异常检测及可视化中,主要需要解决三个问题:
系统针对上述提出的自适应、可解释、可交互三个要求,对系统进行了设计。
p表示该区域存在异常的概率,q表示该区域异常发现的难度。p的值用颜色深浅表示,q的值用内部矩形大小表示。
本文的评估针对是系统异常检测的算法,评估方法较为简单,与大多数简单评估方法相似,基于一个有标签的真实数据,通过实验,对系统的有效性进行评估。
[1] Voila: Visual Anomaly Detection and Monitoring with Streaming Spatiotemporal Data
时空大数据名词解释
时空大数据名词解释:是指利用空间技术,以用户位置、时间信息、空间关系等数据,从中提取发现新知识或推断规律,来发现客观联系,更好地理解和解释世界的技术方法。
时空大数据的研究和应用可以跨越传统的规模和范围,其重要性在于能够利用各种外部数据源、时间序列、地理位置信息等数据,清晰地反映某个空间的地理变化过程,从而为时空分析提供了基础信息。
2020年7月,大数据战略重点实验室全国科学技术名词审定委员会研究基地收集审定的第一批108条大数据新词,报全国科学技术名词审定委员会批准,准予向社会发布试用。
在现实世界中的数据,超过80%与地理位置有关,而时空大数据则是结合时间、空间、属性三类信息而成的特殊数据,随着近年来数据的爆发,三者相关联的数据应用越来越多,发展迅速,具有多源、海量、更新快速的特点。
时空大数据标准:
时空大数据呈现出海量、多源异构、动态多变等基础特性。所有数据都是在特定的时间和空间背景中产生的,且直接或间接地被贴上时间和位置标签。
广义的大数据从本质上可以认定为与时空大数据同等属性,它是现实地理世界空间结构与空间关系要素中具有(现象)的数量、质量、时间变化特征的数据集的“总和”。
所以,时空大数据具有时间、空间、属性三个维度的信息特征,同时也具备与大数据相同的海量数据规模、快速数据流转、多样数据类型和价值密度低四大特征。
什么是时空数据库技术
时空数据库是存储、管理随时间变化,其空间位置和/或范围也发生变化的时空对象的数据库系统,时空索引技术是时空数据库管理系统的关键技术之一。
时空GIS概念很大,上面的是很简单的定义。。。
院士专家谈 - 时空大数据:地理信息产业融合发展必由之路
作 者:中国工程院院士王家耀
地理信息产业是以现代测绘和地理信息系统、遥感、卫星导航定位等技术为基础,以地理信息资源开发利用为核心,从事地理信息获取、处理、应用的高技术服务业。自20世纪60年代地理信息系统提出以来,其应用逐渐拓展到多个行业,从产生、成长到壮大,地理信息产业发展取得了可喜成绩。
当前,我国的经济和 社会 发展已经进入新的 历史 阶段, 社会 主要矛盾已经转化为人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾;以5G、云计算、大数据、边缘计算、物联网等为代表的新技术快速发展,人工智能技术也因深层神经网络的成功而获得了巨大进步;随着我国行政体制改革和自然资源管理体系的建立,地理信息产业已融入自然资源管理体系中。面对新的 社会 需求、新的技术进步和新的管理体系要求,亟待根据国家大政方针、 社会 生产需要、技术发展趋势、产业发展规律,做好地理信息产业的工程技术、商业模式、产品类型的转型升级与融合创新,进一步提高地理信息产业发展的质量和水平。
地理信息产业融合发展的驱动力——人工智能
信息化的发展遵循从数字化到网络化再到智能化的规律,地理信息产业的发展亦如此,智能化是地理信息产业融合发展的高级阶段。
“互联网 ”改变了地理信息产业发展的思维方式。“互联网 ”的本质是跨界融合。“基础地理信息 ”和“通用时空大数据平台 ”的本质也是跨界融合。“ ”是核心,提出跨界融合的解决方案是关键。只有这样,才能更充分地发挥基础地理信息和通用时空大数据平台的“基础”和“通用”作用,实现地理信息产业到时空大数据产业的转型升级。
云计算具有的信息资源管理、处理和应用的“全面弹性”,可以支撑“地理信息产业”到“时空大数据产业”的转型。时空大数据产业化需要超强计算能力的支持。云计算作为一种新的计算模式,通过“池化”和“云化”把数千台甚至上万台机器都放在一个“池子”里面,这是“资源弹性”;并在“资源弹性”即基础设施即服务(IaaS)之上增加了一层“应用弹性”,包括平台即服务(PaaS)和软件即服务(SaaS),以满足时空大数据的“应用弹性”需求。云计算支撑时空大数据处理的分布式、协作(同)化和智能化;通过任务分解,解决分布式问题;通过工作流重构,解决并行问题;通过算法调度,解决协作(同)化问题。
时空大数据产业
——属于第四产业的范畴
时空大数据,指基于统一时空基准活动或存在于时间和空间与位置直接或间接相关联的大数据。据此,时空大数据由时空框架数据和时空变化数据两大类数据组成。
时空框架数据指基于统一时空基准的卫星导航定位数据(含连续运行参考站 CORS数据)、遥感影像数据、地图数据、地名数据等。时空变化数据包括 社会 经济人文数据、位置轨迹数据、与位置相关联的空间媒体数据、社交网络数据、搜索引擎数据、视频观测数据、生态环境监测数据等。时空变化数据聚合(关联)在时空框架数据上,就构成了时空大数据。时空大数据具有位置、属性、时间、尺度、分辨率、多样性、异构性、多维性、价值隐含性、快速性等特性。时空大数据产业,指以天空地海传感器网络为基础,以时空信息“获取(传感网) 处理(生产) 应用(服务)”为产业链,以人工智能等新兴信息技术为支撑,以数据密集型计算为特征的知识密集型信息产业,属于从第三产业中分离出来的第四产业的范畴。同地理信息产业相比较,时空大数据产业内涵要宽泛得多,规模要大得多,类型更具多维性和多样性,知识更密集,速度更快,产品更加多样化和个性化,其应用领域更加广阔,具有良好的产业发展前景。
时空大数据产业化的核心
——时空大数据平台
时空大数据平台是时空大数据产业化的核心。
它是指把各种分散的和分割的大数据即时空框架数据和时空变化数据汇聚到一个特定的平台上,并使之发生持续的聚合效应。这种聚合效应就是通过数据多维融合和关联分析与数据挖掘,揭示事物的本质规律,对事物做出更加快捷、更加全面、更加精准和更加有效的研判和预测。从这个意义上讲,时空大数据平台是大数据的核心价值,是大数据发展的高级形态,是大数据时代的解决方案。从产业化的角度讲,通用时空大数据平台是指将时空框架数据汇聚在一个特定平台上,利用这个平台生产军民两用的基础测绘地理信息产品。
所谓“通用时空大数据平台+”模式,即以通用时空大数据平台作为框架,聚合民用、军用的时空变化数据,分别构成时空大数据平台。“通用时空大数据平台+民用”模式,即将地方各部门各行业的政务、自然资源、规划、交通、水利、管网、人口、经济、人文、 社会 、医疗、教育、电力、公安等数据汇聚在通用时空大数据平台上,使之成为新型智慧城市的“智脑”,通过持续的聚合效应,生成各类(种)民用深加工知识产品,为综合决策、各部门各行业和 社会 公众提供智能化服务。
时空大数据产业化是通过时空大数据平台产业化实现的。因为时空大数据产业化是一个新问题,应该走一条从基础研究起步的产业化创新之路。这条创新之路首先要研究和建立以数据科学为核心的时空大数据理论体系。目前,“数据科学”的边界还不清晰,时空大数据理论研究薄弱,更未形成时空大数据的理论体系,而这是时空大数据产业化的基础。因此,这条创新之路要研究和建立以“数据隐含价值 计算发现价值 应用实现价值”为核心,以“数据获取(传感器网) 处理(生产) 应用(服务)”为产业链的时空大数据产业化技术体系。走在这条创新之路上的人,更要研究和设计包括软件产品、硬件产品、软硬件集成产品、各类(种)应用平台产品和数字产品在内的时空大数据产品体系。
总之,在当前全球数字经济快速发展的大背景下,数字化的知识和信息作为关键生产要素,以数字技术为核心驱动力量,以现代信息网络为重要载体,通过数字技术与实体经济深度融合,数字经济能够不断提高经济 社会 的数字化、网络化、智能化水平,以加速重构经济发展与 社会 治理模式。地理信息产业作为处理位置数据的核心产业,可以积极推动其基于“通用时空大数据平台+”模式深度融入数字产业化、产业数字化、数字化治理与数据价值化领域,积极融入自然资源管理工作整体布局,主动引领以地理信息为基础的新型智慧城市、实景三维中国、新型基础测绘建设,推进地理信息产业向全产业链发展,扩大地理信息产品供给面,加大地理信息消费级产品研发,鼓励新应用、培育新市场,让地理信息产品通过生态建设、智慧管理、数字经济服务国家战略建设并惠及全 社会 ,从而促使地理信息产业向时空大数据产业的融合发展与转型升级。