文档库 最新最全的文档下载
当前位置:文档库 › 数字城市公共服务平台建设中多源数据融合方法研究

数字城市公共服务平台建设中多源数据融合方法研究

数字城市公共服务平台建设中多源数据融合方法研究
数字城市公共服务平台建设中多源数据融合方法研究

1

“数字惠民”公共服务平台建设中

多源数据融合方法研究

摘要:多源数据融合对基础地理信息在各行业的应用有着很大的促进作用, 该方法弥补了测绘数据属性采集的局限性。本文通过“数字惠民”公共服务平台建设中对多比例尺、多格式、多专题设置的数据集成所面临的问题进行了阐述和分析,提出了数字城市公共服务平台建设中多源数据融合方法研究,并对各项关键技术进行了探讨和研究。

关键词:数字惠民;测绘数据;基础地理信息数据库;多源数据融合; 1.引言

惠民县地处鲁西北平原,属环渤海经济圈、黄河三角洲、半岛城市群、济南城市群经济圈四大经济区结合部,版图面积1363.4平方千米,辖12镇、3个街道办事处和1个省级经济开发区。

近年来,惠民县经济的迅速发展,对信息化建设的要求越来越高,提出了构建“数字惠民”公共服务平台的迫切要求,以减少重复建设,实现政府及各部门间的数据交换和共享。

“数字惠民”公共服务平台项目建设以先进的GIS 技术为主导技术,,在现有地理空间数据基础上,通过数据采集、信息提取、要素扩充等方式,建立现势性强、信息完备的基础地理信息公共服务平台

[1]

,分别依托

惠民县政务网和互联网,提供一站式地理信息在线服务;以公共平台为基础,建立综合县情信息系统、国土综合管理信息系统、城市规划三维辅助决策信息系统、城市户外广告牌可视化管理信息系统等典型应用示范,为政府宏观决策、应急管理、社会公益服务提供在线地理信息服务,全面提升信息化条件下地理信息公共服务能力和水平。

2.具体建设目标及实现

“数字惠民”公共服务平台项目建设的具体目标可归纳为“一库、一平台、五应用、一环境”,即一个基础地理信息数据库、一套地理信息公共平台、五项应用示范系统、一套运行支撑环境。

(1)一个基础地理信息数据库

基础地理信息数据库是基础地理信息数据及实现其输入、编辑、浏览、查询、统计、分析、表达、输出、更新等管理、维护与分发功能的软件和支撑环境的总称。

本项目将在现有DLG 、DOM 、DEM 、DRG 等数据的基础上,通过航空摄影、数据采集、更新、整理、入库,配置空间数据管理软件,建立现势性强的、多类型、多尺度数据一体化管理的基础地理信息数据库。 (2) 一套地理信息公共平台

依托完善后的基础地理信息数据库,通过信息提取、实体加工、地理编码、整合重组等处理,研发网络化运行的应用服务与运行维护系统,建立惠民县唯一的、权威的、全覆盖的、多尺度无缝集成的地理信息公共平台。

(3) 五项应用示范系统

2

本项目将基于所构建的地理信息公共平台,选择县委办、县府办、国土、规划、公安、公众等部门或领域进行应用示范,开展综合县情信息系统、国土综合管理信息系统、城市规划三维辅助决策信息系统、城市户外广告牌可视化管理信息系统、政府门户网站公众电子地图系统等五项应用示范系统建设,并总结应用模式,在政府及其各部门全面推广。 (4)一套支撑环境

建立支撑项目实施、运行和应用的基础环境,包括领导机构、软硬件网络环境和安全保障体系、平台运维、更新、管理机制、共建共享协调机制等的建立。

数字惠民地理空间框架建设将推进政府部门间空间数据的“共建共享”机制建设,为政府辅助决策提供技术和信息支持,为社会民众提供便捷的公共信息服务。

在“数字惠民”公共服务平台建设中,收集统一权威的数据是关键。长期以来由于缺乏统一的规划协调,多部门各自为政,重复测绘现象较为严重,不仅造成经费资源的浪费,而且还分散了本来就十分有限的技术队伍,导致基础地理信息资源难以共享。各部门建设的地理信息数据库普遍存在内容缺失、信息匮乏等现象,难以满足数字城市建设和办公数字化的需求。

多源数据即多来源数据,包括测绘数据、遥感数据、文本数据等。多源数据融合是将外业数据、实地考察和各个部门提供的资料信息相结合并且合理集成

[2]

。以测绘数

据为主,实地考察和各部门提供的资料信息为辅,达到了数据信息的完整性和共享性,从而实现数据集成的三个目标: 1)丰富现有基础测绘数据信息量;2)检核基础测绘数据正确性,对缺失数据进行补充;3)提升基础测绘数据的权威性。

3.数据融合前的空间数据准备工作

多源数据融合是基于基础地理空间数据,集成来自各行业的多比例尺、多格式、多专题设置的数据信息,从而丰富数据信息,提高数据共享。基础地理空间数据的提取和地理要素的完整性关乎数据集成质量,需要对数据进行提取和整理。 3.1 基础地理空间数据的提取

面向用户提供空间信息服务,需要简洁的GIS 数据作为支撑,而非完整的地形图数据,因此需要基于基础空间数据库进行信息提取。公共平台从基础地理信息数据库中提取的数据内容包括水系数据、居民地及设施数据、交通数据、境界与政区数据、植被与土质数据、地名数据和数字正射影像数据。 3.2 地理要素完整性处理

从地理要素的完整性上来说,提取的基础空间数据还不能满足数字城市建设数据的要求。一方面,cad 格式下的地形图数据组成要素是点线,导出的格式不能完全满足数据库建设数据的要求。例如河流、水库、植被等面状数据没有闭合,导致数据导出的不完整。另一方面,测绘数据讲究的是直观的表现地物,这就形成了地形图绘制过程中的一线多用,导致地理要素缺失

[3]

。例如道

路边的陡坎水库,依照目前的内业作图方式,道路边线、陡坎、水崖线同时使用一条线表示,从而在数据转换过程中导致地理要素丢失。在数据库建设过程中,需要对提取的基础空间数据进行要素完整性处理。

4.多源数据融合所面临的问题及数据整理方案

4.1多源数据融合所面临的问题

数据整理和标准化是多源数据融合的基础,针对参与集成的数据整理过程中发现以下几个问题: 4.1.1多比例尺问题

城市基础地理信息数据库建设所需的数据为1:500大比例尺地形图,数据测区范围仅针对县城城区及各乡镇驻地,其余为1:1万及其它比例尺地形图数据。

4.1.2多格式数据问题

各行业根据自己使用的习惯和特点,使用的软件、数据格式也不相同,包括CAD数据、MapGIS格式数据、遥感影像、纸质图纸、文字数据等。

4.1.3多专题设置问题

各单位、部门侧重点和服务的目标不同,导致部分集成数据无坐标系或坐标系与建库区域坐标系不尽相同等现象。

4.2多源数据融合整理方案

数据信息融合的多少,对基础地理信息数据库拓展的功能有很大影响。通过对数据的整理和标准化处理,解决了多比例尺、多格式、多专题设置数据成果存在的各种问题。

4.2.1多比例尺数据解决方案

以测区内的1:500的大比例尺地形图为基准,对1:1万地形图进行配准,填补各测区之间的空测区域信息。利用国道、省道、跨区域河流等为框架,对空测区内的行政村等进行补充,从而做到把握全面,重点突出的效果。

4.2.2多数据格式的解决方案

对所有矢量电子数据以测区1:500大比例尺地形图为基准,进行配准,全部转换为ArcGIS格式的数据。对遥感数据进行配准,用于丰富和核实测区内地名信息和核实建筑物信息。所有的文字数据成果根据关键字,作为属性扩充到基础空间数据的属性表中。

4.2.3多专题设置数据的解决方案

不同的行业根据自己的需求形成各自专题的数据,本着直观、简洁的原则这些数

据基本都是专题示意图,如消防栓示意图等。将数据区域性划分,核实测区该区域内的数据信息,对有异议的区域进行核实,个别变动区域进行取舍。

图1 系统建设总体框架图

5.关键技术

在多源数据融合时,首要前提是保证测区内大比例尺地形图数据的数据内容及其空间位置,其目的是在此基础上,丰富数据信息,从而拓展基础地理信息数据库的功能。

5.1不同坐标系数据的集成

我国的测量坐标系经历了1954年北京坐标系和1980西安坐标系,发展到目前的2000国家大地坐标系。测绘行业在不同的坐标系下测制了各种比例尺地形图。由于不同坐标系所参照的椭球体和参数的不同,导致不同坐标系下数据之间存在着偏差

[4]

。各地市数据的投影中央经线也不是严格按照3°或6°分带。导致不同坐标系数据转到同一坐标系之后任然存在很大误差。最佳解决方案:确定最终数据的坐标系,通过仿射变换及部分参数的调整变换,解决误差过大问

3

题,使不同坐标系下的数据能够在最终的坐标系下很好的吻合,从而做到数据集成的目的。

5.2 同一坐标系下,不同比例尺的数据集成

不同比例尺的数据集成,以大比例尺数据为基准,将小比例尺的数据配准到大比例尺尺度下。数据配准的参照基准点以道路的交点为优先选取基准点。同一条道路选取基准点为2-3个为佳。

5.3 文本、图纸成果数据的集成

文本、图纸数据集成又分为图形数据集成和属性数据集成:图形数据集成,利用施工示意图、文字说明,参照外业测量数据的部分数据,产生完整的新数据;属性数据集成,将文本数据通过关键字匹配到属性中去,添加的属性要简单、扼要。图纸的属性集成大多为道路、河流的横切面图,如道路的条带划分、机动车道宽度,河流的底宽、比降、控制面积等。将图纸的信息转换成文字信息,通过关键字匹配扩展到空间数据属性中去。

6. 结语

数据是数据库最基本、最重要的组成部分,数据共享和应用程度影响着数据库建设的优劣,进而影响到以此数据库开发的系统的功能和应用。因此,在基础地理信息数据库建设过程中,如何对数据进行多源集成,实现数据的共享和深入应用,成为了基础地理信息数据库建设进一步发展的关键技术惠民县“数字惠民”公共服务平台建设中秉承多源数据融合的方法,对管网数据、房屋数据、地址地名等进行多源集成、实现了数据的共享和深入应用,为基础地理信息数据库的应用和推广,数字城市的建设的提供了基础条件, “数字惠民”公共服务平台

的建设,将大大提高惠民县综合竞争力,促进基础地理信息的广泛应用和共享。

参考文献:

[1] 白友兵.新疆地理信息公共服务平台

的研建与应用[J].测绘与空间地理信息,2010,33(5).

[2] 刘争齐,李新佳,高苏新,袁铭.“数字

苏州”基础地理信息平台的设计与实现[J].

现代测绘,2011,34(4).

[3] 史德杰. 监测地理国情形势下传统测

绘的发展.《科技促进发展》北京:科学出版社,2012.

[4] 数字温州地理空间框架建设列入全国

试点[J].测绘信息与工程

[5] 尹建国,曲党政,张英.浅谈“数字城

市”建设与城市规划[J].山东国土资源,2011,(05):63-64.

[6] 刘乾忠,郑聪,刘晓婧,杨先连.数字潍

坊地理信息公共平台服务模式探讨[J].山东国土资源,2012,

[7] 李宗华,彭明军.武汉市地理空间信息

共享服务平台的建设与应用[J].测绘与空间地理信息,2009,32(3):1-3.

[8] 袁存忠,简灿良,张伟.省级地理信息

公共服务平台数据体系初步设计[J].地理空间信息,2011(5).

[9] 卫东.面向服务的山西省地理信息公

共服务平台建设[J].地理信息世界,2012(1).

[10] 靖剑波,辛亚芳.贵阳市基础地理信

息公共服务平台的建设与应用[J].地理信息世界,2012,10(5).

[11]张鹏程,杜剑光.广州市公众地理信息

4

服务平台的设计与开发[J].地理空间信息,2010,8(6).

5

多源空间数据融合技术探讨

多源空间数据融合技术探讨 郭黎崔铁军陈应东 解放军信息工程大学测绘学院河南郑州450052 摘要:地理信息系统的迅速发展和广泛应用导致了空间多源数据的产生,给数据的集成和信息共享带来不便。不同数据源,不同数据精度和不同数据模型的地理数据融合理论与方法的研究,对于降低地理数据的生产成本,加快现有地理信息更新速度,提高地理数据质量有着重要的现实意义。本文对多种空间数据融合的原理与方法进行了讨论,并对数据融合的发展方向进行了展望。 关键词:数据融合 1. 引言 20世纪90年代以来,随着遥感、地理信息系统和卫星定位技术在各行各业日益广泛的应用,对空间数据的需求越来越大,国家和军队不同的部门以及公司企业针对本部门的需要经常要进行大量的地理数据获取。由于不同部门的地理信息系统的应用目的不同,同一地区同一比例尺的空间数据往往采用不同的数据源(外业实地测量、航空摄影图像、卫星图像、地形图、海图、航空图和各种各样地图)、不同的空间数据标准、特定的数据模型和特定的空间物体分类分级体系进行重复采集。这不仅造成了人力、财力的巨大浪费,还引发了空间数据的多语义性、多时空性、多尺度性、存储格式的不同以及数据模型与存储结构的差异等,给GIS部门之间的数据共享和数据集成带来极大困难。不同数据源,不同数据精度和不同数据模型的地理数据融合理论与方法的研究,对于降低地理数据的生产成本,加快现有地理信息更新速度,提高地理数据质量有着重要的现实意义。 2. 数据融合的概念 一直以来,数据共享、数据集成、数据互操作、数据融合都是大家讨论研究的热点。它们之间有着技术、原理上的必然联系。但又有着不同的研究侧重点。 信息共享的关键是信息的标准化问题。标准化的工作可以从两方面进行:一是以已经实施的信息技术标准为基础,直接引用或经过修编采用;二是研制地理空间数据标准,包括数据定义、数据描述、数据处理等方面的标准[5]。 地理信息系统互操作的产生是信息共享的必然产物,是在异构数据库和分布计算的情况下出现的。空间数据互操作的模式主要体现在开放地理信息联盟制定的规范。实现互操作最理想的方法是通过公共接口来实现。接口相当于一种规范,在接口中不仅仅考虑到数据格式、数据处理、还要提供对数据处理应该采用的协议[4]。 数据集成是多种数据的叠加。集成后的数据中,仍保留着原来的数据的特征,并没有发生质的变化[1]。

电力大数据应用现状及多源异构数据分析技术研究

龙源期刊网 https://www.wendangku.net/doc/803610111.html, 电力大数据应用现状及多源异构数据分析技术研究 作者:马平徐伟东沈浩钦吴杭 来源:《中国科技纵横》2014年第23期 【摘要】智能电网运行、检修和管理过程中会产生海量异构、多态数据,如何将它们进行高效可靠存储,并实现快速分析访问已是当前电力系统中重要的研宄课题。本文在分析电力生产各个环节大数据的产生来源和特点基础上,阐述市场已有大数据技术在电力系统应用的优势和不足。最后,从电网异构多源信息融合及可视化方向提出了一种应用方法。 【关键词】智能电网 ;大数据 ;异构分析 ;可视化 1 引言 近年来,随着全球能源问题日益严峻[1],世界各国都开展了智能电网的研究工作。智能 电网的最终目标是建设成为覆盖电力系统整个生产过程,包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网的基础是电网大数据全景实时数据采集、传输、存储以及快速分析。目前智能电网中的大数据主要来自以下几个方面: (1)海量电网状态信息采集设备。常规的调度自动化系统含数十万个采集点,配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大,每个设备都装有若干传感器,构成了一个庞大的数据网。 (2)高频电网状态信息捕获技术。为满足上层应用需求,设备的采样频率逐渐提高。在输变电设备状态监测系统中,为了能对绝缘放电等状态进行诊断,信号的采样频率必须在 200kHz以上,特高频检测需要GHz的采样率。 (3)视频及模式识别系统推广。智能电网视频监控系统不仅要求能够真实地反映电力系统的情况,并且还需自动判断情况的好与坏,同时自动采取相关措施,是一个“会思考”、“能做事”的智能化系统。为此,需要电网具备强大存储及处理能力。 2 现有大数据处理技术局限性 谷歌公司提出的分布式文件系统(distributed file system,DFS)和MapReduce技术,已成为现阶段Facebook、雅虎等网络公司大数据应用的解决方案[2]。 DFS技术,具备高容错性特点,可部署在海量且价格低廉的硬件设备上,而且它为应用程序提供了高吞吐量的数据访问,适合那些有着超大数据集程序。MapReduce为2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的并行编程模型。应用“解析器”,将复杂数

多源数据融合技术及其在地质矿产勘查中的应用

多源数据融合技术及其在地质矿产勘查中的应用 发表时间:2018-12-19T15:53:27.333Z 来源:《基层建设》2018年第31期作者:刘巨龙[导读] 摘要:随着社会经济的快速发展,人们对各种资源的开发力度不断加大,给本就不富裕的矿产资源带来了更加严重的危机。山东省地质矿产勘查开发局第七地质大队山东省临沂市 276006摘要:随着社会经济的快速发展,人们对各种资源的开发力度不断加大,给本就不富裕的矿产资源带来了更加严重的危机。为了应对这一现状,越来越多的勘查技术被引入地质矿产勘查工作中,而将不同的勘查数据来源进行有机地整合以全面掌握地质矿产信息便成为了矿产企业当下的工作重点。多源数据融合技术正是因为这一需求而被引入了地质矿产勘查工作,使用多源数据融合技术可以有效提升地质 矿产勘查工作质量。但是作为一种新兴技术,该技术在地质矿产勘查工作中的应用还不完善,本文也将对此进行分析与探讨。关键词:多源数据;融合技术;地质矿产;勘查;应用 1 多源数据融合技术简述多源数据融合技术简而言之便是一种数据处理技术,他只是通过对于数据的整理与整合将不同来源的数据融为一个整体,使得数据分析人员对于研究对象的信息有一个全面的掌握。多源数据融合技术的这一工作模式与地质矿产勘查工作完美契合,在地质矿产勘查工作中,勘查人员会对矿产地的地质、水文等一系列要素进行勘查,而后期的数据量也是十分庞大,这也就需要多源数据融合技术对其进行整合。而随着多源数据融合技术的应用,越来越多的勘查技术被引入到地质矿产勘查工作中,其优势也可以得到发挥,增加了地质矿产勘查工作的数据全面性。多源数据融合技术在地质勘查工作中的应用不仅仅只是应用于数据处理这一领域,还要与勘查技术进行结合才能更好地助力勘查工作的进行,而当下最常见的应用模式便是将多源数据融合技术与遥感技术进行结合使用。这是因为在地质矿产勘查工作中,地质数据难以直观的体现出当地的地质条件及矿产状况,进行分析时还需要对于数据进行处理才能进行,严重影响了工作效率,使用遥感技术则可以通过更为清晰的图像直接将地质勘查工作的结果呈现于分析人员眼前,便于其进行分析并开展随后的工作。而通过遥感技术与多源数据融合技术的结合运用,多源数据融合技术可以将更多来源的数据进行处理整合后融入到一张勘查图中,图像中包含的信息也更加丰富多元,分析人员也可以掌握更加全面的信息,为后续的矿产开采工作提供帮助。因此目前多元数据融合技术在地质矿产勘查工作中的应用主要是通过与遥感技术配合实现的。 2 多源数据融合技术的应用流程在将多源数据融合技术应用到地质矿产勘察过程中,首先要对于地质矿产勘查的遥感数据进行初步的筛选,这也是后续勘查工作顺利开展的前提。由于在地质矿产勘查工作中,遥感技术的运用是多方面的,因此其后期的数据呈现类别也各不相同。当使用多源数据融合技术对这些数据进行融合处理时,部分数据对于后期的工作并无太大帮助反而会干扰整个数据的融合过程,因此在数据融合之前对于遥感数据进行初步的筛选是很有必要的。这就需要勘查人员对于遥感勘查数据类型及其后期的用途有着充分的了解,例如我国常用的遥感技术便有航天遥感技术及航空遥感技术,其呈现方式也分为地面及光谱分辨率,工作人员要做的便是根据地质矿产勘查工作的实际需要及不同种数据间的联系进行勘查数据的初选,为多源数据融合做好准备。在多源数据融合过程中遥感技术虽为主导,但也要穿插其他类别数据的引入,让最终呈现的数据更加充实立体。经过初选的勘查信息仍然不能直接用于多源数据融合,还需要经过数据的预处理工序才能进行融合。这是因为初选后的勘查数据只是原始数据,在勘查过程中难免会出现一些由于人为失误及仪器问题导致的误差,这些误差一旦经过了数据融合环节将很难被发现并剔除,这也会大大影响多源数据融合技术的工作效果,导致最终呈现的综合数据不能反映实际状况,影响后期的分析工作。另外对于需要融合的数据,还需要进行标准化处理,让不同来源的数据可以免去繁杂的换算过程直接进行融合,减少后期工作量,提升工作效率。而对于不同类别的数据,在融合时除了要进行标准化处理之外,还需要通过公式进行换算,这也需要对于数据进行前期的处理及换算,确定转换方式。在数据融合过程中,对于遥感技术勘查图的分辨率有着较高的要求,分辨率越高的图片其后期融合的自由度及空间也就越大,也更加有利于数据融合过程的进行。而目前遥感数据的融合主要有像素级、特征级及决策级三种类型,分别针对不同的勘查实际予以选取,例如像素级便是对相近的遥感勘测图进行融合而决策级则是对于地质矿产勘查整体进行数据的融合。 3 多源数据融合技术在地质矿产勘查中的应用目前通过多源数据融合技术与遥感技术的结合,可以有效提高地质矿产勘查工作的工作质量,也可以使勘查工作更加全面,而最具代表性的应用领域便是构造信息及矿化蚀变的提取以及找矿靶区的圈定工作。首先通过多源数据融合技术,可以将不同的遥感技术图像进行整合。例如在某地质矿产勘查工作中,勘查人员首先利用航空遥感技术对当地的地貌及水系分布等数据进行了初步的勘查。随后利用多源数据融合技术,将卫星传来的不同遥感勘测图进行预先处理,利用几何校正及参数统一等手段将不同的遥感图进行整合。这样在随后的构造信息提取时,技术人员便可以通过一张图片完成对于地质矿产线性及环形信息的同时提取,利用图片上显示色调及结构的标识,也可以直接掌握当地的地质地貌及水文条件。而矿化蚀变信息的提取与随后的找矿靶区确定工作息息相关,这也是整个地质矿产勘查工作的最终目的。在以往的勘查工作中,遥感技术呈现的数据信息都是片面的,加上缺乏非遥感技术勘查数据的支撑,对于矿化蚀变信息的提取十分困难也不够精确。而在使用了多源数据融合技术之后,在数据处理阶段便可以将片面的遥感图像进行整合,使得最终的成图包含有完整的地质信息,同时还可以将非遥感技术勘测的数据加以引入,使得分析人员在进行矿化蚀变信息提取分析时除了可以依据勘查数据进行矿化蚀变分析,也可以参考邻区矿产分布信息、地球化学及成矿因素分析等多领域信息,让结果更加准确。而多源数据融合技术应用带来的另一大便利便是其在数据融合过程中已经为整个地质矿产勘查工作中的数据建立了一个统一的平台,这也为信息化技术的引入铺平了道路,基于多源数据融合技术建立的数据平台可以利用计算机技术实现对于大量数据的高效分析处理,实现对于矿化蚀变过程的准确分析。同时也可以将遥感图进行三维建模,对于后期找矿靶区的确定提供指导,提升开采效率。结束语 总而言之,为了应对目前日益增长的矿产需求量,矿产企业愈发重视地质矿产勘查工作,多源数据融合技术便在这一大趋势下被引入了地质矿产勘查工作中。结合遥感技术并通过前期的数据初选及预处理工作,多源数据融合技术可以实现对于多种勘查数据的整合,便于后期进行构造信息及矿化蚀变信息的提取,为选矿靶区圈定提供指导,提升矿产开采效率。参考文献:

多源信息融合软件的设计与实现精编WORD版

多源信息融合软件的设计与实现精编W O R D 版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】

多源信息融合软件的设计与实现 摘要:针对多源信息类型不一致影响信息利用效率的问题,文章在分析传统多源数据融合模型的基础上,研究了多源信息融合软件的架构及相关技术,设计并开发的软件具有较高的实用价值。 关键词:多源信息;信息融合;软件开发 多源信息融合是通过将多种信源在空间上和时间上的互补与冗余信息依据某种优化准则组合起来,产生对特点对象的一致性解释与描述。数据融合技术是指利用计算机对获得的信息,在一定准则下加以自动分析、综合,以完成所需决策和评估任务而进行的信息处理技术。主要包括对各类信息源给出有用信息的采集、传输、综合、过滤、相关及合成,以便辅助人们进行态势/环境判定、规划、探测、验证。 数据格式统一是进行数据处理的前提。由于信息的来源多,数据格式类别差异较大,对于数据处理带来不便。多源信息融合软件能够实现多源异构数据信息整合,对于充分利用信息资源、提高数据处理系统性能具有实用价值。 1 多源数据融合模型 根据对输入信息的抽象或融合输出结果的不同,可以将信息融合分为不同的3级,包括数据级融合、特征级融合及决策级融合。 作为数据级的多源数据融合模型的结构如图1所示。多源数据经过数据清理、数据集成、数据变换,形成有效数据,通过数据处理形成数据挖掘分析等处理工作的有效数据。

数据清理是指去除源数据集中的噪声数据和无关数据,处理遗留数据和清洗脏数据,去除数据域的知识背景上的白噪声,考虑时间顺序和数据变化等。主要包括处理噪声数据,处理空值,纠正不一致数据等。 数据集成就是将多文件或多数据库运行环境中的异构数据进行合并处理,将多个数据源中的数据结合起来存放在一个一致的数据存储中。 数据变换就是将数据变换成统一的适合处理的形式。数据变换主要包括平滑、聚集、属性构造、数据泛化和规范化等内容。 2 多源信息融合软件设计 2.1 软件架构 多源信息融合软件的技术要求是实现多源异构数据向指定关系数据库进行可靠转换。就是按照指定关系数据库的表结构要求,实现多源异构数据的数据导入及格式转换问题。软件的组成框图如图2所示。软件主要包括2个主要模块,多源数据预处理模块和数据导入模块。数据预处理模块主要进行数据清理及格式转换,实现常用的数据(txt、xls、关系数据库等数据)转换为目标数据库支持的数据格式。数据导入实现指定类型数据转换为指定结构数据。 2.2 关键技术 为了保证多源信息软件的可靠运行,需解决数据类型的适应性和扩展性问题,以及数据转换的可靠性、可预制性、数据转换过程的可监督性问题。 2.2.1 基于模块化设计的类型转换

一种多源异构数据融合技术在PGIS系统中的研究与应用

一种多源异构数据融合技术在PGIS系统中 的研究与应用 周凯1,2 (1.四川省公安科研中心,四川成都610015;2.四川大学,四川成都610064) [摘要]警用地理信息系统是公安机关维稳处突、打击违法犯罪行为的重要技术支撑平台。多源异构数据是维护该平台安全稳定、高效运行的底层核心数据。文章以某PGIS平台为例,针对多源异构数据使用中遇到的数据不兼容、格式不统一、属性数据非空间化、空间数据格式转化等问题,提出了一种多源异构数据的融合模型。通过属性清洗、属性追加、空间匹配、格式转化等流程化操作,实现了空间与非空间、结构与非结构等数据的融合使用。并可以基于PGIS平台,统一加载、统一展示、统一应用。通过利用该技术,挖掘了数据的利用价值,为类似平台数据处理提供了技术参考与经验。 [关键词]多源异构;PGIS;数据融合 [中图分类号]P208[文献标识码]A[文章编号]1674-5019(2019)02-0051-05 A Multi-Source Heterogeneous Data Fusion Technology in PGIS System Research and Application ZHOU Kai 1引言 数据融合的本质是多方数据协同处理,以达到减少冗余、综合互补和捕捉协同信息的目的。该技术已成为数据处理、目标识别、态势评估以及智能决策等领域的研究热点[1]。通过数据融合,能够将研究对象获取的所有信息全部统一在一个时空体系内,得到比单独输入数据更多的信息。警用地理信息系统(Police Geographic Information System,简称“PGIS”)是多源异构数据技术、地理信息技术和公安系统业务工作高度结合的产物[2]。利用多源异构数据融合技术的PGIS平台,可以实现跨省、市、县等行政区域的一张图展示,可达到资源的高度统一利用。但在实际工作过程中,支撑PGIS平台的基础地理信息数据种类繁多,从平面线划图到精细化三维成果,从空间数据到非空间数据,从海量兴趣点数据(poi)到各种图像数据应有尽有。面对大数据时代海量的数据资源,如何保障PGIS平台业务数据、测绘地理信息数据、“一标三实”等数据高效利用,互补短板,统一承载于警用地理信息平台,协同发挥数据最大价值,提高数据在分析决策中的应用价值,是当下PGIS平台发展研究的热点问题[2-3]。 2研究方法2.1多源异构数据融合技术 数据集成是数据融合的基础,融合是集成基础上的深化应用,通过数据集成与融合,可派生出更高更有价值的新数据,从而得到数据的更多利用价值[4]。马茜等人[5]基于物联网背景下多源数据获取、存储等存在的不足,提出了一种约束数据质量的异构多源多模态感知数据获取方法,提高了数据精度,降低了网络资源消耗。韩双旺[6]基于XML语言实现异构多源空间数据的映射和模式转换,利用WebGIS技术实现了空间数据的集成和互操作。惠国保[7]结合深度学习技术,构思了一种泛化性强的多源异构影像数据融合深度学习模型,实现了深度学习技术在多源异构数据方面的信息提取与挖掘。李文闯等人[8]提出了一种基于可交换图像文件(EXIF)原理以数字图像为载体融合空间位置信息和一般形式属性的数据模型,实现了空间位置和一般属性嵌入到数字图像物理结构,达到了数据融合的效果。 本文不仅需要解决各种数据的属性嵌套、数据集成,而且要解决空间数据和非空间数据、空间数据与空间数据、结构数据与非结构数据之间的转化问题。因此鉴于实际需求,本文提出了基于FME平台下自主构建多源异构数据引擎,开展数据融合,实现多源异构数据的集成统一、高效利用。

多源信息融合技术的起源发展与研究应用

1.多源信息融合技术的起源发展与研究应用 1.1多源信息融合的概念 多源信息融合(multi-source information fusion)亦称多传感器信息融合,是一门新兴边缘学科。多源的含义是广义的,包含多种信息源如传感器、环境信息匹配、数据库及人类掌握的信息等,信息融合最初的定义是数据融合,但随着信息技术的发展,系统信息的外延不断扩大,已经远远超出了数据的简单含义,包括了有形的数据、图像、音频、符号和无形的模型、估计、评价等,故学术界、技术界均认为使用信息融合更能代表其含义。多源信息融合的优势可以表现在密集性、有效性、互补性、冗余性、实时性、低成本性、高适应性等多个方面。 1.2多源信息融合技术的起源与发展 这一概念是在20世纪70年代提出的。当时新一代作战系统中依靠单一传感器提供信息已无法满足作战需要,必须运用多传感器集成来提供多种观测数据,通过优化综合处理提供相对准确的战场信息,从而更好地把握战场态势。在多传感器系统中,由于信息表现形式的多样性,信息数量的巨大性,信息关系的复杂性,以及要求信息处理的及时性,都已大大超出了人脑的信息综合处理能力,所以多传感器数据融合(Multi-sensor Data Fusion简称MSDF)便迅速发展起来。20多年来,MSDF技术在现代 C3I(指挥、控制、通信与情报Command, Control, Communication and Intelligence)系统中和各种武器平台得到了广泛的应用[3],在工业、农业、航空航天、目标跟踪和惯性导航等民用领域也得到了普遍关注。 国外对信息融合技术的研究起步较早。第二次世界大战末期,高炮火控系统开始同时使用了雷达和光学传感器,这有效地提高了高炮系统的瞄准精度,也大大提高了抗恶劣气象、抗干扰能力。现代信息融合概念 70 年代初开始萌芽。最初主要在多种雷达同时运用的条件下执行同类传感器信息融合处理,以后逐渐扩展。70 年代末期开始引入电子战、ESM 系统,引起人们高度重视。从80年代起,美国在研发,学术讨论,以及推广多源信息融合技术等方面始终走在前列。尤其在海湾战争结束后,美国更加重视信息自动综合处理技术的研究,并有效带动了其他北约国家在这方面的研究工作,如英国陆军开发了炮兵智能融合系统(AIDD)、机动和控制系统(WAVELL)等,德国准备在“豹2”坦克的改进中运用信息融合和人工智能等关键技术。

多源测试信息融合真题及参考答案).

2012-2013 学年 第一学期期末试卷 学号 姓名 成绩 考试日期: 2013年 1 月 7日 考试科目:《 多源测试信息融合 》(A 卷) 注意事项:1、闭卷考试,考试时间120分钟; 2、请在答题纸和试卷上写明自己的姓名和学号。 题目: 一、简答题(本题共50分,每小题10分) 1. 简述多源测试系统数据融合的目的和定义。 答:目的:对多源知识和多个传感器所获得的信息进行综合处理,消除多传感器信息之间可能存在的冗余和矛盾,利用信息互补来降低不确定性,以形成对系统环境相对完整一致的理解,从而提高系统智能规划和决策的科学性、反应的快速性和正确性,进而降低决策风险过程。 定义:利用计算机技术,对不同传感器按时序获得的观测信息,按照一定的准则加以自动分析、优化和综合,为完成所需的决策和估计任务而进行的信息处理过程。 2. 简述D-S 证据理论中,mass 函数的定义,什么是焦元和焦元的基? 答:(1)基本置信度指派m 是2Θ→[0,1]集合的映射,A 为2Θ一子集,记A ?2Θ ,且满足: m(A)也称为假设的质量函数或mass 函数; 2()0 ()1A m m A Θ ??=?? ?=??∑

(2)若m(A)>0,则称元素A 为证据的焦元;焦元中所包含识别框架中的元素个数称为该焦元的基,记作|A|。(4分) 3. 分布式融合系统常见的融合策略有哪些?(论述其中五个即可得满分) 答:常见的融合策略:“与”融合检测准则、“或”融合检测准则、表决融合检测准则、最大后验概率融合检测准则、Neyman-Pearson 融合检测准则、贝叶斯融合检测准则、最小误差概率准则。 4. 举例说明D-S 证据理论中的0信任冲突悖论。 答:如果识别框架下的多条证据中的一个证据的某一焦元的基本置信度分配为0,且该焦元与同一证据中其它基本置信度指派值不为0的焦元的交集不是其本身,则无论其它证据对该焦元的基本置信度分配有多大,组合结果中该焦元的基本置信度分配始终为0。 11230.5{}()0.2{}0.3{}=??==??=?A A m A A A A A ,12230.0{}()0.9{}0.1{}=??==??=?A A m A A A A A ,13230.55{} ()0.10{}0.35{} =?? ==??=?A A m A A A A A 14230.55{}()0.10{}0.35{}=??==??=?A A m A A A A A ,1230.00{} ()0.33{}0.67{} =?? ==??=? A A m A A A A A 。 5. 简述分布式融合检测系统二元假设检验问题,并分析二元假设检验结果可能出现的几种可能性。 答:在二元假设检验问题中,每个传感器的决策值ui 为二元值,定义如下: 010(1((1,2,,假设 判定为无目标) ,假设 判定为有目标) …,N)?==??i H H u i 设 P(H0)=P0 和 P(H1)=P1分别为H0和H1出现的先验概率,且P0 +P1=1

【CN110110082A】多源异构数据融合优化方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910294678.8 (22)申请日 2019.04.12 (71)申请人 黄红梅 地址 510610 广东省广州市天河区沾益直 街1号 申请人 何卓华 谢新屋 (72)发明人 黄红梅 何卓华 谢新屋  (74)专利代理机构 北京联瑞联丰知识产权代理 事务所(普通合伙) 11411 代理人 张学府 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/903(2019.01) (54)发明名称 多源异构数据融合优化方法 (57)摘要 本发明公开了一种多源异构数据融合优化 方法,包括如下步骤:A)对数据实例、类别和属性 进行提取和分析,建立词库和短文本库;B)从互 联网获取多源异构数据;C)对多源异构数据进行 规范化处理,生成短文本;短文本有多个词构成, 规范化处理包括分词和去除停用词;D)将短文本 作为待匹配短文本,将待匹配短文本与短文本库 中存储的短文本进行匹配,得到短文本匹配结 果;E )根据短文本匹配结果对数据进行融合,建 立大数据内容模型,得到数据融合结果;F )对数 据融合结果进行评价,得到评价结果;评价结果 包括优、良、中和差。本发明能建立完整性、准确 性和一致性较强的高质量的大数据知识库。权利要求书2页 说明书5页 附图1页CN 110110082 A 2019.08.09 C N 110110082 A

1.一种多源异构数据融合优化方法,其特征在于,包括如下步骤: A)对数据实例、类别和属性进行提取和分析,建立词库和短文本库; B)从互联网获取多源异构数据; C)对所述多源异构数据进行规范化处理,生成短文本;所述短文本由多个词构成,所述规范化处理包括分词和去除停用词; D)将所述短文本作为待匹配短文本,将所述待匹配短文本与短文本库中存储的短文本进行匹配,得到短文本匹配结果; E)根据所述短文本匹配结果对数据进行融合,建立大数据内容模型,得到数据融合结果; F)对所述数据融合结果进行评价,得到评价结果;所述评价结果包括优、良、中和差。 2.根据权利要求1所述的多源异构数据融合优化方法,其特征在于,所述步骤D)进一步包括: D1)计算所述待匹配短文本与短文本库中的短文本之间的字符匹配因子; D2)计算所述待匹配短文本与短文本库中的短文本之间的词匹配因子; D3)根据所述字符匹配因子和词匹配因子,对所述待匹配短文本与短文本库中的短文本进行匹配,计算短文本匹配因子。 3.根据权利要求2所述的多源异构数据融合优化方法,其特征在于,所述字符匹配因子 采用如下公式进行计算: 其中,F 1表示所述字符匹配因子,c 1表示所述待匹配短文本包含的字符数,c 2表示所述短文本库中的短文本包含的字符数,p表示匹配的字符数,h表示换位的数目。 4.根据权利要求3所述的多源异构数据融合优化方法,其特征在于,所述词匹配因子采 用如下公式进行计算: 其中,F 2表示所述词匹配因子,n表示维数较高短文本向量的维数,σ表示修正因子,σ∈ [0.9,1.3],用于修正增加词带来的误差,A i 为所述待匹配短文本中的第i个词,B i 为短文本库中的短文本中的第i个词。 5.根据权利要求4所述的多源异构数据融合优化方法,其特征在于,所述短文本匹配因 子采用如下公式进行计算: 其中,Y表示短文本的匹配因子;设定匹配阈值Y 0,若Y≥Y 0,则说明所述待匹配短文本与短文本库中的短文本相匹配,若Y<Y 0,则说明所述待匹配短文本与短文本库中的短文本不匹配。 6.根据权利要求5所述的多源异构数据融合优化方法,其特征在于,所述步骤E)具体 权 利 要 求 书1/2页2CN 110110082 A

论中医药多源异构大数据融合方法研究的意义

Traditional Chinese Medicine 中医学, 2018, 7(5), 282-285 Published Online September 2018 in Hans. https://www.wendangku.net/doc/803610111.html,/journal/tcm https://https://www.wendangku.net/doc/803610111.html,/10.12677/tcm.2018.75047 On the Significance of the Method of Multi-Source Heterogeneous Data Fusion in TCM Hanqing Zhao, Zhiguo Wang* Institute of Basic Research in Clinical Medicine, China Academy of Chinese Medical Sciences, Beijing Received: Aug. 18th, 2018; accepted: Aug. 26th, 2018; published: Sep. 3rd, 2018 Abstract Multi-source isomerism is one of the basic features of large data. It is a hot issue in recent years to study traditional Chinese medicine diagnosis and treatment methods based on data. Building a generalization model is one of the methods to solve multisource heterogeneous data fusion and shares and extends the scope of traditional Chinese medicine data. However, the complexity of the large data of traditional Chinese medicine is high. Many problems, such as rich semantics, uneven distribution and poor objectivity, have greatly restricted the research and application of big data in Chinese medicine. In this paper, the importance of multi-source heterogeneous data fusion me-thod under the background of Internet+ large data is discussed, and the importance of mul-ti-source heterogeneous data fusion method based on the combination of disease and syndrome is discussed. It is the original cause of the important component of the large data of traditional Chi-nese medicine in the future, and the further study of the multi-source isomerism of traditional Chinese medicine. The method of large data fusion provides a theoretical reference. Keywords TCM Informatization, Diagnosis and Treatment Mode, Combination of Disease and Syndrome, Big Data, Multi-Source Heterogeneous Fusion 论中医药多源异构大数据融合方法研究的意义 赵汉青,王志国* 中国中医科学院中医临床基础医学研究所,北京 收稿日期:2018年8月18日;录用日期:2018年8月26日;发布日期:2018年9月3日 *通讯作者。

智慧城市多源异构大数据处理框架

智慧城市多源异构大数据处理框架 摘要:智慧城市建设的重心已由传统IT系统和信息资源共享建设,转变为数据的深度挖掘利用和数据资产的运营流通。大数据中心是数据资产管理和利用的实体基础,其核心驱动引擎是大数据平台及各类数据挖掘与分析系统。讨论了智慧城市大数据中心建设的功能架构,围绕城市多源异构数据处理的实际需要,对数据中心大数据平台的架构进行了拆分讲解,并以视频大数据处理为例,阐述了数据中心中大数据平台的运转流程。 关键词:智慧城市;大数据;多源异构;视频分析 1 引言 随着智慧城市建设逐步由信息基础设施和应用系统建设迈入数据资产集约利用与运营管理阶段,城市大数据中心已成为智慧城市打造核心竞争力、提升政府管理效能的重要工具。一方面政府借助大数据中心建设可以将有限的信息基础设施资源集中高效管理和利用,大幅降低各自为政、运维机关庞杂、财政压力过大的问题;另一方面,可以在国务院、发展和改革委员会大力支持的政策东风下,打破部门间数据壁垒,推动政府各部门职能由管理转为服务,提高数据共享利用率和透明度。以大数据中心为核心构建城市驾驶舱,实现城市运转过程的实时全面监控,提高政府决策的科学性和及时性。智慧城市大数据中心建设功能框架如图1所示,其中针对不同部门的数据源,由数据收集系统完成数据的汇聚,并根据数据业务类型和内容的差异进行粗分类。为避免过多“脏数据”对大数据平台的污染,对于批量数据,不推荐直接将数据汇入大数据平台,而是单设一个前端原始数据资源池,在这里暂时存储前端流入的多源异构数据,供大数据平台处理调用。

图1 智慧城市大数据中心功能框架 大数据平台是城市大数据中心运转的核心驱动引擎,主要完成多源数据导入、冗余存储、冷热迁移、批量计算、实时计算、图计算、安全管理、资源管理、运维监控等功能[1],大数据平台的主体数据是通过专线连接或硬件复制各政府部门数据库的方式获得,例如地理信息系统(geographic information system,GIS)数据、登记信息等。部分数据通过直连业务部门传感监测设备的方式获得,例如监控视频、河道流量等。大数据平台的输出主要是结构化关联数据以及统计分析结果数据,以方便各类业务系统的直接使用。 不同部门间共享与交换的数据不推荐直接使用原始数据,一方面是因为原始数据内容密级存在差异,另一方面是因为原始数据内容可能存在错误或纰漏。推荐使用经过大数据平台分类、过滤和统计分析后的数据。不同使用部门经过政务信息门户统一需求申请和查看所需数据,所有数据的交换和审批以及数据的监控运维统一由数据信息中心负责,避免了跨部门协调以及数据管理不规范等人为时间的损耗,极大地提高了数据的流通和使用效率。另外,针对特定的业务需求,可以基于大数据平台拥有的数据进行定制开发,各业务系统属于应用层,建设时不宜与大数据平台部署在同一服务器集群内,并且要保证数据由大数据平台至业务系统的单向性,尽量设置业务数据过渡区,避免应用系统直接对大数据平台核心区数据的访问。 目前主流大数据平台都采用以Hadoop为核心的数据处理框架,例如Cloudera公司的CDH(Cloud er a Distribution for Hadoop)和星环信息科技(上海)有限公司(Transwarp)的TDH(Transwarp Data Hub)、Apache Hadoop等。以Hadoop为核心的大数据解决方案占大数据市场95%以上的份额,目前国内80%的市场被Cloudera占有,剩余20%的市场由星环信息科技(上海)有限公司、北京红象云腾系统技术有限公司、华为技术有限公司等大数据公司分享。随着数据安全意识的增强、价格竞争优势的扩大,国内企业在国内大数据市场的份额和影响力正在快速提升。大数据的应用历程可归纳为3个阶段:第一个阶段是面向互联网数据收集、处理的搜索推荐时代;第二个阶段是面向金融、安全、广播电视数据的用户画像和关系发现时代;第三个阶段是面向多数据源与多业务领域数据的融合分析与数据运营时代,并且对数据处理规模和实时性的要求大幅提高。 本文在智慧城市大数据中心建设方案的基础上,阐述了多源异构大数据处理的框架和流程,并以最典型的非结构化视频大数据处理为例,介绍了多源异构大数据处理框架运转的流程。 2 多源异构大数据处理框架 2.1 系统整体架构 多源异构是大数据的基本特征[2],为适应此类数据导入、存储、处理和交互分析的需求,本文设计了如图2所示的系统框架,主要包括3个层面的内容:基础平台层、数据处理层、应用展示层。其中,基础平台层由Hadoop生态系统组件以及其他数据处理工具构成,除了提供基本的存储、计算和网络资源外,还提供分布式流计算、离线批处理以及图计算等计算引擎;数据处理层由多个数据处理单元组成,除了提供基础的数据抽取与统计分析算法外,还提供半结构化和非结构化数据转结构化数据处理算法、数据内容深度理解算法等,涉及自然语言处理、视频图像内容理解、文本挖掘与分析等,是与人工智能联系最紧密的层,该层数据处理效果的好坏直接决定了业务应用层数据统计分析的准确性和客户体验;应用展

多源异构数据采集和可视化解决方案

工业互联网先进应用案例集 案例 可快速部署的低成本多源异构数据采集 和可视化解决方案 ——基于宜科边缘控制器和IoTHub平台的设 备智能管理应用 宜科(天津)电子有限公司成立于2003年,位于天津市西青经济开发区,在中国天津和德国德累斯顿设有研发中心。公司将“自动化技术+数字化工厂+工业互联网”定义为重要的发展战略,围绕工业互联网和智能制造业务持续发力,在工业互联网、智能制造、工业软件等方面积累了大量项目案例和实施经验,在工业互联网领域拥有核心产品和方案,在系统集成解决方案领域处于国内领先地位。 一、项目概况 宜科边缘控制器利用宜科IoTHub TM工业互联网赋能平台和Workbench工业APP快速开发工具,提供“设备连接+数据可视化”应用模式,将成为中小企业管理者直观了解工厂运行状态的最有效方式。

1. 项目背景 工业互联网平台是工业互联网建设的核心。工业设备上云正成为牵引工业互联网平台发展的先导性应用,也是当前工业互联网平台建设的切入点。 工业设备上云就是通过建立实时、系统、全面的工业设备数据采集体系。构建基于云计算的数据汇聚、分析和服务平台,实现工业设备状态监测、预测预警、性能优化,引导带来工业互联网平台的功能演进和规模商用。工业设备种类繁杂、数量多、通信协议与数据格式各异,当前尚缺乏有效的技术手段能够低成本、便捷地实现工业设备快速接入平台,导致绝大部分平台的设备接入数量有限。2. 项目简介 基于宜科边缘控制器,提供“数据+应用”的服务,充分利用IoTHub TM工业互联网赋能平台IaaS和PaaS资源,以及边缘计算设备的性能,提供数据采集能力和数据可视化应用。 数据:系统提供多种协议接口,支持典型的工业控制器、传感器、物联网采集监控终端,并提供协议连接及数据交互操作。 应用:工业APP开发工具,方便提供生产过程监控、调试维护配置、报警相应及处理、报表实时更新及显示生成等功能,方便平台应用。 数据+应用=服务 3. 项目目标 面向工业互联网应用,支持市场二十种以上主流工业协议解析,支持二十万台设备并发连接,提供面向工业现场的图形化、拖拽式和低代码快速开发APP 工具,支持本地、私有云、共有云混合或单一部署,提供多个重点垂直领域的基础应用APP。 在汽车整车及零部件、装备制造、冶金、电子信息领域发展客户上千家,设备连接数超百万。在设备监控、设备预测性维护、生产现场数据可视化、数据分析、实时报警等方面,帮助广大中小制造业企业解决“数据之痛”,提升生产效率,降低运营成本,提高管理水平,助力企业做大做强。

多源数据融合的交通指数标准化云平台技术

多源数据融合的交通指数标准化云平台技术 丘建栋庄立坚周勇段仲渊 (深圳市城市交通规划设计研究中心,广东深圳 518021) 摘 要:交通指数是城市交通治理中最基础、最直观的评估方法。多源数据融合技术,能有效提高交通运行评估的精度。引入互联网实时数据提升指数的空间维度偏差,尤其是偏远区域;引入定点检测技术则有效校核了指数在时间维度的偏差。基于多年的大数据工作实践,首次提出标准化云平台概念,阐述“多源数据接入与处理—软件硬件架构—在线动态发布”等完整的解决方案与实践,通过云平台技术转移,使各城市交通研究者从繁琐的大数据处理和IT无边的海洋中解放出来,轻松拥有自身的大数据分析系统,让更多的精力投注于交通本身的技术和算法创新。 关键词:大数据;交通运行指数;标准化;云平台技术 The T echniques for Traffic Index Standardization Cloud Platform Based on Multi-source Data Fusion Qiu Jiandong Zhuang Lijian Zhou yong Duan Zhongyuan (Shenzhen Urban Transport Planning Center,Shenzhen Guangdong518021) Abstract: Traffic index is the most basic and intuitive assessment method of urban traffic management. The technology of multi-source data fusion is an effective way to improve the accuracy of traffic operation evaluation. The introduction of Internet real-time data can reduce the spatial dimension bias of traffic index. Moreover, the introduction of fixed-point detection technology can check the deviation of traffic index in the time dimension effectively. With personal accumulated practice and working experiences of several years in big data, the authors first put forward the concept of standard cloud platform which proposes a complete set of solution and practice, including multi-source data access and processing, software and hardware architecture, online dynamic publishing, etc. Urban traffic researchers can free themselves from the tedious big data processing and the complex and changeable information technology, be able to easily use big data analysis system and pay more attention to the technology and algorithm innovation of transportation Key words: Big Data, Traffic Operation Index, Standardization, Cloud Platform Technology

相关文档