APP下载

深度学习在城市大数据融合中的应用与挑战分析

2020-09-16耿慧中

科学与信息化 2020年14期
关键词:数据融合深度学习

耿慧中

摘要:现如今,我国城市建设在不断加快,城市大数据具有多源、异构和模态复杂等特点,通常在数据融合之后才能纳入统计分析。融合处理需要首先识别城市大数据的基本特征,然后选择相匹配的数据融合方法。深度学习算法作为数据融合中的前沿技术,可以用于城市大数据的输出阶段融合、输入阶段融合和双阶段融合,解决包括人群流动、环境污染预测和交通流量预测在内的诸多城市问题。未来的研究面临着数据质量低、模态复杂和融合方法单一等问题,应从数据特征探索、融合方法创新和特征关联分析继续推进。

关键词:城市大数据;数据融合;深度学习

引言

城市大数据的数据资源丰富多样,广泛存在于社会的各个领域,是政务、行业和企业等各类数据的总和。城市大数据的异构特征显著,数据类型丰富、量大、速度增长快、处理速度和实时性要求高,且具有跨部门、跨行业流动的特征。按照数据源和数据权属不同,城市大数据可以分为政务大数据、产业大数据和社会公益大数据。政务大数据指的是政务部门在履行职责过程中制作或获取的,以一定形式记录、保存的文件、资料、图表和数据等各类信息资源。产业大数据指的是在经济发展中产生的相关数据,包括工业数据、服务业数据等。此外,还有一些社会公益大数据。当前,城市大数据多数为政务大数据和产业大数据,所以城市大数据的主要推动者应为一个城市的政府和具有一定数据规模的企业。

1大数据发展概述

随着信息化时代的飞速发展,大量数据快速积累,大部分行业都形成海量、高增长率和多样化的信息资产。为充分利用这些信息资产,同时为行业发展提供更强的洞察力、决策力以及流程优化能力,实现业务的突破性发展,必须设法解决大体量数据的处理问题。因此,大数据时代的主要挑战就体现在如何处理大体量数据并快速地从海量数据中获取有价值的信息。也基于这个原因,我们现在所说的大数据不仅是指大数据本身的4V特性——数据规模庞大(Volume)、数据更新频繁(Velocity)、数据类型多样(Variety)和数据价值巨大(Value),而是从各种类型大体量的数据中快速获得有价值信息的相关技术成为了大数据的核心技术,包括与大数据相关的数据采集处理工具、数据管理平台以及数据分析处理系统等。大数据相关技术突飞猛进的发展肇始于2004年Google发表的三篇重要论文,俗称Google的“三驾马车”,也奠定了Google在大数据时代的领导地位。Lucene项目创始人DougCutting最早关注了Google这三篇大数据论文,并很快就依据论文的原理实现了类似GFS和MapReduce的功能框架。到了2006年,这个类似MapReduce功能的大数据技术被独立出来,单独开发运维,之后成为闻名遐迩的Hadoop的产品。

2深度学习在城市大数据融合中的应用探索

2.1基于深度学习的数据输出融合

2.2交通大数据平台

高新兴采用交通物联网感知、交通信号智能协调、AI智能技术、VGIS视频地图技术、超高频RFID技术、车联网自适应技术等核心技术,充分利用大数据构建了一套城市级大交通解决方案。此平台涉及交通管控、交通运输、企业服务、公众出行等。交通管控可以提供给政府部门进行交通态势监测、智慧调度、稽查布控、研判分析等;交通运输内含路政管理、公交管理、出租车管理、定位终端管理等;企业服务包括车队监测、运营监测、驾驶员监测等;公众出行服务包括路况查询、出行导航、停车服务等。交通大数据真正意义上实现了从政府管控、企业运营到民众需求的一体化交通运行体系,使得智慧城市的运行管理效率更为高效。

2.3大数据与AI智能的融合

A1人工智能當前已经成为技术和市场的宠儿,特别是在安防市场上,使用海量的大数据进行AI训练,构建精准的AI引擎,已经是业内的惯用做法,通过海量的数据去训练各种车辆分析算法、人像分析算法、人体分析算法等。在传统AI建模流程中,通常由安防业务专家提出具体的分析应用需求,然后再通过数据科学、算法、开发训练、测试验证等多个角色来配合完成具体的算法建模任务。在很多情况下,由于各种角色的专业背景不同,常常会导致沟通成本过高,比如业务专家对业务相当了解,但是由于AI技术较为复杂,很难理解AI的技术原理和细节,不知道该如何有效利用数据和优化模型。而算法开发人员对相关的技术细节很了解,但是也很难理解业务逻辑的关键环节或者核心需求,无法有针对性的优化算法模型的各类相关参数。从而出现模型训练结果没有达到预期的情况,即使是完成的模型,往往也很难抽象成应用更广泛的通用模型,从而制约了算法模型的应用和发展。

3结束语

大数据时代将会给人类社会带来巨大的变化。随着大数据产业生态链正在逐步构建,政府企业相互合作、协调发展,推进社会前进;不同的行业产业互通,数据交融,互惠互利,共同发展。大数据作为智慧城市的核心资产,智慧城市建设的效用高低,很大程度上取决于大数据资产利用的深度与广度。没有大数据,就没有众多面向政务、产业和民生的智慧应用,智慧城市也只能成为空中楼阁。因此,建设智慧城市从顶层设计到基础设施再到运营管理,都必须坚持大数据为主的思想,才能取得成功。

猜你喜欢

数据融合深度学习
多传感器数据融合技术在机房监控系统中的应用
《可靠性工程》课程教学的几点思考
基于数据融合的家庭远程监护系统研究
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现
船舶动力定位中的数据融合技术文献综述