中国大数据产业起步晚,发展速度快。物联网、移动互联网的迅速发展,使数据产生速度加快、规模加大,迫切需要运用大数据手段进行分析处理,提炼其中的有效信息。
2014年,中国大数据市场规模达到767亿元,同比增长27.8%。预计到2020年,中国大数据产业规模将达到8228.81亿元。2015-2017年复合增长率为51.5%。2014年,中国大数据应用市场规模为80.54亿元,同比增长3.2%,2015年市场规模约增长37.3%,至110.56亿元,预计到2020年,中国大数据应用市场规模将增长至5019.58亿元。2015-2017年复合增速为87.8%。
2014-2020年中国大数据产业规模市场及预测
大数据应用于智能交通产业
当智能交通遇到大数据,如同二氧化锰在制取氧气的实验中作为催化剂一样,一场剧烈的化学反应加剧了两方的共同发展。
随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。智能交通成为改善城市交通的关键所在。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。
1、智能交通需求与大数据契合
智能交通整体框架主要包括物理感知层、软件应用平台及分析预测及优化管理的应用。其中物理感知层主要是对交通状况和交通数据的感知采集;软件应用平台是将各感知终端的信息进行整合、转换处理,以支撑分析预警与优化管理的应用系统建设;分析预测及优化管理应用主要包括交通规划、交通监控、智能诱导、智能停车等应用系统。
系统利用先进的视频监控、智能识别和信息技术手段,增加可管理空间、时间和范围,不断提升管理广度、深度和精细度。整个系统由信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息发布系统等组成。以达到四方面的目标:提高通行能力、减少交通事故、打击违章事件、出行信息服务。
智能交通整体应用架构图
整个系统建设的核心是数据的采集、存储与计算,而其中最重要的核心思想就是“数据是价值”。问题就是如何把数据转换成价值。这就成为一个技术问题。
从统计学的角度,任何领域任何动态发展的事物,只要有足够多的样本数据,就一定能从样本数据中找到动态发展的规律。数据越多,准确率越高。这个“规律”就是数据的价值所在。对于商业机构,可以分析用户行为规律从而提高销售量;分析目标市场规律,定点投放广告从而降低成本等等;对于公安行业,可以分析区域性犯罪趋势,提前预防从而降低犯罪率;还可以分析交通行为规律,提前做交通疏导,提高交通通畅率,这就能真正挖掘数据的潜在价值,提高其社会价值。
从20世纪初的网络发展以来,进入一个高度联网的阶段。联网的同时,数据高度集中,数据量急剧增加。据IDC报告现在互联网的数据,每两年就翻一番。这个增长率在智能交通行业同样有效,随着卡口、电警、摄像机数量的增加,高清化、智能化的发展,如果再算上物联网的各种传感器,未来几年的数据量增加可能大大高于这个增长率。这就为智能交通行业实现大数据提供了数据基础。
从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。由此我们再看IBM归纳的4个V(量Volume,多样Variety,价值Value,速Velocity):
(1)Volume数据体量巨大。从TB级别,跃升到PB级别;
(2)Variety数据类型繁多。包括视频、图片、地理位置信息、传感器数据等等。
(3)Value价值密度低,应用价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
(4)Velocity处理速度快,1秒定律。
最后这一点也是和传统的数据挖掘技术有着本质的不同。在交通领域,海量的数据主要包括4个类型的数据:传感器数据(位置、温度、压力、图像、速度、RFID等信息);系统数据(日志、设备记录、MIBs等);服务数据(收费信息、上网服务及其他信息);应用数据(生成厂家、能源、交通、性能、兼容性等信息)。交通数据的类型繁多,而且体积巨大。量Volume和多样Variety是因,数据类型的复杂和数据量的急剧增加,决定了原有简单因果关系的应用模式对数据使用率极低,完全无法发挥数据的作用;速Velocity是过程,巨大的运算量决定了速度必须快;价值Value是最终的果。
2、大数据采集
在各城市建设智慧交通的过程中,将产生越来越多的视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等数据,每天产生的数据量可以达到PB级别,并且呈现指数级增长。
3、大数据增值应用
深入挖掘数据价值,在智能交通、公安实战等行业上推出车辆轨迹、道路流量、案件聚类等大数据模型。基于大数据模型,推出智能套牌、智能跟车分析、轨迹碰撞、人脸比对、舆情分析等数据增值应用,逐步解决行业的深层次问题。
4、海量数据计算
通过云计算集群,实现对海量数据的分布式高速计算,支撑对海量数据的高效分析挖掘。云计算集群是一种M/S架构的分布式计算系统,Master作为调度管理服务器,负责计算任务分解与调度、计算资源统一管理。Slave则由大量的计算服务器组成,负责完成Master下发的计算任务。
5、海量数据检索
基于行业数据查询特点,对搜索引擎进行优化定制,支持百亿记录的秒级高速查询。通过集群机制,实现搜索服务的高可靠性、高容错性、高扩展性。
6、海量数据存储
对于海量数据存储,采用HBase分布式存储系统。相比传统关系型数据库,有四个特点:数据格式灵活、高可用、横向扩展能力强和访问高效。
同时能够做到无缝集成,快速从关系型数据库导入已经存在的历史数据。提供高可靠性、高容错性、高性能的海量数据存储解决方案,支持无缝容量扩展。
7、大数据分析与应用
高效的云计算能力,带来千亿数据的秒级返回的检索能力,为大数据分析应用,提供了快速的保障。基于深度学习的智能分析算法,为大数据分析应用提供有力的工具。交通大数据的分析,为交通管理、决策、规划、服务以及主动安全防范带来更加有效的支持。
利用大数据技术,结合高清监控视频、卡口数据、线圈微采集波数据等,再辅以智能研判,基本可以实现路口的自适应以及信号配时的优化。通过大数据分析,得出区域内多路口综合通行能力,用于区域内多路口红绿灯配时优化,达到提升单一路口或区域内的通行效率。如根据平日/节假日,早、晚高峰/其他时段,主要干道关键路口/次关键路口/普通路口,白天/夜间等不同情况,人工或系统自动设置不同的配时,达到大幅提高区域内交通通行能力。
大数据分析研判功能,还可以支持对卡口数据、视频监控数据进行二次识别,提高车辆信息的准确性,进而利用大数据实现轨迹分析、落脚点分析、隐匿车辆分析等功能。对车辆大数据进行深入挖掘,实现事前全面监控、事中及时追踪、事后准确回溯的不同场景需求。常州市建设的车辆大数据平台,协助有关部门每天自动发现套牌车辆10余起,再根据车辆的轨迹分析和落脚点分析,快速找到套牌车辆进行处罚管理。
结合智能算法,二次识别等功能,可以更准确的识别车牌、车身颜色、车型、车标、年款等特征,并且对遮阳板检测、安全带检测、接打电话检测、司机人脸识别等进行分析。
利用智能交通的管理系统,可以获取道路天气、施工情况、事故情况、结合大数据分析,为出行司机和交管部门提供天气、路面状况、事故易发地点、停车场等信息,并根据车辆目的地、行驶习惯,路面情况推荐行驶路线。