记得是从2013年开始说大数据,两年过去了,大数据一热再热,从各种会议的高谈阔论也开始逐步落地到各个系统。
交通作为每日积累数据最多的城市服务系统之一,有着天然的应用大数据技术的环境基础,同时也因为拥有着庞大的服务对象,对交通规律的精确挖掘,对效率和交通能力的不断追求,对服务内容的精准落地等等需求,都是大数据技术应用于交通的市场基础。现在我们看到一线城市中,尤其是交通运输局/委在对基于车辆、人员的位置信息进行大数据处理应用,应用和服务于综合的交通指挥、出行信息服务系统,而在公安交警方面,由于公安部交管局所推动的缉查布控全国联网工程,以及视频监控全国联网工程,在推动非结构化的视频图像数据的大数据处理,应用于涉车的治安犯罪、交通肇事逃逸、套牌等违法行为侦查等工作,取得了不小的成就。
应该说,一些进入这个领域较早的传统ITS企业和IT企业,对交通大数据技术已经有了比较深刻的认识,尤其是本身就在交通管控、综合交通指挥运行等集成系统服务中有着丰富经验的ITS集成企业,包括博康智能和千方科技等,他们对于智能交通系统如何应用大数据技术,要实现什么功能和目的,都有着非常清晰的了解,而一些IT企业在与ITS集成商、应用单位的合作过程中,也逐渐深入智能交通,凭借在软件和技术的优势,能够独立的介入到交通大数据的项目建设中去了。
很清楚的一点是,大数据技术应用于交通领域将是一个不可阻挡的趋势,相比更早前出现的云计算,大数据扮演了更为落地务实的角色,同时帮衬了云计算的应用。但是现在很难说清楚,交通大数据市场,未来谁会更占优势,诸如千方、博康、易华录、银江一样的传统ITS集成商?还是诸如东方通、星环科技一样的IT企业?但都别忘了,BAT以及华为、浪潮、IBM等互联网巨头,早已虎视眈眈的瞄准整个城市的大数据处理市场,所以未来很可能出现的一个情况是,ITS集成商和安防集成商与IT企业紧密合作,共同对抗BAT等巨头的鲸吞。如果传统ITS集成商在大数据方面,没有作为,很可能沦为像电信运营商一样的管道角色,系统建好了,就跟你毫无关系了。
我们在安防监控领域看到的大数据技术应用开发,要远多于交通领域,包括科达、大华、海康、宇视等都嗅到了危险的气味,并借助视频图像天生的非结构化数据壁垒,以及自身在图像数据处理方面建立的短暂优势,在构建自己的攻防阵地,而智能交通集成商则显得有些漫不经心,很少有战略布局,或者说,后知后觉。在移动互联网时代,谁都可能是对手,唯独你原来的竞争对手很可能会成为你的战友。
百度搜索一下大数据技术和实战,会跳出很多个培训班的结果,这也说明了这个领域的火热和盲目,本次专题采访到的三家企业,都是我们在2013年就接触到了企业,而且一直致力于技术上的提升,应用体验上的改善,而且都已经有了成功的案例,希望他们的解答,能为我们交通行业的大数据应用带来一些些知识普及,如果对您的工作有所帮助,这是对我们最大的褒奖。
鸣谢:
博康智能网络科技股份有限公司副总裁张善海
星环信息科技(上海)有限公司CTO孙元浩
济南观澜数据技术有限公司副总经理康健
企业:
星环信息科技(上海)有限公司研发团队是国内最早的大数据Hadoop发行版团队,从2009年起即开始致力于大数据Hadoop平台软件的自主创新和开发,与硅谷同类公司同时起步;2011年在中国率先推出Hadoop发行版;之后,团队负责人原英特尔亚太研发中心CTO孙元浩、亚太区销售总监佘晖离开英特尔,创办星环科技,注册资金一千万。星环科技是目前国内极少数掌握企业级大数据Hadoop和Spark核心技术的高科技公司,从事大数据时代核心平台数据库软件的研发与服务。在全球去IOE的大背景下,Hadoop技术已成为公认的替代传统数据库的大数据产品。公司产品TranswarpDataHub(TDH)的整体架构及功能特性比肩硅谷同行,产品性能在业界处于领先水平。
博康智能网络科技股份有限公司(以下简称博康智能)的核心业务主要是智慧安全和智慧交通。自上世纪九十年代以来,博康智能一直专注于智慧安全和智慧交通产品的自主研发,从基于标清/高清图像监控的系统解决方案、到基于高清视频的智能应用系统解决方案以及公交运营智能调度系统解决方案的推出,始终把握着产品和技术的正确战略方向。博康的智慧交通业务分为交通管理和交通运输两大板块。在交通管理方面,博康有电子警察、卡口、违章视频监控、交通综合监测发布平台、基于GIS技术调度指挥平台成熟产品,处于国内领先地位,并占有较高的市场份额。
济南观澜数据技术有限公司(以下简称观澜数据)成立于2012年,是一家提供多维度大数据管理与分析服务和深层次解决方案的技术型企业,专注于将大数据技术运用到各个行业领域。秉承"诚信、负责、严谨、创新"的企业理念,目标是成为中国领先的大数据和云计算核心技术和解决方案提供商。观澜数据提供多项企业级大数据产品和解决方案,涵盖医疗、交通、通信、工业、教育等诸多领域,助力企业降低研发成本、迅速实施产品质量改善;观澜数据提供面向大数据行业的专家级咨询方案和优质培训服务,全面帮助企业提升将数据资产转化为商业价值的能力。
产品与案例
在交通运输方面,博康智能有国内第一个特大型城市交通数据中心及运行协调中心的建设经验,并拥有交通大数据平台产品。博康的核心竞争力是拥有基于图像视频的智能综合应用平台,博康目前着力于视频图像应用的研发,目标是利用大数据平台充分挖掘交通视频数据的应用价值。不断探索创新,使得博康智能的市场定位和营销策略更加精准,企业的成长目标更加明晰。博康在业界的影响力也比较大,多年来,先后参与了香港回归、50周年国庆、APEC会议、北京奥运、60周年国庆阅兵、上海世博、深圳大运会等多项国家及各大城市的重点项目建设,以骄人的业绩赢得用户、专家、业界乃至政府机构良好的口碑。博康智慧交通各个产品线已转移至交通大数据平台,如博康一体化交通信息服务系统,该系统为公众提供全部出行链的信息服务,同时也具有公众参与的交通服务质量评价体系,是一套完整的面向出行者的先进交通服务信息系统。其中实时公交应用(向乘客提供到站距离及到站时间预报)完全架构在大数据平台上。
自成立之初,观澜数据即以智能交通为业务切入点和重要发展方向。2012年底,观澜数据成功研发了观澜治安交通综合管控平台,平台基于业界广泛使用的Hadoop、HBase、Storm等大数据处理平台,并针对交通数据和交通应用的特点做了大量专门性的优化,能够高效支撑对PB级异构数据的交互查询和分析挖掘。2013年初,观澜治安交通综合管控平台被成功应用到了济南市卡口综合管控系统中,这也是大数据技术在国内交管领域的首次成功落地。之后,平台又在临沂、滨州等多个地市得到广泛应用,在业内引起了较大反响。
日前,山东交警就在公安部交通管理科学研究所的帮助下部署了基于大数据平台的缉查布控系统,利用流处理技术做到了实时的分析型监控。山东省的机动车保有量在全国一直数一数二,2014年7月在全国率先实现了缉查布控系统的省级联网。省级的缉查布控系统要处理的不仅是省内各地市的监控信息,还有各地市之间交通的数据,因而数据量非常庞大,处理逻辑也远高于普通市级系统。山东交警在全省部署的上千个卡口每时每刻都捕获着大量包含图像和视频的过车数据,在高峰期可达每秒近万条,每月的数据量可达TB级别。山东交警缉查布控系统原先使用的Oracle数据库在处理如此大量的数据时捉襟见肘。部署了大数据平台后,数据量过大带来的存储、查询和计算方面的一系列问题都得到了解决。尤其是新系统中的流处理引擎成功地做到了对套牌车分析、伴随车分析、黑名单车预警、区间测速、旅行时间计算、道路流量统计等分析型监控的实时分析和实时预警。图1描述了山东交警新缉查布控系统的软件逻辑架构:
图1:软件逻辑架构
非结构化数据的结构化处理
智慧交通:一般而言,涉车的交通信息数据分为三种,一种是基于多种采集方式而来的位置和轨迹数据,一种是通过交通监控视频采集到的图像数据,一种是车辆本身采集到的驾驶习惯和车辆状况数据和车外道路环境数据。就你们目前的业务范围来说,主要集中于哪一类?
星环科技:基于交通大数据循序渐进的发展模式,就目前所处的阶段,已经能够基于数据来追踪车辆的轨迹信息和交通监控所采集的非结构化数据(图像及视频),随着交通大数据的发展,和业务需求的逐渐复杂,对驾驶习惯、车辆行驶状况