星环科技：大数据流处理技术在智能交通的应用案例
2015-10-21 16:04:59   来源：www.ladysslipper.com   作者:ITS114    评论：0

　　9月17日，由中国智能交通协会支持，上海智能交通系统产业联盟，南京市智能交通产业协会及深圳市智慧交通产业促进会联合主办的2015中国城市智能交通管理暨科技创新论坛在上海海悦大酒店正式开幕，论坛为期两天进行，主题为大数据、汽车电子标识与交通管理创新。星环信息科技（上海）有限公司技术总监陈碧青做《大数据流处理技术在智能交通的应用案例》主题分享，本文为演讲速记，未经演讲者本人审定。
 

　　陈碧青：非常高兴今天在这里和大家一起分享星环科技在大数据流处理领域应用于智能交通的案例。

　　这两张图是网络所报道关于套牌车的新闻图片，一个出租车驾驶员在一路口等待红灯的时候，发现有一辆车牌、车型都一模一样的小车，报警后，交警到达现场截停了这辆套牌车。但这种几率非常小，如果一个城市非常大，有几个司机能在同一个时间点同一个地方看到和他车辆相同的套牌车？随着城市的快速发展，道路网络布局越来越复杂越来越庞大，我们如何跨越时间、空间在城市或者更大的区域去完成套牌车的实时监控、分析、研判？

　　但现在通过大数据流处理的技术可以完成这个任务。这张图向大家展示了通过流处理的计算架构在智能交通当中如何工作的，左侧的卡口探头会实时记录过车记录，传送到分布式的集群队列当中，集群队列会以一个时间窗口（周期）将过车记录推送到实时流处理集群，将每一条的过车记录进行批量处理，与基于交警研判业务的模型进行比对，实时地将道路上的嫌疑车辆进行一个分析研判以及查询。第二条路，系统会将所有的计算结果以及原始采集的原数据保存在实时数据库里面，包括了结构化数据和非结构化数据。大家可以看到在(PPT)的右侧和上侧，可以通过大数据流处理技术系统的接口提供给公安或者交警的一些周边应用系统，比如说通过实时研判将分析结果进行一个告警，通报给相关的支队和总队，也可以对实时数据库当中的数据进行展现和调用。也可以通过对于SQL的支持完成离线的统计分析，这是数据逻辑的架构，右边（图）有更详细的一些业务分布。系统可以完成实时的展现、实时的告警，结合报警系统，更好地展现路面的拥堵情况或者路面的实时路况。除了刚才说到的套牌车，可以对重点车辆重点人员进行布控，黑名单的布控，特殊区域的车辆布控等。统计分析报表中提供轨迹查询，可以通过海量的数据去分析和追溯某一个犯罪车辆或者嫌疑车辆在前一个周期当中所有的行驶轨迹。包括对套牌车、伴随车、碰撞车进行分析和研判，目前在流处理系统当中已经实现了。

　　2015年初，我们与山东交警总队合作采用大数据流处理技术，对海量数据的存储和查询都得到了解决，根据车辆的型号等信息，随着影像识别的技术越来越成熟，可以对各种各样的信息进行查询，或者对维度交叉查询，满足公安或者交警的业务。这是山东总队大数据流处理技术系统的逻辑框架，大家可以看到上层的数据接入，道路的过车数据记录实时传输到分布式消息队列集群，之后将这些实时数据传送到底层的服务当中，这些服务在流处理的框架当中就是以数学模式、统计分析模型的形式，提供一些分布式的查询和检索功能。像违法车辆的监控服务，通过和公安、交警等警种业务逻辑的比对，可以实时研判出每辆车是否违法。底层会经过分布式执行模型，在底层做一些统计分析、检索，或者整个流上面做一些机器学习、模型丰富工作。首先一点系统可以完成准实时处理，是以时间窗口的形式来做，把所有的数据批量传送到流处理的框架当中，单台节点100000记录/秒（这个性能还可以提升），另外还提供了简单的编程接口。

　　这组数字是山东项目试运行期间的一部分数据，分析出嫌疑车辆有10.46万辆，发出了将近86万次的告警，当一辆车经过一条道路当中的多个卡口，都会被非常快速地进行研判，并对这辆车的违法记录进行一个告警。整个从前端的拍摄到流处理计算，到最终将嫌疑车辆信息发到前端路面的交警，整个过程2`3秒内完成。缉查布控系统处理完的结果将会和周边的业务系统进行关联，包括国省道管控平台、总队视频联网平台、综合应用平台、大公安业务应用系统，或者共同参与业务研判，丰富整个公安的执法依据。

　　后面讲一下大数据。大家都知道大数据有4V属性，首先是体量，数据量非常大。第二，多样性，有各种各样类型的数据，非常复杂，包括视频、音频、图像、文字，各种各样的都是以大数据为特征。第三第四是高速以及价值。用户如何非常高速地从海量的数据当中挖掘出它的价值，事件与事件、个体与个体之间的关联，这是大数据的两个纬度。在交通领域，有电信运营商的手机信令，有道路卡口的数据，还有商场的人流数据，包括社会热点数据，包括上网数据，这些数据都会进入到公安或者交警的数据库。基于这几个维度，大数据怎么帮我们解决问题。首先是数据的集中和管理，如何将海量的数据在同一个平台当中进行存储，这是最初级的任务。然后基于这些海量数据怎么交互式地查询检索，你问我答，如何完成秒级查询这是非常重要的。还有如何完成一些数据的分析和挖掘，挖掘当中的一些价值，提高对业务的洞察力。不单单指在交警、公安，在金融、能源、工业4.0上大家都在讨论这个问题，如何提高自己的洞察力。然后就是实时性，如何完成在整个生产过程当中能够对每一个节点都完成实时地研判、洞察，这些结果最后将会辅助管理层的决策，这是大数据最终极的目标。

　　对于智能交通项目，可分为微观和宏观两个方面，微观就是对于车辆个体、人员个体的行为有一个更加准确的预测，比如可以追溯更加详细、精确的嫌疑个体的轨迹，在过去的6个月的时间里行驶轨迹怎么样。其次，更加准确地定位违法犯罪行为以及个体行为，我们甚至可以判定车辆的副驾驶是否佩戴安全带，经过一个卡口的时候穿着的衣服颜色和经过第二个卡口的时候衣服颜色是否有区分，都会作为业务研判的依据。包括驾驶员是否在行驶过程当中有抽烟的现象，有打电话的现象，这都是微观洞察的部分。宏观洞察就是对违法事件的一些规律以及时空环境来完成我们的分析和预测，挖掘违法犯罪的规律，比如在某些特定的时间段和路段会有非常大量的犯罪情况，通过这样的规律，用海量数据的获取创建模型，并且以实时地加以数据补充，最终模型的准确度会越来越高。通过宏观洞察，可以完成实时的研判，日前地将犯罪行为扼杀在摇篮里。

　　这是一个愿景，通过大数据的技术，首先做到研判机制和行业的评判体系永不离线，目前星环的大数据流处理技术已经实现了7×24小时不间断运作，包括及时的数据存储分析，以及一个非常直观有效的展现形式。当我们有一些数据的时候，可以对这些数据进行分析和挖掘，最终能够有一些什么样的价值。比如通过对于地铁卡口进出站的刷卡信息或者地铁内人员密度的监控信息，任意时间维度、出口人员的统计，包括历史同期对比，进行数据分析。价值是我可以预测未来时间段人数的情况，可以事先设定阈值对它进行报警。对于出租车的GPS信息一样，通过它的动态轨迹和运动状况轨迹预测，最后可以挖掘到某一个电子围栏里实时出租车数量进行统计，防止非法集会。再比如发生踩踏事件，利用人流聚集的数据是可以给执法部门提供数据依据，提供一些干涉行为的依据。还有交通卡口过车记录，也可以进行不同时间、不同地域维度的流量统计，包括历史车流数据对比分析，基于车内路网车辆动态预测。

　　还有一些公共wifi信息可以用于人流趋势的分析、研判，都可以通过这些大数据的流处理过程进行完成。这是一个动态图，根据电信运营商的wiFI接入数据，再结合大数据的流处理技术，可以展示出来人流的趋势，颜色最深的地方是人流密度最高的地方，通过实时的手机和基站之间的连接，以及通过各种算法，数据挖掘算法，能够将数据展示出来，能够提供给职能部门或者执法部门做一些干预或者执法。应用场景包括春运、旅游热点、演唱会、足球赛事等等各种重要区域当中人流的密度、车辆的密度。这是商圈人群的密度分析，用了非参数密度估计，作为模型来进行描述人群分布。这个模型是有几个优点的。第一，不会对任何的人员密度做一些假设，它的所有数据来源是真实数据，所以最后出来的结果是非常接近现实情况的，而且它的扩展性非常好。多维的数据进来都会允许它进行参与，而且是进行建立动态串形，数据的获取是通过并行计算的。这样两个好处，一个是计算速度很好，我是通过大数据的分布式计算已经完成了，它的计算性能很好。二是并行计算是基于大数据的海量数据的计算，现在的数据获取并不是根据采样数据，而是根据真实的数据，数据的准确度非常高，完成商圈人员密度的分析。这个是商圈人员密度分析当中的多个维度，我们在模型当中设定的阈值，一旦人流情况或者人流密度超越阀值，都会进行快速地报警和警告。作为大数据来讲并不单单用在交通，公安各个行业当中都会遇到，比如说游行示威，有重大的节庆活动或者社团聚会，都可以通过大数据这样的流处理技术进行实时研判，而且很多的研判目前已经在落地。

　　最后花一点时间简单介绍一下我们的平台架构和支撑，它分为三个层次。第一底层的数据存储层。这个存储层能够完成对于结构化数据、非结构化数据、多维数据进行一个存储，在这个层次当中允许客户对于不同职能部门和部门设立不同的权限，对于计算资源有一个非常合理的管理。在这之上是计算层，这也是刚才所说的，交互式的分析，它是基于内存计算框架的引擎，它的计算引擎会快很多，Discover是作为机器挖掘的引擎，这里面集成了目前市面上非常好的5000多种机器学习的算法，而且是并行化执行。然后是SQL数据库，提供了非结构化数据，还有对海量数据高并发的实时检索。还有流处理，基于实时的交易数据的计算结果，在流处理当中可以集成交互式的分析，内存分析引擎，通过在流处理当中完成在线的机器学习，将所有的生产数据放到流处理上。第三个层面是对整个集群的运行情况、使用情况包括监控集群的安全性和稳定性都是通过这个。从这张图上可以看到系统所提供的数据集合，交互式分析、实时挖掘、实时研判，可以为千万上亿级别的过车记录实现关联汇总以及实时研判。

　　星环是专业的大数据平台公司，有全中国最资深的Hadoop核心开发团队，有全球大数据生态圈当中最完善的基于Hadoop的引擎，而且目前在全国各大行业有将近200多个案例，包括有电信运营商、公安交通、金融证券、能源、互联网、电商、物流等等。我们希望通过这次交流能够让大家有一些小小的头脑风暴，将自己所熟悉的行业当中的业务能够和大数据相结合，也希望大家可以最后选星环大数据平台完成最后的业务实现。