面向公安业务的大数据技术的应用分析
2016-12-13 10:08:16 来源：安防知识网作者: 评论：0

　　大数据诞生之初，人们就给它赋予很多神秘的面纱。大数据其实一直都在，只是我们无法获取、存储、分析，以及不知道它真正富含的力量，直到行业进入了数据时代。

^{行业大数据带来的变革与机遇}

　　公共安全一直以来都是国家的重要根基，是国家发展的前提。随着国家对公共安全的重视、公共安全领域项目的不断增多和系统的持续运行，积累的各种数据日益增多（比如音频数据、视频数据、卡口系统数据、DNA、指纹、人像模型、空间位置(GPS)数据、报警数据、社交网络及移动互联网数据、射频（RFID）数据，以及其他传感器数据）。如何将这些数据资源充分利用，使数据能够更好地服务于公安的情报分析、公共交通、舆情分析等业务工作，并更好的驱动业务创新，特别是成为应急、维稳、侦查破案的核心竞争力，成为行业步入大数据时代公安实战信息化的首要目标。

^{大数据带来的变革}

　　首先，犯罪环境正变得日益复杂，由案件本身获取到的数据，越来越难以支撑起严密的逻辑推论。办案人员不得不去想方设法获取更多“场外”数据以补充证据链条。原本依靠于人脑记忆和档案搜索的状态，每一个线索的提取都需要依靠记忆提取，对于无法直接确认的线索信息又需要翻查相应的档案，不仅容易出错，而且效率极低。大数据的汇聚已是必然。

　　其次，随着社会形势的发展变化,传统“从案到人”侦查模式明显被动滞后。“由人到案”一直都是“大情报”建设的重大课题，也是难题。实践证明，“由人到案”是迫切需求，而大数据的技术也使得这种新模式成为可能。

^{大数据与应急}

　　大数据在进入人们视野之初，便是一个一个神奇的案例，沃尔玛超市“啤酒与尿不湿”的故事、天猫商城“双11”对于销量额的精准预测、京东商城通过数据预测销售，提早通过物流运送到附近仓库、美国大数据公司Palantir凭借其大数据分析系统，在抓捕本拉登的行动中，通过数据分析得出本拉登的藏匿点线索信息。

　　大数据的背后，蕴藏着一套“规则”，也许由于数据深度与数据广度超出人类的认知能力，我们并无法推论为什么，但结果就放在那里不由分说。因此，借助大数据，既可以预测某一区域乃至全国的某种类型的犯罪趋势，也可以预测某一时间某一具体地点某种类型的犯罪，还可以预测某一个体的犯罪概率。根据预测，我们可以制订计划，优化警力配置，提升行动效率。

^{大数据之与社会维稳}

　　互联网成为人们日常交流、表达思想和宣泄情绪的重要平台，也是相关内容安全保障的重要平台。网络舆论已成为社会舆论的重要组成部分，越来越多地引起全社会的高度重视。

　　搜索引擎、微博、微信、论坛、贴吧等互联网舆论集中的区域，搜集这些数据便获取到了以往无法掌握的社会舆论动向，热度舆论、以及舆论领袖。一些**件、突发事件和热点、敏感问题在网上被恶意炒作，如“表哥”事件、渭河污染事件等与环境相关的舆论形成强大的网上舆论气候，各种负面信息通过互联网的各种服务方式快速、广泛传播，严重影响社会稳定和政府单位形象。互联网不仅是现实社会的虚拟映像，还是现实问题的聚焦镜和放大器。

　　通过舆情机制，一方面可以加强互联网信息监管，另一方面，对于及时应对网络突发的公共事件和全面掌握社情民意，并对于及时发现社会蕴藏的潜在不稳定因素，提早预防起着重要作用。问题和挑战

　　新形势下的公安工作离不开大数据的支撑，公安基础信息化更是大数据的挖掘和深度应用。然而，越来越多的公安科技部门发现，基于新的大数据形态，技术瓶颈逐步显现。一方面，这些海量数据需要强大的存储和计算平台来进行实时处理；另一方面，当前数据呈现出数据量大、数据种类多、数据增长快的特点，该如何通过大数据挖掘分析改进公共安全管理能力,提高政府决策服务能力，为人民生活提供有价值的信息服务。如何在数据资源整合的基础上建立数据共享应用机制，利用全警及社会面资源，形成信息化研判平台支撑公安实战工作引领大数据时代的公安信息化管理发展，服务于人民群众生活和国家经济社会建设显得尤为重要。

^数据处理

　　在信息化社会中，信息可划分为两大类，其中能够用数字或统一的结构加以表示的为结构化数据，如数字，符号；而另一类信息无法用统一结构表示的则为非结构化数据；在数据的应用过程中，最常见到，也是使用最方便的当然就是结构化数据了，结构化数据可以更好的做数据统一和检索查询从而更好的进行数据碰撞和挖掘分析等操作。相对的非结构化数据在检索和应用上就困难很多。

　　在公安信息化建设和平安/智慧城市建设中各类结构化、非结构化数据，掺杂其中（如系统数据库数据、日志数据、监控视频数据、卡口图片数据、测量、图表等数据）。现有的公安系统在数据应用中往往只能将结构化数据做简单应用，虽在借助标准的开源大数据技术后，基本可实现绝大部分对于大数据的应用需求。然而，多数非结构化数据则并没有发挥该有的作用。

　　另外，公安大数据是由众多不同用途，不同结构的系统数据汇聚而来的。在数据的汇集管理工作中，如何高效稳定的转换数据，并且建立可视化的数据集成系统，实现对数据整合过程的轻松管理，定将是大数据应用最为重要的基础。

^数据统一

　　受到信息化建设阶段性特点制约，以前制定的标准大多是从单一业务出发，解决局部问题，这样就造成了数据缺少统一规范，数据关联性不够，相互孤立。比如，现场勘查信息与案件信息不关联、案件信息与图片信息不关联、案件信息与被盗抢车辆信息不关联。无法实现案件、人员、现场勘查、痕迹、物品等信息关联查询。

　　公安数据虽然庞大，但却分散在不同的部门手中，各组织机构间缺少数据的有效管理和打通，造成数据不能有效利用。虽然目前随着政策和观念的放开，情况有所改善，但缺少统一的系统，信息难以共享，“信息孤岛”仍然存在。公安要谈大数据实战，需要在机制和技术上打通壁垒，统一资源，只有将数据结构、数据字段（包含数据库字段、结构化后的描述字段等）、用户等资源做好统一，才能真正形成大数据资源，为以后的数据挖掘、研判分析做出更有效的数据支撑。

^数据分析

　　目前公安信息化数据库中汇集有大量的信息数据，但由于以往的数据价值的忽视和处理手段的欠缺导致数据应用简单，仅仅是对数据的单方面进行解读应用，没有对数据进行多种数据源、多途径以及多维度的串并分析，无法发挥出数据的潜在价值。

　　在公安众多应用场景中，往往需要对反馈时间有很强大要求（比如首次入城分析、实时热力分布情况等），这些应用场景如果超出要求时间，不仅无法提供帮助，反而有可能造成误导。这就要求对于上亿条记录的检索、上千张表的碰撞、几百个小时的视频分析、以及大量的移动互联网和社交媒体数据处理等应用，无不对大数据系统的数据分析能力提出更高的要求。所以，不盲目的采用热门技术，通过针对不同场景，采用不同的数据分析模型和算法，才能更好的解决实战面临的数据分析要求。

^数据展现

　　图像是视觉媒体中一种非常重要的表现形式。在人类能够直接感知的众多媒体信息中，视觉媒体是人类最丰富的信息来源。统计表明，人类在感知外界信息的过程中，视觉获取的信息高达65%。数据信息是一种具有深层次内涵、更易被理解吸收的跨越语种障碍的语言。

　　在公安的应用场景中，需要在城市数千万人中发现异常，挖掘关系，呈现规律。要在处理海量的数据时，原本的文字和数字无法呈现的规律，通过图形的方式展现的方式明显比其它展现方式更直接，更清晰。所以更加美观、简洁、清晰的数据展现方式往往比更大量的数据堆叠要有意义。

^数据安全

　　公安系统中很多数据关系着国家安全和人民生命财产安全，大数据系统作为整合分析者，汇聚有更大体量的敏感数据，所以信息泄露带来的问题将会是十分严重的。因此，大数据在管理上要求要更加严格，从单点登录、PKI认证、数据水印、日志审计等，不论是从底层技术层面、上层认证方式、还是安全管理机制，都要有相对应的提升，才能保证数据安全。

^{大数据公安业务应用现状和思路}

　　可以看出大数据在公共安全方面的潜力巨大，同时问题也同样严峻。依靠互联网、通讯行业这些数据大户的“委培”，大数据已经日益成熟。它能承载数以千亿计的数据量，快速反馈分析结果。能挖掘PB计的数据，发现潜在的规则。我们有HADOOP、SPARK、机器学习等的巨人为基础，但还必须站在它的肩膀上远眺。

　　公安有自己的实际情况，它没有互联网数据如此的数据量，也没有金融、电商行业如此大的峰值吞吐量，但却有极为复杂的数据维度、数据源和业务应用场景。所以，公安对于大数据应用的需求，并不是要建设一套世界最快的平台，而是根据数据类型选择最合适的处理工具，根据用户业务应用选择最实用的分析和展示帮助研判人员理清思路，挖掘重点。所以公安大数据具有其特殊性，理应应该是一个“混搭”型模式，不应是从标准的开源社区拿来一套标准架构就可以直接套用的。无论是从数据源的结构化、数据统一化，到核心的大数据运算模型，存储结构。还是应用层面的数据挖掘、碰撞模型建立、数据展示、数据安审机制。每一个环节都需要从公安的核心业务出发，只有这样的大数据系统才是公安需要的，能真正帮助公安业务发展的。

　　正是秉持这一思路，企业一方面投入大量人力深度研究公安业务员和大数据技术，力求公安用户对于大数据应用的急迫需求，充分结合公安数据特性，从工具的选择，开源架构的优化，应用的分析模型为核心秉承“最合适的才是最好的”原则，为公安用户的大数据应用量身定做。另一方面，基于自身对于公安业务的充分理解，国家政策的支持和对市场需求的前瞻，推出公安大数据平台。