7月28日,筹备近4个月的2016中国城市智能交通管理暨科技创新论坛在彩云之南、滇池之畔的春城昆明成功召开。此次论坛吸引了来自全国40余个交警单位的100多位应用单位代表以及全国各地智能交通行业260余人与会。本文系上海英照科技有限公司刘曾霞及其合作伙伴昆腾国际柯景文在2016中国城市智能交通管理暨科技创新论坛上的主题发言，主题是《海量视频监控数据分级存储解决方案》，文章为速记稿，未经演讲者审定。
刘曾霞：各位专家、各位领导，我是上海英照科技有限公司的刘曾霞，那边是我的合作伙伴柯总。
英照科技专注于高清视频技术产品的推广和应用，在去年上海的论坛上，曾经介绍了英照科技的180度高清全景摄像机在城市交通高点监控的应用。一年来，英照科技合作伙伴北京先导视觉科技公司在全景摄像机的开发和生产上又有了新的进展，去年下半年已经推出了25帧全实时180度高清全景摄像机。这个录像是英照科技在实际项目中的应用，一台相机能够覆盖的长度最高达三公里。因此，每秒25帧对于交警应用的流畅度有一个很大的改善。目前这款25帧全实时180度全景摄像机在河北高速公路、广东、北京故宫都已经安装使用，希望后续能够给大家带来更多的便利。
随着交通领域里视频前端设备的安装容量越来越大，性能、分辨力的提升带来了视频存储容量的一个极大增长。刚才两位嘉宾都讲到了前端视频容量增长的数量相当大，由此带来的问题，一个是磁盘损害极大；另外就是机房空间在扩容的时候已经显示出极大的不足；同时，机房的电力消耗也逐渐增大。现在大家都在讨论大数据，大数据时代，关键是要把数据妥善的保存下来。下面有请我的合作伙伴昆腾公司的柯景文先生向大家介绍一下在大数据时代下，分级存储的解决方案。
柯先生：谢谢刘总，大家早上好！今天很荣幸有机会跟大家做汇报。
昆腾是一家IT公司，在国内已经做过相当多成熟的案例。昆腾最核心的技术是专门针对大量非结构化数据的档案系统，这个档案系统能够同时连接不同作业系统的客户端，允许多个客户端同时在上面编辑大量图像和文件。公司的国内行业客户包括电视台、影视制作单位，中石油、中石化、中海油，环境卫星、气象、国土资源等。国外客户包括各大电视台、电影公司，例如好莱坞、迪士尼，出现4K、8K甚至是VR等大量图像数据的时候，很多现有的解决方案不能够让很多人同时编辑。但是昆腾的档案系统则可以做到，甚至昆腾还能够允许多个不同平台多个不同的主体介入。
一、监控视频的数据增长超乎预期
此次演讲的主题是智能交通，昆腾科技做的就是海量数据存储解决方案，国内类似的企业还包括海康、大华，目前视频监控存储的急速增长来自于前端摄像机的性能提升，录像保存时间的增加，视频分析技术愈发成熟。大家可以看到下面这个表格，监控视频的数据增长幅度非常明显。
二、视频监控存储面临的挑战
下面来谈谈视频监控存储面临的挑战，第一，大量的视频监控数据从未被查看，它们只是被记录、被保存，如果没有发生重大事件的话，很少人会去把这个视频再调阅出来查看；第二，视频录像大量增长，现有系统架构如何能支持扩展；第三，管理,预算与任务怎么平衡。
这张图是关于数据保存的生命周期，越新的数据价值越高，例如通过传感器侦测到路面上有一台疑似黑车，如果第一时间可以和最新的数据库比较确定，则可以快速派警察拦截，但是如数据是过时的或者更短一点的时间，则数据的价值就没那么高了。充分利用新的数据，同时用一种经济不花钱的方式来存储旧数据，这就是所谓的主存储、二级存储，甚至三级存储。
刚刚讲到主存储、二级存储、三级存储，在这里面根据数据的重要性、访问频率、保留时间、容量、性能等指标将数据采取不同的存储方式个分别存储在不同性能的存储设备上，把不经常访问的数据移到存储层次中较低的层次，高成本的存储空间留给更频繁访问的数据，获得更好的性价比。在传统存储里面，可以把它分为在线跟离线，而在分级存储系统里则可以分为在线、近线和离线。大家可以看到这个智能云存储部分左边的是热数据即经常取用的数据，它会自动的把这些热数据放在速度最快的磁盘里，一些不经常使用的数据会放在中性能的磁盘。如果仅仅是出于保存录像的需要，则把它自动的归档到比较次级的存储设备上。
很多厂家都谈到公司的自动分层技术，每5秒钟执行一次迁移，而不像其他公司的24小时执行一次，这就会造存储设备性能差异很大，所以昆腾的优势在于能够做到几乎是实时的自动分层。
三、新一代的分级存储系统架构
在监控的架构里面，有固定摄像机、随身摄像机、车载摄像机。将来随身摄像机的应用会非常广，包括像现在有执法记录仪和警车上的一些摄像设备，以后可能还会有VR的应用。如果把固定相机比喻成室内固定电话，随身相机就是移动手机。经过DVR、MVR、视频管理平台把它记录下来，如果超过30天之后，它已经不需要放在主磁盘上，就可以把它挪到磁带库或是可以把它挪到相对比较便宜的存储设备上。
在分级存储架构里面主要强调三点，第一个就是存储设备高性能，当使用这些设备的时候，用户当然希望得到高性能的体验。数据的自动分层则可以做到用最少的钱获得最佳的性能。第二个就是低成本大容量。第三个是易访问，可以把一些不常访问的数据搬移到其它库里面，而当需要寻找数据时，可以不考虑这个档案到底是放在哪一个存储设备上，而是很直接地在电脑里打开档案，花一两分钟的时间就可把数据取出来。
大型视频监控存储系统(磁盘阵列)最常发生的问题主要包括，超过一定年限后,磁盘出现大面积故障。因为就硬盘来说，它的平均故障率是千分之三，但是当它使用超过三年或四年之后，它的故障率达到了30%左右。修复数据时,整个磁盘阵列的I/O性能大幅下降，导致更多视频数据丢失。全面更新磁盘后，旧有数据的保存,调阅，迁移都发生问题。几个PB的盘阵，维护的成本高，电费高，环境的要求也高。这是目前几个比较大型项目的客户反馈的问题。
磁带相对于磁盘阵列保存数据的优势：一是用电量大幅降低，后面接一个大的磁带柜，它就相当于是一个大型的nas或是sas，二是高密度，可以腾出2-4倍的空间来，三是价格适合大容量长时间保存，四是保存期限可以达到20年以上。
最后分享两个比较简单的案例，一个是公司在齐齐哈尔公安局做的一个项目，该公安局的卡口监控系统的录像保存时间是一个月，但在实际应用中发现如果能够调用三个月甚至是六个月以前的数据能够大幅节省办案成本，为了解决这个问题，昆腾给齐齐哈尔公安局建立了一个磁带库，这个磁带库里放了133卷磁带，每次大概录330个TB。这就意味着该公安局实现了以较少的花费实现了较好的录像保存效果。
第二个案例是在加拿大卡尔加里警察局的一个项目，这个警局目前大概有1500个摄像头，出勤时警车及随身佩戴的摄像头拍摄的办案视频最长保留1年，7年，20年不等，需要大容量可扩展的绿色节能存储，所以公司提供给该警局的解决方案是建立一个240TB视频存储磁盘阵列与视频归档物理磁带库750TBOnlineTape。
最后跟大家谈谈工作流存储，它是sas盘和nas盘的一个组合，高性能多层存储解决方案，可以用于推动业务部门创新、生产率和效率。目前在国内做云服务比较好的有阿里、腾讯，昆腾也是其中一个，甚至亚马逊云的很多设备也是昆腾提供的。
今天的报告就到这里，谢谢大家！
