2019年10月26日，由中国卫星应用产业联盟、湖南省北斗卫星导航应用协会、广东省北斗移动物联网产业研究联合主办，宏地科技、有为信息协办的2019道路运输主动安全万里行·商用车金融专场在长沙圆满落幕。杭州海康威视数字技术股份有限公司湖南业务中心产品经理张广，发表了《AI+视频在道路运输行业的应用与实践》的主旨演讲，本文为演讲速记整理，未经演讲者本人审核。
编者按：2020年数字交通万里行第一站将于7月26日在宁波启动，此后将在济宁、成都、海口等地举行，欢迎关注、参与。
杭州海康威视数字技术股份有限公司湖南业务中心产品经理 张广
张广：很荣幸有这样的机会分享海康威视在道路交通领域的技术和方案。
海康威视简介 海康威视成立于2001年，2010年上市，2018年营业收入达到498亿元。海康威视是一家以视频为核心的智能物联网解决方案和大数据服务提供商。主营业务包括：大数据服务、行业智慧应用解决方案、综合安防解决方案以及安防全系列产品。 新业务包括：智慧存储、海康微影、慧影科技等其他拓展业务。海康智慧存储专注于做存储芯片，比如SD卡，TF卡以及硬盘等。海康微影跟慧影主要从事热成像研究。新业务中的汽车电子业务，包括车用电子产品及软件，智能车载信息系统。在汽车电子板块，海康成立了专注于智能辅助驾驶业务的独立子公司，前端市场上的很多产品都是由这家公司提供，海康跟奥迪、保时捷在后装市场的合作，也是由这家公司来完成。新业务中的机器人业务有无人机、机器视觉组件、工厂自动化产线配套设备、机器视觉与物联网数据管理……无人机，应用于公共安全领域的无人视频勘察；机器视觉的组件部分以及工厂自动化产线配套设备主要是工业领域的工业化相机，海康跟蓝思科技、三一重工、中联等企业都开展了合作；在机器视觉应用于物流管理方面，海康也有自己的产品，比如说为中通、申通、京东等物流，打造物流仓储的配送系统以及自动分拣机器人、泊车机器人等。 AI+视频融合应用 AI是什么？AI的研究目的是探寻智能本质，研制出具有类人智能的智能机器，帮助人类解决日常的工作，提升效率。AI的研究内容包括“会看”，“会听”，“会说”，“会行动”，“会思考”，以及“会学习”。在“会看”领域，海康更加的擅长。在“会听”、“会说”领域，海康目前正在整合一些产品。通过AI赋能，能做什么？比如说，对海量数据进行存储需要超大容量的存储空间，需要极大的成本。通过AI赋能到海量的视频中，主动识别视频当中的人、物、事件，把我们关注的目标主动提取出来，形成结构化的、可描述的数据，实现所见即所得。 通过AI赋能视频，能够在交通运输实现什么？可以提升对于人、车、路、货、环境、场站等交通运输关键节点的感知能力。 1、人员监测 人员密度检测。在交通客运枢纽里，提升人流密度的检测能力，有助于引导交通枢纽的人流，维持交通枢纽的秩序。在公共交通工具中对客流进行统计，方便公交智能调度，实现保障运力以及高效运输。通过数据综合的研判和分析，可以统计出车辆或者列车每天的运载量，每一条线路的运载量，每辆车每天的载客量。 人员特征检测。对视频当中的人做一个完整的属性提取。比如人员倒地事件，如果发生在客运枢纽，可以直接对工作人员进行提醒。将设备部署到公交以及出租站点，就能统计出客运站的人员分流情况，比如说80%的人员采用公交出行，另外20%采用出租车出行。在大型交通枢纽里，能够判定哪些人员是乘坐飞机、轨道还是其他的出行方式。 人脸检测。在交通枢纽里，针对人脸进行提取跟识别，方便快速地去提取人群当中需要重点关注的人群。对视频进行分析，保证提取信息的有效性，可以对惯偷、惯犯以及黄牛党的行为进行判定。在公共交通运输中通过车载设备进行人脸识别。通过场站以及运输车辆上的人脸识别来完成人流导向，准确地判断出一个人是从场站到了出租车还是到公交车，辅助对人员出行的精细化管控。 人脸特征状态检测。用于分析人员的状态是否疲劳，微笑服务等，是情绪检测的主要途径。通过视频技术进行眼球的跟踪、分析眨眼的频率，进而判定是否要发出疲劳预警，必要时干预驾驶。除了分析疲劳之外还可以分析是否打电话、是否抽烟，对驾驶员的行为进行监管，这项功能适用于公交车、两客一危、校车等车辆。 2、车辆检测 车辆记录检测。通过专业的卡口等抓拍设备，对车辆的车牌、车身颜色、车辆品牌、车辆类型等信息进行识别，进而高效地在运管行业进行特殊化的运用。比如说脱离动态监管的车辆，我们可以通过卡口做辅助取证。 行驶行为检测。最简单的检测包括违法鸣笛检测和远光灯检测。非法鸣笛，比如在一些重点医院、学校周边附近鸣笛，滥用远光灯对道路运输产生的危害极大，甚至会导致交通事故的发生。驾驶行为的检测内容非常多，但当前关注的人较少，驾驶行为习惯检测、归档、统计、分析是无人驾驶的基础，是智能道路基础建设规划的依据，是道路养护的辅助数据和分析依据。 违法违规检测。在交管领域，针对车辆闯红灯、不礼让行人以及超载等行为进行检测。在运输领域，针对渣土车以及非法营运车辆进行稽查，检测营运车辆是否按规定上传GPS信号，对非编司机的检测，通过卡口，识别车辆以及司机人脸，跟在编人员信息库进行核对，准确识别出租车的从业人员是否为在编人员。 高级辅助驾驶。包括前车碰撞、车道偏离、BSD盲区监测、视频+全向雷达监测等检测能力。前车碰撞预警，当车辆以一定的速度行驶，过快地接近前方慢行或停止的车辆，或过近地跟随前方车辆时，系统经检测对驾驶员发出警告提示，避免或减轻前向碰撞造成的伤害。车道偏离预警，通过车辆距标线的偏移角度和测速功能，运用深度学习车道线检测算法和拟合算法识别车辆行驶的道路线方位，在必要时开启预警。BSD盲区监测预警，针对两客一危车辆事故率最高的右侧盲区设定盲区范围（长12m、宽2.5m），运用物体识别算法和深度学习算法，识别区域的行人、机动车和非机动车，进行预警。超声波雷达，安装于车身四周，支持车体近距离障碍物检测，并将距离信息传给360全景环视设备进行可视化展示，必要时接入蜂鸣器进行声音警告。 机器人应用。主要介绍用于仓储的运输机器人，针对货物的搬运，在固定区域里实现自动化驾驶。海康目前在长沙湘江新区有一个项目是车辆的智能化驾驶，类似于在固定场所里的智能搬运机器人，目前海康在申通、京东等优秀的快递企业，运用了运输机器人。 3、货物检测 货物感知，海康在传统的X光机等扫描安检产品外加入了智能设备，通过AI赋能到安检设备，主动识别违规物品以及违规携带物品。传统的做法是通过人工判断违禁的刀、枪以及易燃易爆物品等违禁物品。现在我们可以通过设备来主动分析是否为违禁物品，自动产生预警，解放人力。 4、道路检测 道路检测，海康增加了对道路环境的感知。比如在运输车辆体型过大，对于司机有不少视角盲区，或者在阴雨天气、夜间、浓雾等情况下，视野可能缩短，海康通过雷达+视频的方式形成全天24小时的主动探测，将形成的数据发送到车辆，提前预警进行避让，避免交通事故的发生。 道路事件检测，对道路的利用率、车流量以及排队长度进行检测。将路网数据对接到云端之后，通过平台将检测到的信息，提前发送到驾驶员或者智能驾驶车载设备，有效的避免拥堵或者事故发生。道路事件检测能力包括了道路标识标牌识别、红绿灯识别、前车启动识别以及行人识别等功能。 5、场站检测 通过视频将场站情况进行全局掌握，加强对场站的自动化智能巡检。配合上文提到的场站人流检测，提升对场站的感知能力。 综上，海康增强了对人、车、道路、货物、场站的感知能力，通过多维的数据感知，进一步丰富系统功能，进而辅助车辆高效、安全通行。 AI能力开放平台 海康打造的AI能力开放平台。把AI的能力放到互联网上，形成可以购买的服务，AI开放带来的好处是研发周期变得更短，门槛变得更低，让AI进入到每一个行业。 每一个企业，每一个人，每一个单位，都可能有AI的应用需求。比如养殖户要搞清楚养了多少头猪牛羊，每天归笼的数量是否有变化，都可以通过视频分析。比如把采集到的500头猪的照片全部上传到海康的AI开放平台，然后通过人工标定这500张图片是“猪”，平台自动化进行模型训练，输出模型，形成一个能识别出“猪”的算法，把算法放到任何能够适配的设备，设备就具备了识别“猪”的能力。 1、AI+视频融合实践之闭环的车辆安全监管 海康的车辆安全监管应用分成三个部分，包括事前预防，事中管控，以及事后取证跟分析。 开车前，人脸考勤，确保人证一致；主动安全，事前预警，化被动为主动；多重预警机制保障，分级分类重点干预；多重预防策略，实现智能研判防御。 行驶中，对车距过近、车道偏离、前车碰撞、行人碰撞等进行预警。盲区检测，当目标车辆、行人、非机动车闯入到视线盲区就会产生报警，同时自动将司机中控屏幕内容切换为右侧视频探头内容。在行驶中，还可以进行驾驶员行为监测，包括疲劳驾驶报警，不目视前方报警，离岗报警，脱离方向盘报警，未系安全带报警，抽烟报警，摄像头遮挡报警以及红外阻断墨镜报警等。新增加的功能，包括换人报警和超时报警。换人报警，通过人脸识别，改变了原来通过刷卡、刷指纹对司机进行考勤的方案，行驶途中如果更换司机就会产生报警。超时报警，一旦司机行驶时间超过规定就会报警。在行驶中，我们还有一个360度环视功能，保证司机能够获取更多的视角。 事后取证分析。针对已获得的数据进行统计、分析、存储，完成监管部门对企业整体概况的查验，同时保证企业对司机安全状况的掌握。企业可对司机进行专项教育，设定针对企业、司机个人的权重、阀值。如何进行专项教育？根据不同的违规驾驶行为进行针对性的培训，培训后再通过跟踪对司机的违规趋势进行分析。比如说全省一共3000台车，一台车平均每个月的预警值是300次，我们将阀值设置成300次，超过300次以上的司机，就要进行分类专项培训。 2、AI+视频融合实践之出租车监控 对出租车的监管，首先要完成司机身份认证一致的核验，确保线上线下服务人员一致，杜绝违法运营。车内人员检测，通过检测司机及乘客人脸及数量，开启载客不打表、乘客黑名单布控等应用。针对不打表行为通过平台进行语音报警。对乘客的人脸进行捕获识别，跟公安机关的黑名单人员进行比对，辅助公安机关完成重点人员的管控。此外，我们对所有的行驶记录仪增加了一项功能，就是针对前车的车牌识别，增加违法车辆的捕获途径，不再依靠单纯的传统抓拍，而是通过所有在运营的车辆来完成捕获。 我的汇报到这里，感谢各位领导，感谢！
