4月8日,由工业与信息化部、深圳市人民政府主办,中国交通通信信息中心、车载信息服务产业联盟、中国卫星应用产业联盟协办,中国电子器材有限公司承办,深圳市智慧交通产业促进会、海王文化执行的2019中国道路运输信息化暨汽车主动安全高峰论坛在深圳会展中心成功召开。深圳奥比中光科技有限公司高级战略BD总监彭勋禄,发表了《眼观安全之路,智察驾驶之心——3D视觉重塑汽车行驶安全》的主旨演讲,本文为演讲速记整理,未经演讲者本人审核。
深圳奥比中光科技有限公司高级战略BD总监 彭勋禄
彭勋禄:非常感谢主办方的邀请,很荣幸今天能够和大家分享奥比中光在汽车安全3D视觉上的应用场景和思考。
交通事故背后的社会影响
中国的道路交通安全形势非常严峻,统计数据表明,中国每年交通事故死亡人数超10万人,居世界第一!每年因交通事故所造成的经济损失达数百亿元!其中营运车辆在全世界车辆的总数占比约为8%,而事故占比约为18%,事故中死亡人数占比达28%以上,营运车辆造成的事故伤害包括对社会的影响非常之大。在交通事故诱因分析中,美国交通部发布的一组数据表示:94%的交通事故是由人为因素引发,包括司机的疲劳驾驶、打电话等违规驾驶行为。
研究数据表明,在交通事故发生之前,如能在0.5~2.7秒之间实现有效预警,可避免85%以上的事故。对驾驶行为进行有效的预警和管控是降低交通事故最核心的因素。
车辆安全技术发展了很多年,前期主要是被动安全技术,包括很多硬件,像安全带、安全气囊、防撞梁等等。车辆主动安全也就是ADAS,主要是提供近距离的检测保护。新一代的主动安全,关注的是人,对汽车驾驶员的行为检测、身份的核验和车内安防监测等,进行实时监控和预警。随着5G和物联网的落地,为未来车车互联、路车互联提供了可能。
被动安全技术经过多年的发展到达了技术的瓶颈,其未来是往主动安全靠拢。从车辆被动安全、近距离主动安全,发展到司机驾驶安全监管,从根本上保证行车安全。主动安全从关注车防到现在人防,就是DSM。未来包括人、车、路协同的智能交通关系可以为车辆的安全,提供广泛的技术支撑和服务保证。主动安全技术拥有良好的政策环境,在交通部的相关政策里,汽车主动安全技术被多次提及。
3D与2D视觉的区别
绝大部分图像、视频的摄像头基本上都是2D摄像头,不管是单目还是双目摄像头,都没有办法识别到物理世界中的三维信息,比如物理尺寸、体积、距离等几何数据。3D摄像头立体成像,能够识别视野内空间每个点位的三维座标信息,计算机得到空间的3D数据就能够复原完整的三维图像。
这是一张3D人脸图像。3D人脸图像在DSM能做什么呢?2D测距需要获取特征,且特征提取受图片质量影响。3D深度图片包含深度信息,只需要简单的数据处理就可以直观获取距离信息。
左边的2D图片在光线不足的情况下,无法成像,无法判别人物行为;右边的3D图片是左图同时间的深度图片,不受光线影响,现在3D结构光是90纳米,在普通光线环境下也可以成像。
3D结构光图像可以准确地将手从画面中分割出来。在2D视觉中,只能将目标的轮廓进行分割;在3D视觉中,可以将目标的区域块进行分割,实现天然的物体-背景解耦,即常说的背景分割、背景分离。
结合3D结构光技术,可以有效防范照片、视频、面具等平面攻击,再结合红外IR图对表面材质进行检测,基本可以防止大部分材质的面具、头套的阻挡。现在,很多刷脸支付的摄像头大部分是用奥比中光的3D摄像头,因为我们的摄像头可以做动态检测。
3D视觉对算法的提升,有几个重要的对比项,首先是打电话行为定位的准确率,2D只能做到80%,3D能做到98%。抽烟行为定位准确率2D做到90%,3D做到98%。头部姿态算法2D是85%,3D是99%。
奥比中光客户对3D视觉需求
现在奥比中光获取了很多客户需求,比如国内某网约车产品部门,他们希望v1.0实现3D人脸识别包括活体检测。司机在开车之前需要做身份验证,现在很多人拿手机做身份证验证,用一张照片或者一个视频来欺骗摄像头,所以需要用3D检测去进行活体检测,包括做行驶过程中的身份验证。v2.0需要做乘客的人脸识别,给乘客做用户画像,识别乘客的性别、年轻、情绪以及人数统计等等。v3.0需要做司乘人员的行为分析和安全预警。
奥比中光跟合作伙伴在某一个车型的B柱上面做了一个人脸识别的系统,可以在2秒钟内完成身份识别,这套系统还包括驾驶人员身份注册、认证、查询功能,支持识别结果语音提示及上报等功能。
奥比中光跟腾视达成战略合作,腾视是奥比中光进入车载行业的第一个合作伙伴。上图的模组是行业里的第一款3D DSM摄像头,硬件由奥比中光提供,算法软件由腾视开发,包括疲劳驾驶和分心驾驶。除了汽车以外,未来可能在高铁、地铁等轨道交通行业都会用到奥比中光的摄像头。
车内危险行为分析
2018年,公交车和网约车发生了一些安全事件,都是因为乘客的不法行为干扰到司机的安全驾驶。现在也有人希望用3D摄像头识别车内异常行为。奥比中光在安防领域也有应用案例,比如倒地、打架斗殴等异常行为,都可以通过3D摄像头分析判断出来,进行提前的预警和判断。
这是手势识别,3D摄像头能够识别到手势的姿态,比如敲击、拍打、挥动或者握拳等手势。
奥比中光的营运车辆客流统计系统实现采集深度图像,可处理徘徊、滞留、行李等复杂公交情景,并且能统计双向客流人数等等功能。深圳西部公交集团有三千台公交车都安装了奥比中光的3D识别技术,识别率能达到80%以上。
奥比中光一直在持续推动3D传感技术对汽车安全的深度赋能。技术创新层面,奥比中光以3D传感技术为依托,加速对汽车安全领域的了解认知,不断提升3D视觉技术与行业应用场景的深度结合。产品落地上,奥比中光将与汽车安全领域上下游商业伙伴加强合作,推进3D视觉产品与方案的快速商用落地。
奥比中光简介
奥比中光在2013年成立,成立时间不长,但是发展速度很快,现在公司规模超过七百人,70%是研发人员,是一个典型的技术公司。奥比中光是全球能绕开苹果和因特尔专利封锁的公司,也是全球第四家能够量产消费级3D传感器的公司。奥比中光在去年完成D轮融资,由蚂蚁金服领投,估值一百亿,在3D视觉领域是超级独角兽,业务方向有二十多个行业,全球出货量是两百万台,全球客户是三千家以上。
奥比中光3D视觉应用领域,非常广阔,包括支付、扫描、安全、交互四个板块。
奥比中光客户集中在行业领袖企业和头部客户。
奥比星火生态圈是奥比中光从去年开始一直在打造的,内圈是主要行业,外圈是行业具体应用场景,我们希望在汽车电子领域能够合作伙伴一起推动3D视觉产品方案应用落地,实现价值共赢。