![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494688129378222.jpg)
中科慧眼副总经理、联合创始人孟然
“2017智能网联汽车暨汽车半导体高峰论坛”于12月15日在上海王宝和大酒店举办,中科慧眼副总经理、联合创始人孟然在会上发表了题为 ”自动驾驶的双目视觉感知设备的产品化之路“的演讲,以下为演讲内容。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494688260078708.jpg)
孟然:大家都知道做自动驾驶实际上有三大领域,包括感知、融合与决策、执行和控制,我们只是做其中一小部分。在感知里面又分为各种各样的传感器,包括激光、视觉、红外、超声波、GPS、惯导、毫米波。视觉里又分为前向视觉、侧向视觉、单目视觉、双目视觉、360环视、行车记录、疲劳检测等等。我们的公司只是做其中一点点,就是这里面的双目视觉算法和双目视觉产品。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494688834260912.jpg)
好多人会问毫米波、激光、超声波、单目视觉、双目视觉到底哪个会有前途,进行各种各样的对比,去问哪个公司做的好,哪个公司更有生命力。实际上所有传感器之间不具备可比性,为什么这么说?因为一个传感器做的好或者不好,本身是由这个传感器所应用的电磁波的物理性质决定的。比如我们用视觉做一个传感器,哪怕做到极致,视觉里面的弱点还是逃避不了的。激光也是如此、毫米波也是如此。我们将可见光称为视觉,不管单目视觉还是双目视觉都有同样的性质,在黑夜、低光、大雨、大雾情况下图像会降质,这与人眼是一样的。
有人问双目视觉在什么情况下会失效?实际上在两种情况下会失效。第一种是光的能量或者照度特别低的时候它会失效,就像人眼在黑夜看不到东西是一样的。与人眼类似(锥体细胞,杆体细胞),相机里面也是亮度、黄蓝、红绿(或者RGB)三个信道,所以它在低光的情况下同样会失效。
第二个我们叫同构,就是周期性出现的图案,比如说一片白茫茫的雪地,左右眼在匹配的时候就会出现失准。我们人眼观察物体的时候也会有一个感觉,凡是观察周期性的花纹的时候会眼花,因为左边的图案配到右边的图案配不准。所以我们希望更自然的场景,比如现在的会场,我左眼和右眼感受到的图像没有周期性的,左眼图案可以在右眼图案中找到唯一的匹配,从而得到视差。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494690439615524.jpg)
双目视觉就是通过左右眼的视觉差异去判断距离。同一个场景,在右眼和左眼成像是一致的,只是在X方向存在一个视觉差异,这个视差会有对应关系,视差越大,这个物体离我越近,视差越小,这个物体离我越远,视差为零,这个物体离我无限远。双目与单目的区别,唯一的区别就是在于测距。双目是通过视差去测算隔离,单目是通过识别,通过大小的变化去估算距离。这是它们的差异。为什么要选择双目这个方向,实际上从2016年开始,在众多高端车型的配置中已经开始从原有的单目转成了双目,包括雷克萨斯、奔驰、宝马、路虎、捷豹等一些车型。现在我们在4S店看到的前向视觉传感器都是双目的。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494690531611244.jpg)
单目是基于识别,既然是识别一定会有一个很庞大的样本库,当然我们所说的深度学习分类器只是一种分类器,分类器会决定分类的质量。以前有线性、非线性的,现在有深度学习。分类器越好,分类精度越高,准确率就越高。分类一定要针对标准物体,比如说汽车、摩托车、人。什么叫非标准物体?比如说一把椅子、一把桌子、一个柱子、一堵墙、一只猫、一只狗。非标准物体是指样本太多,无法统计的物体,而无法统计的东西就无法识别。
双目视觉是不依赖于视觉识别的,是通过视差测算距离。当然双目测算出了距离,但并不知道物体是什么,它只知道前面有个障碍物,出现在几米范围之内。它不依赖于样本库,不依赖于识别、分类器,是针对一切所有目标的测距,并不进行任何识别。
当然我们可以用双目系统的单个摄像头进行识别,但是从芯片效率上来讲,目前还达不到这种水平。单目实际上与双目并不矛盾,单目是双目的一部分,双目等于单目加立体感知。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494690973356722.jpg)
将百度Apollo大脑植入中科慧眼双目系统,用于双目相机中单目图像的识别,这是我们跟百度正在联合做的事情。对于相机如果传感器不变,那么视角越大测算距离就越近,视角越窄测算距离越远。所以并不是测算距离越远越好,当然也不是越近越好,相匹配的光学系统就是最好的。望远镜是减少视角看的更远,显微镜是增加视角看的更近。
一个双目感知设备的视角、测距的选择与车速有关。比如车辆如果以120公里时速行进在高速上,则这时候测算距离可能要求是越远越好,例如80米;但是在园区低速驾驶时,可能视角要求会比较宽,因为速度只有30迈,这时候测距达到40米就够了。
大家对于视觉系统有一个误区,就是喜欢说测量距离,但是说距离不说视角,说距离不说误差是没有意义的。我可以看到500米,但是误差达到百分之一百,那有什么意义呢。我们说距离的时候一定要有视角、精度的限定。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691082687092.jpg)
这个是点云密度100万的,用在一类前装车上,这是我们在今年年底将会发布的产品,具体参数到时候会由百度阿波罗平台发布,我不在这里多说了。这是我们的SE C1后装产品,这是SE C2是我们跟某两款商务车做的一款前装产品,SE B1-Pro是我们与某平台联合研制的一款相机,最后一款SE B1YT是我们12月要发布的一款产品。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691213092490.jpg)
不管单目识别还是双目识别,实际上信息对于我们非常重要,就是图像的质量对于我们来讲非常重要。那么决定图像质量的有几点,一个是镜头本身,第二个是Sensor,还有一个最重要的是对Sensor的调校。我们有时候会发现不同的产品用了同一款系统,但是实际上效果差别非常大。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691397074164.jpg)
还有一点是需要注意:人眼看出来是好的图像,计算机并不认为是好的。计算机认为什么样是好的?有很好的对比度,所有的障碍物都有很好的对比度,所谓的对比度就是图像数值的差异。
机器友好实际上要高于人眼友好,比如说祛痘、大眼、美白、磨皮,实际上都是一种丢失信息的操作,我们希望要的是高动态、高信噪比、很好的显色性、高光抑制、低光增强等等的成像性能。
视觉与雷达又有什么区别?各有各的优点,雷达看的远、速度快,但它的问题是比较稀疏。视觉的优点是致密,是一种致密的点云,我们测算的是二维致密的点云。做一个比喻,我常常把雷达比作一个远程导弹,但是视觉更像比较密集的机枪或者火炮。如果我们打远的大的东西一定要有导弹,但是你要打眼前的小的东西一定要用枪。用在高速运行的时候,针对大的目标,雷达会预先预警,无关它致密不致密。针对小的目标,尤其是非标准的障碍物,譬如一个栏杆、小猫、小狗、小孩,近距离的视觉致密点云更加重要。所以在常见城市道路的行驶可能视觉起到的作用更大,但在高速公路的行驶雷达无疑是必不可少的。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691511844196.jpg)
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691597726400.jpg)
双目里面的算法也是有分别的,比如说有基于面的,有基于边的。基于边的,你拿到的点只是边缘的测距点,基于面的是面的测距点。刚才杨老师也讲到了成本的问题,实际上做产品和做研究是不一样的。我们在学校的时候经常喜欢去打榜单,但是那些榜单完全是基于准确率的榜单。我们在做产品的过程中,一定要求效果与效率的平衡。通常,计算结果很好就代表你的算法很复杂,很复杂的话效率就会降低。当你要提高效率的时候,就必须要去简化算法,这时候效果又会降低。所以做产品时,一定要求效果与效率的平衡。另外一个需要平衡的是成本。
![](http://www.shujubang.com/UpLoads/Special/File/2017_12/636494691709517802.jpg)
所以做产品这三个维度都必须考虑:成本、效果与效率。不考虑成本,追求极致的效果与效率,我觉得不是在做产品,应该是在做科研。目前我们基于GPU的C1第一代产品和二代产品分别成本是在1500元和1000元,这是在10000台的量产成本,如果产量大成本还会降低。
这是在生产过程中的几种设备。镜头的自动安装,还有双目相机的自动标定,还有坏点的自动检测,这些设备也是我们在做产品的过程中为配合产线自己做的产品研发。
问答环节
提问:我是一个业外人,我们是专门做安防视频的,我们专门做数字安防有三十年了。我们非常关注自动驾驶和辅助驾驶领域。有一点我想请教,你们现在用的是模拟摄像机还是数字摄像机?
孟然:在自动驾驶领域没有用模拟摄像机的,肯定是数字摄像机。
提问:那延时问题怎么解决?
孟然:这个延时非常小,我举一个例子,国内电压频率50赫兹,要求你的采集频率一定是50的倍数或者整除50,我们采集频率基本上是50,否则视频会有闪烁。1秒除以50等于20毫秒,如果车速每小时120公里,在20毫秒过程中会跑多远这个可以算一下(大约0.67米,编者注)。所以这个延时完全可以满足自动驾驶的要求。如果您每小时120公里,如果是每秒30帧采样,你应该是每走1米采一幅图。如果你是60帧采样,大概是半米进行过一次采集,这个延时是完全可以接受的。
提问:第二个问题,我们在安防行业做了这么多年,发现一个很大的问题,有些人在做硬件,有些人在做软件。现在百度、阿里他们做大数据,也开始做硬件;像海康、大华开始做算法,包括也在收购这种做服务驾驶的公司。在中国的业态下,BAT动作非常大。你觉得在面临这样的竞争的时候,咱们做自动驾驶的厂商会有怎样的对策?怎样面对这样的风险?
孟然:这个问题有点宏观,我谈谈我的看法。我认为合作是好的,合作是把对方的优势资源互补作为一个产品。我们实际上聚焦的特别窄,有很多人问你们是做自动驾驶?我说我们不是自动驾驶的公司,我们就是做传感器的,我们把双目传感器做到极致就OK了。所以我并不是特别在意跟各种平台去合作,实际上我们就是一个做双目感知传感器这么窄方向的一家公司,我们并不做自动驾驶,也不做ADAS,我们就只做传感器,我们就是一家做双目视觉感知的公司。
提问:咱们现在聚焦的是前装?
孟然:一代产品是后装,在外面有在卖。
提问:重点是后装?
孟然:重点是前装。
提问:现在前装跟阿波罗?
孟然:阿波罗是我们的合作伙伴之一。
提问:前装和后装中,你们往下做客户能买单的最大的障碍,或者是客户的关注点咱们有没有探讨过?
孟然:这个有点偏市场了,这个话题如果要是谈,几分钟我回答不了您,最起码要半小时到一小时。前装和后装有什么区别,自动驾驶和辅助驾驶有什么区别。说的粗俗一点,辅助驾驶是在一堆人里找坏蛋(危险障碍物),全自动驾驶是在一堆人里找好人(可行驶的安全区域)。我说的坏蛋是指障碍物,好人是指可行驶区域。换句话说,找坏蛋找不全的话,最后要依靠人自己去找,(辅助驾驶系统)找不全没有什么关系。但如果是自动驾驶在一堆人里找坏蛋你必须找全,找不全怎么办呢?你可以找好人呀(可行驶区域)。另外,辅助驾驶只关注当前车道,只关注正前方,因为我不知道你什么时候拐弯。但是自动驾驶不是,因为方向盘已经交给你了,你什么时候拐弯你是知道的,所以你肯定不止关注当前车道,还需要关注左边和右边两侧。所以辅助驾驶是找障碍物、找危险,自动驾驶是找可行驶区域,找安全,但是非可行驶区域就一定不可行驶吗?不是,但是我要找的可行驶区域一定可行驶,这是它的区别。
提问:您觉得现在后装客户买单最大的解决痛点在哪?
孟然:其实后装对于我们来讲不是客户买单,而是对于算法和生产过程的历练,如果你没有后装直接前装,没有算法的历练迭代还有对于生产工艺的迭代,前装厂不会给你这个机会的。
提问:就是说你们目前对于后装不是太投入?
孟然:是的,是因为有后装,才能把我刚才展示的产线、设备全对接起来。后装是对生产工艺、供应链的锻炼。
提问:杭州有一家也做双目,在网上做,好像现在买单的人不是太多?
孟然:您说这个问题,我确实没有太关注。