3月20-21日,由佐思产研、佐智汽车主办,地平线、TTTech、魔智、海信网络科技、晶众股份、芯仑光电、PLK、中科慧眼等单位支持的2018第三届ADAS与自动驾驶国际论坛在上海银星皇冠假日酒店举办。超过400多位嘉宾参加了本次论坛,深圳市自行科技有限公司总经理关艳峰博士发表了《基于FPGA平台的安全自动驾驶解决方案》的主题演讲。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609559665291333.jpg)
深圳市自行科技有限公司总经理关艳峰
关艳峰:我从第一届就参加了佐思的ADAS自动驾驶论坛了,今年是第三届。在第一届自动驾驶论坛,还没有人讲FPGA,今天看到越来越人在关注FPGA。
自行科技定位在智能汽车电子领域,主要提供ADAS和自动驾驶的核心模组和系统,主要面向感知和定位。目前我们提供的产品主要是基于单目视觉的ADAS和车内驾驶监控系统、以及身份识别系统等。我们的产品已经在前装乘用车开始商用,我们现在有两个研发中心,第三个正在建。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609559749796531.jpg)
自行科技的产品定位,是以深度学习、视觉和FPGA三个主要因素来打造前装可量产的核心模组和系统,把深度学习作为系统的算法核心,把FPGA作为硬件核心或者计算核心,以视觉融合其他传感器作为它的感知核心。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609559851773103.jpg)
我去年提到三个问题,性能、价格、功耗。我们花了24个月优化基于FPGA平台的ADAS及自动驾驶解决方案和产品。例如,如何满足自动驾驶需要的大量计算,可靠性,还有对性能的要求,包括帧率,至少20帧以上。今年通过跟Tier 1、车厂的接触,压力转到安全上。因为即使其他方面都好,软件算法不安全,硬件不安全,整个系统不安全,依然没有用。所以,我今天的演讲强调基于FPGA平台的产品安全性问题。
从去年5月份到现在一年的时间,我们都在做着如何提升FPGA平台上的核心模组的安全性的相关工作。因为我们既做车内又做车外,不论自动驾驶还是辅助驾驶,在L5之前都处于人车共驾的状态,不能只提升外部环境的感知,而忽视驾驶员的感知,这两款产品都在优化。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609559955097383.jpg)
未来我们还要继续加深L3级别自动驾驶感知模组的研究。市场定位上我们是Tier 2,和很多Tier 1合作。在前装乘用车方面,和某GlobalTier 1合作的一款产品达到相当高的水平,进入了全球体系,今年Q2要量产。新能源车ADAS的量产会在2019年。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560042962085.jpg)
关于安全,主要涉及几个方面,例如,功能安全,信息安全等。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560128492713.jpg)
安全的基础在哪里?自动驾驶系统功能安全首当其冲,这是整个业界三到五年内要解决的问题,之后是信息安全。但需要在基础性工作做好的前提下,才能谈功能安全或者信息安全。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560188465719.jpg)
安全基础工作包括同步问题,如传感器的同步、人车的同步;失效问题,如硬件失效、软件失效和算法失效。大家一直都在质疑这个问题,深度学习是一个黑盒子,如果算法失效了怎么办?
同步问题
关于传感器同步,我们都有一个共识,需要同时获得外部环境信息,否则会失去它的价值,导致错误的判断。要保证同时获取信息,在安全的基础系统架构上,大多数同行会选择带操作系统的处理器。不是说这种处理器不好,而是它在处理传感器同步的时候基本上是指令触发的,指令触发很难控制精准的采样时间,延时相对较大且不足够稳定。而FPGA不基于操作系统,是电平触发,延时小且控制精准。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560331332533.jpg)
FPGA分为两部分,一部分是纯逻辑,可直接发出指令,操控传感器获取目标信息。不同距离的传感器,从高速到低速不同的速度范围,传感器工作不同,如何在传感器之间的切换过程实现同步?这有很多具体的约束和要求。
另外一部分是人车同步。在发生交通事故时,是不是驾驶员注意力不够集中,或者过度依赖自动驾驶系统,这在L4之前都是一个非常重要的问题,所以驾驶员状态的实时感知和车外环境的实时感知必须同步,不同步会导致危险。车内车外两个摄像头要达到同样的等级,才能提供相应的功能。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560433885299.jpg)
关于功能安全的问题,它的核心问题就是在评价指标,危险和风险,它有固定的评价流程。有相应的软件、硬件和算法方案后,要做功能安全性验证和失效分析。
失效问题
硬件的失效问题很关键,譬如传感器失效。一套系统有多个传感器,实际上任何一个传感器离最终的安全要求都是有差距的。一方面要通过传感器融合提升单一传感器的能力,另一方面通过融合使整体感知决策能力更加可靠。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560512902005.jpg)
多种传感器浅度融合,是最简单的融合算法,但它并未改变单一传感器的感知能力,我们希望通过深度融合,使得各个单一传感器得感知能力得到进一步得提升,从而提升整体感知决策得可靠度,这是未来传感器融合的核心问题。
浅度融合解决不了这个问题,所以做深度融合,这就需要硬件底层的支持,比如是否开放传感器的RawData。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560620826071.jpg)
讲到软件失效,3天造车,5天出Demo方式的软件架构,是量产不了的。采用开源的代码或系统,也是量产不了的。对于软件中的底层驱动,中间件、操作系统,如何去设计、开发、验证都需要大量的工作,开发周期长,成本高,但这是量产的基础。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560781945539.jpg)
举个例子,要满足ISO26262的软件安全要求,软件开发中的指针不能随便用,有的程序开发得很快,用了很多指针,二级指针是禁用的。一些嵌套迭代是不能用的,用了就有可能降低软件的稳定性。所以基于可量产的安全的软件架构是必须的,在有安全保证的架构基础上,软件才可能安全,这也需要经过专业机构的评估,就像硬件的EMC测试一样。
算法失效有很多种,尤其对以视觉为主的算法,光线的影响是最严重的。我们从两个方面去看,车内、车外。车内我们是否能够解决被遮挡、强光、阴阳脸、白天、晚上等各种场景。我们在这些场景下做了足够评估才能说明算法是可靠的。
我们的FPGA硬件已经迭代了30个月,算法迭代的时间更长。有些环境下,人的肉眼都很难区别,靠算法如何去解决?
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560868941067.jpg)
语义分割算法的失效,最怕的是车道线出问题。车道线有问题,会导致连锁问题,连续失效。我们在FPGA上面实现超30帧语义解析,可以大大提高可靠性。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609560947166727.jpg)
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561041340265.jpg)
信息安全
信息安全方面,传感器可能面临的攻击,最大的两类是信号干扰和样本欺骗。信号干扰主要是针对传感器的强电磁干扰,另一种是本体干扰,会降低信噪比和信号精度。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561128443219.jpg)
从视觉来讲,如何对抗样本欺骗很重要,因为客观环境造成和人为制造的虚假样本普遍存在,就需要提高系统性能来对抗样本的欺骗。客户问我最多的就是,你们如何去面对人皮面具的欺骗,这需要很多技术去解决。
信息安全,还包括来自于车内网络和车联网的入侵。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561210985451.jpg)
最后,我想和诸位朋友分享一下自行科技的车内外ADAS功能演进和平台演进。
功能演进
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561720087031.jpg)
我们会一直关注车内DMC及车外ADAS的功能演进,及两者的协同与联动。尤其是车内DMC部分,我们从基础的疲劳预警、身份识别、行为检测,逐步发展到视线追踪、表情识别等高级功能,为未来的智能座舱、个性化配置及L3级自动驾驶驾驶员接管等功能提供鲁棒丰富的感知信息,并和车外ADAS功能协同工作,为驾驶员提供更加安全、精准与人性化的服务。我们也会不断升级和扩充我们的车内外传感器组合,来匹配不同阶段的功能演进。
平台演进
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561826009067.jpg)
不同阶段的功能计算复杂度不同,对于硬件平台的需求也不相同,具体表现在计算力、计算架构、平台灵活性与可扩展性等。为此,自行科技的硬件平台演进路线是以XilinxZynq系列为代表的FPGA平台为主,配合高性价比的MPSoC,通过逐步提升算力,满足各个阶段不同等级的ADAS功能、性能、车规、安规方面的需求。
![](http://www.shujubang.com/UpLoads/Special/File/2018_05/636609561998085987.jpg)
欢迎各位行业同仁与我们交流与合作,我们将一直致力于基于FPGA平台的安全自动驾驶解决方案的研发与商业落地,谢谢大家!