Valet Charge简称V-Charge,代客泊车并充电是欧盟在2011年赞助的一个研发项目,项目始于2011年6月1日,于2015年9月30日结束,总成本869.5万欧元,其中欧盟赞助563万欧元。
V-Charge项目结束后,博世、大众、奔驰致力将其产业化,今天我们看到的奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge。项目由瑞士理工学院电脑视觉与几何实验室领导,博世、大众、牛津大学、帕尔玛大学与布伦瑞克工业大学共同完成。德国Carmeq和IAV公司也有部分贡献。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670961582279011.jpg)
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670961676901861.jpg)
Valet Charge是为电动车设计的,主要是基于无线充电停车位。Valet Charge设想将无线充电系统埋在车位下方,电动车停在车位上,无需任何操作即可充电,这要求泊车的位置精度很高,大约±10厘米。无线充电这个设想在2011年非常超前,不过Valet Charge项目并未考虑开发大功率无线充电系统。
即使今天,电动车的无线充电也是极为罕见。当年,大众联合德国机器人公司KUKA特别设计了充电机器人,机器人会自动取下充电枪插入充电插孔内,即便是到今天这种设计也很超前,而大众在10年前就有此设想了。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670961772706276.jpg)
Valet Charge包含六大核心技术,即使在今天看来仍然非常先进,领先于今天一些所谓的全自动泊车系统。它实际就是低速(时速低于10公里)场景的L4系统,同时还包括V2I技术和DTN网络技术。我们将分五篇详细介绍Valet Charge的核心技术,第一篇为感知,第二篇为地图,第三篇为通讯,第四篇为定位,第五篇为运动规划。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670961873803321.jpg)
Valet Charge车辆端框架如上,核心和奔驰一样,以双目做棒状像素,用栅格占有法提供导航。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670961958711323.jpg)
Valet Charge的传感器布局如上图,包括前后两个双目摄像头,4个鱼眼摄像头,12个超声波传感器,精简版里没有后双目摄像头。所有传感器都由博世提供。前双目摄像头基线长12厘米,使用120万像素CMOS图像传感器,水平FOV为45度,垂直FOV为25度。可对应停车场的低照度环境,今天捷豹路虎全系列都使用了这颗双目摄像头。有效距离12.5米到25米,最大距离50米,在停车场足够用了。后双目使用130万像素图像传感器,水平FOV为120度,基线长5厘米,有效距离只有5米。4个鱼眼摄像头像素都为130万,水平FOV为185度,有效距离大约3米。所有摄像头的帧率都很低,仅为8帧,毕竟2011年的图像处理能力不强。12个超声波雷达,其中8个为前后短距离雷达,最远1.5米,4个为两侧长距离雷达,最远可达7米。超声波传感器垂直FOV为60度,水平为120度。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670962039847251.jpg)
感知部分分三项,分别是定位、动态环境感知和静态环境感知。定位由瑞士苏黎世理工学院无人驾驶实验室与大众联合完成。静态感知部分,前后双目和超声波感知由博世完成,单目的SFM由苏黎世理工学院电脑视觉与几何实验室完成,大众完成栅格地图融合。动态环境方面,大众完成用双目目标追踪,立体假设聚类,单目检测与聚类、动态目标聚类、停车位线框增强都由意大利帕尔马大学用单目鱼眼完成。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670962136491587.jpg)
上图为静态场景感知构成,也可以看作是三种传感器的融合,包括双目、超声波和鱼眼摄像头。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670962219961589.jpg)
其中双目是核心。鱼眼主要使用SFM做3D重建,主要用来弥补双目视角窄的缺点。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670962298978295.jpg)
双目相机可以提供几百个目标相对自车的距离,但是只要高度在某一区间内的目标的距离,也就是高度分割。这种类似于奔驰棒状像素的做法可以直接求得可行驶空间(Free Space),也可以只提供障碍物的距离数值。
为了弥补双目视角窄的不足,达到360度全覆盖的3D场景重建,特别附加了鱼眼360度SfM。SfM的全称为Structure from Motion,即通过相机的移动来确定目标的空间和几何关系,是三维重建的一种常见方法。它与Kinect这种3D摄像头最大的不同在于,它只需要普通的RGB摄像头即可,因此成本更低廉,且受环境约束较小,在室内和室外均能使用。缺点就是只能针对低速,小空间场合,且非常消耗运算资源。SfM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作,挑选出合适的图片。
首先从图片中提取焦距信息(之后初始化BA需要),然后利用SIFT等特征提取算法去提取图像特征,用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配,从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对,计算对极几何,估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去,一直被检测到,那么就可以形成轨迹。之后进入structure-from-motion部分,关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA,然后循环添加新的图片进行新的BA,最后直到没有可以继续添加的合适的图片,BA结束。得到相机估计参数和场景几何信息,即稀疏的3D点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包,这是一种非线性最小二乘的优化目标函数算法。东芝的第四代视觉识别芯片中已经添加了SFM硬核。在停车场这样的低速、狭小空间,SFM还是不错的,当然和双目比还是精度差距较大,鲁棒性也不强,还需要轮速编码器。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670962973740533.jpg)
前双目和超声波精度很高,SFM精度很差。
栅格地图由大众完成,局部动作规划依赖栅格地图,地图融合了多种传感器数据,对障碍物有明确的表示。传感器数据更新后使用贝叶斯过滤来确定栅格占有概率。大众使用两种栅格地图,第一种是驾驶层,是从驾驶员离开车后,车辆从停车场入口到停车位时使用,每个Cell的尺寸是0.1米,整体尺寸是50米,完全由前双目完成。第二层是停车层,Cell尺寸是0.05米,整体尺寸25米。前后双目,鱼眼3D重建和超声波数据融合。
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670963065892509.jpg)
上图为停车层栅格地图示意图
![](http://www.shujubang.com/UpLoads/Special/File/2018_07/636670963237227213.jpg)
上图为的动态感知框架,就是双目与鱼眼相机的融合。动态环境感知主要就是目标追踪和识别动态目标,停车场主要就两种动态目标,车辆和行人,比较简单。目标追踪实际是用来做动态目标运动预测的,光流法可以准确预测目标运动轨迹,但大众没有用,只是用了简单的扩展开曼滤波器,因为光流法消耗运算资源比较多,在2011-2014年还比较难实现,不过双目的光流法相对比较容易,但在Valet Charge里,大众并未提及双目光流法,可能是因为奔驰握有双目光流法的专利。
在2011-2014年,双目传感器和360度全景相机都相当罕见,如今奔驰、宝马、捷豹路虎和雷克萨斯LS系列都可以装配双目,也有360度全景,为Valet Charge提供了基础条件。