智能车辆多传感器融合解决方案:利用时空证据和独立视觉通道提升车辆感知

  • 时间:
  • 浏览:1
  • 来源:5分快乐8平台-大发6合投注平台_大发PK10娱乐平台

对于智能车辆来说,多传感器融合对于高精度和鲁棒性的感知交通环境至关重要。在这篇论文中,人们都歌词 提出了一种生活有效的最好的依据,即时光图片 证据生成和独立视觉通道,以改善多传感器跟踪水平对车辆环境感知的影响。时光图片 证据包括即时证据、跟踪证据和跟踪匹配证据,以改进位于融合。

独立视觉通道利用视觉正确处理在物体识别上的特殊优势来改进分类融合。利用从实际交通环境中派发的多传感器数据集对所提出的最好的依据进行了评估。实验结果表明,该最好的依据在检测精度和分类精度方面均可显著提高多传感器轨道级融合。

作者:Juwang Shi, Wenxiu Wang, Xiao Wang, Hongbin Sun*, Xuguang Lan, Jingmin Xin and Nanning Zheng

原文题目:Leveraging Spatio-Temporal Evidence and Independent Vision Channel to Improve Multi-Sensor Fusion for Vehicle Environmental Perception

1、介绍

交通环境中的物体感知的鲁棒性对于自动驾驶和高级驾驶辅助系统( ADAS )都具有重要意义。物体感知还要通过不之类型的传感器来实现,之类激光雷达、雷达和摄相机。激光雷达和雷达是有源传感器,还要测量物体的精确距离,但物体分类的能力较差。而摄像机在物体识别方面表现出优异的性能,假若测量物体距离的能力较差。雷达对测量物体的速率单位单位更敏感,激光雷达更适合于感知物体的社会形态。总之,有有哪些传感器各有优缺点[ 1 ]。假若,融合不同的传感器有望实现物体感知的高精度和鲁棒性。

传感器融合系统机会被研究了几十年。通常,传感器融合最好的依据可分为三类:低级、社会形态级和高级融合最好的依据。

低级融合架构不还要在传感器级对原始数据进行预正确处理。尽管低级融合[ 2 ]对物体有很强的描述能力,但它还要很高的数据速率单位单位,假若在实践中实施起来机会很复杂。

社会形态级融合[ 3 ]试图在进行数据融合然后,通过预正确处理步骤从原始数据中提取一种生活社会形态。社会形态级融合还要降低复杂,但在实践中仍然难以实现。

在高级融合[ 4 ]中,每个传感器独立地执行跟踪算法并生成目标列表。高级融合还要产生最佳的感知性能,机会它具有模块化、实用性和可扩展性。

假若,在本文中,人们都歌词 将重点放满去高级融合上,也称为轨道级融合。轨道级融合的有一有有二个 潜在缺点是它对物体的描述能力较差。假若,在轨道级融合设计中,人们都歌词 应该更加关注物体的全版描述,如分类、社会形态等。

一种生活轨道级融合最好的依据[ 5 ]–[ 7 ]机会被提出,并对目标感知做出了巨大贡献。在跟踪目标时,人们都歌词 主要关注一种生活信息:1 )目标的位于概率;2 )目标情况表的准确性,包括位置、速率单位单位和方向,反映在目标的全局轨迹上;3 )一种生活描述信息的全版性,如分类、社会形态等。

假若,轨道级融合主要包括位于融合、轨道间融合和分类融合。参考文献[ 5 ]和[ 6 ]使用基于证据理论( DST )的位于融合最好的依据来估计物体的位于概率。然而,它们的位于证据只考虑瞬时的空间证据,而忽略了时间证据,假若会产生相对高的误报率和误报率,特别是在宽度动态的交通环境下。参考[ 5 ]和[ 7 ]提出了使用信息矩阵融合( IMF )来估计物体情况表的轨道间融合最好的依据。然而,它们像一种生活主动传感器一样融合图像对象,一并忽略图像对象的不准确位置,这原因相对高的假阴性率、检测的假阳性率和相对低的正确识别率。

图1 :最新轨道级融合的框架

为了正确处理上述有一有有二个 有哪些的问题报告 ,人们都歌词 提出了一种生活最好的依据,即时光图片 证据生成( STEG )和独立视觉通道( IVC ),以改进多传感器轨道级融合。STEG最好的依据提高了位于估计的准确性,从而提高了轨道级融合的检测精度。IVC最好的依据不仅提高了轨道融合的检测率,假若提高了轨道融合的正确分类率。利用从实际交通环境中派发的多传感器数据集对所提出的最好的依据进行了评估。实验结果清楚地证明了所提最好的依据在轨道级融合中的有效性。与没办法 STIG的最好的依据相比,所提出的STIG最好的依据在之类误报率的情况表下将目标检测的误报率降低了0.06,假若在之类误报率的情况表下与没办法 STIG的最好的依据相比将误报率降低了0.08。一并,所提出的IVC最好的依据将目标检测的假阴性率降低了0.01,并将目标识别的正确分类率提高了0.19。

2、轨道级融合的背景

为了正确检测室外环境中的目标,假若大多数情况表下不想机会进入和抛妻弃子视场而丢失物体信息,多传感器数据应该在轨道级融合。如图1所示,轨道级融合的框架包括传感器级正确处理、融合级正确处理和应用级正确处理。在传感器级正确处理中,人们都歌词 独立地从每个传感器获得传感器局部对象列表:

其中t是时间戳,Si表示传感器i,Oj是对检测对象的描述,包括情况表xˇ、情况表协方差Pˇ、位于概率p和分类c。在融合级正确处理中,来自不同传感器的对象列表首先在空间和时间上与公共坐标系对齐。跟踪到跟踪关联后,传感器级对象会列出DtS1…SN通过位于融合、轨道融合和分类融合融合在一并,形成全局目标列表DtG。在应用进程级正确处理中,全局对象列表DtG与特定应用进程的一种生活数据源相结合。

位于融合是从独立的传感器级估计中融合目标位于概率,生成全局目标位于概率估计。这对提高目标跟踪的鲁棒性非常重要。对于单传感器目标跟踪,位于概率主要通过归一化创新平方( NIS )来估计。最近还提出了几种更先进的最好的依据。之类,[ 8 ]提出了一种生活利用立体视觉和跟踪过程中的哪几块线索来估计物体位于概率的最好的依据。对于多传感器目标跟踪,在综合概率数据关联( IPDA )框架中开发了目标位于概率估计,作为检测目标的质量度量[ 9 ]。参考文献[ 6 ]提出了一种生活基于DST的目标位于概率估计的融合最好的依据,其中组合了由每个传感器估计的目标位于。

轨道间融合来自独立传感器级估计的目标情况表及其协方差,以生成全局目标情况表估计。参考[ 10 ]提出了目标轨道融合( OTF )最好的依据,其中传感器级轨迹被视为对全局目标轨迹的测量,忽略了相关性和信息冗余。参考文献[ 11 ]介绍了轨道到轨道融合( T2T )最好的依据,该最好的依据通过近似技术计算互相关度,你一种生活最好的依据位于缺陷。IMF在用于将多传感器其他人的目标轨迹融合成全局轨迹,并显示出出色的性能。基于IMF的最好的依据在[ 7 ]中提出,该最好的依据使用IMF来正确处理速率单位单位相关性,实现了集中式架构的可比性能。[ 12 ]对现有的用于物体情况表估计的轨道间融合最好的依据进行了精度比较。它表明IMF对过程噪声最鲁棒,在过程模型偏差期间最准确和一致。

分类融合旨在改进全局对象的分类估计。大多数分类融合最好的依据基于证据理论,这是一种生活基于不全版和不选泽信息的决策工具。对于全局对象分类融合,找到合适的证据至关重要。参考[ 13 ]–[ 15 ]使用基于DST的最好的依据来估计全局目标轨迹的分类。[ 13 ]提议的基于DST的融合最好的依据依赖于有一有有二个 主要证据:瞬时融合证据,从当前每个物体的单个传感器提供的证据组合中获得;以及动态融合证据,其将来自先前结果的证据与瞬时融合结果相结合。在[ 14 ]中,作者提出了一种生活基于证据理论的目标栅格地图融合,以决定算不算位于栅格。提出了一种生活基于DST的分类最好的依据[ 15 ]来融合全局轨迹的瞬八时类结果和先前的分类结果。参考[ 16 ]和[ 17 ]使用Yager规则组合来自不同传感器的物体分类证据,进一步用于关联来自不同传感器的物体。

3、轨道级融合

A.总体框架

图2示出了人们都歌词 所提出的轨道级融合的框架。整体框架非常之类于最先进的轨道级融合框架。特别是,对于时间和空间对齐,人们都歌词 采用了人们都歌词 先前工作[ 8 ]中介绍的相同最好的依据,将独立的传感器级对象列表同步并校准到公共坐标系。假若,人们都歌词 使用匈牙利算法来关联来自多个传感器的时间和空间对齐的对象列表。人们都歌词 将DST用于位于融合和分类融合,以及IMF用于轨道到轨道融合。主也不原因是DST和IMF分别是最有效的最好的依据。

图2 :轨道级融合框架

本文提出的框架和最新框架之间的主要区别还要描述如下。

人们都歌词 提出了一种生活基于DST的位于融合时光图片 证据生成最好的依据。人们都歌词 一并考虑空间瞬时证据、时间跟踪证据和跟踪匹配证据,以改进位于融合。

人们都歌词 使用独立的视觉通道将图像对象信息融合到全局轨道中。IVC的使用不仅还要改进分类融合,还要正确处理对航迹融合的负面影响。

B.时光图片 证据生成

1 )即时证据生成:当有一有有二个 物体老出在感知范围内时,人们都歌词 还要证据来即时支持位于融合。单个传感器位于估计的鲁棒性实际上非常低。假若,直接使用单传感器位于估计[ 6 ]进行位于融合是不合适的。为了提高目标检测的鲁棒性,人们都歌词 使用瞬时测量的匹配信息作为证据来支持目标位于估计。人们都歌词 使用匈牙利算法不想说同传感器获取不同目标列表的瞬时匹配信息,其中人们都歌词 计算不同列表中目标之间的欧氏距离作为权重矩阵。

人们都歌词 将临界距离定义为d1max,并将有一有有二个 独立传感器的距离定义为di,j。机会di,j小于d1max且对象i与对象j匹配,则定义瞬时证据质量,利用Sigmod函数将di,j映射到质量集[a,b]。Sigmod函数定义为

其中ε是接近于零的正常量。

2 )跟踪证据生成:当有一有有二个 物体在一段时间内只被有一有有二个 传感器检测到时,人们都歌词 无法从多个传感器获得证据。机会单个传感器对目标的瞬时测量不稳定,人们都歌词 将目标跟踪历史作为位于融合的证据。

人们都歌词 计算一段时间内同一轨道上当前帧和前一帧的对象之间的平均欧氏距离,以获得支持位于估计的质量。一定量证据被定义为

其中ε是如B1小节中提到的常数,d2max是与物体速率单位单位相关联的临界距离。davg由轨道的长度和平滑度估计,定义为

其中k是当前时间戳,n - 1是轨道的选定长度。

3 )跟踪匹配证据生成:机会有一有有二个 物体在一段时间内被哪几块传感器一并观察到,这原因你一种生活物体几乎肯定位于。这是物体位于融合的有力证据。

在本文中,人们都歌词 计算来自不同传感器的有一有有二个 目标轨道的平均欧几里德距离,以获得支持位于估计的质量。一定量有力的证据被定义为

其中ε是接近零的正常数,dt2t是两条轨道之间的平均距离。Dt2t定义为

其中ki是时间戳,而i,j代表不同的传感器,n是轨道长度。

4 )基于DST的位于融合:对于目标位于概率融合,人们都歌词 获得了上述一种生活证据,即瞬时证据、跟踪证据和跟踪匹配证据。

位于概率识别框架定义为

其中彐代表位于。实际上,人们都歌词 计算质量m(彐 )和质量m(θ),其中θ是未知的命题。在[ 6 ]中,机会有一有有二个 物体在传感器的范围内,而传感器未能检测到该物体,它们定义了m(彐 )的质量。机会遮挡有哪些的问题报告 和传感器的不可靠性,这是不合适的。假若,假设A代表位于或未知的命题,人们都歌词 有有一有有二个 质量值来支持如上计算的命题A、m1(A )、m2(A )和m3(A )。人们都歌词 使用[ 6 ]中提出的组合和判别规则计算融合位于概率,该规则定义为

其中K定义为

C.独立视觉通道

在所有传感器中,摄像机传感器的识别能力是最出色的。假若,还要融合图像信息,以实现全面的物体感知。然而,由图像传感器检测到的物体的真实位置不想说像一种生活有源传感器那样精确,机会摄像机校准参数非要适应室外交通环境的所有条件。之类,安放进车辆上的摄像机机会会随着车辆在不平的道路上行驶而晃动。机会IMF最好的依据使用与一种生活传感器相同的图像对象列表,将原因相对较高的对象检测假阴性和假阳性率,从也不原因相对较低的对象识别正确分类率。参考[ 19 ]指出了图像对象的不准确位置,假若提出了一种生活融合图像信息的最好的依据。然而,该最好的依据要求一种生活传感器还要获得几何信息以匹配图像对象的社会形态,这对于没办法 感知社会形态信息能力的传感器来说通常是不可用的。

为了正确处理上述有哪些的问题报告 ,人们都歌词 提出了一种生活独立的视觉通道最好的依据来更恰当地融合图像对象信息。提出的独立视觉通道独立正确处理图像对象列表,正确处理了对轨道融合的负面影响。此外,独立的视觉通道将图像信息传递给有源传感器的目标,假若也还要改进轨道级融合的分类估计。人们都歌词 首先使用A3小节中提到的轨道匹配算法将图像对象的轨道与一种生活传感器的轨道进行匹配。当当前时间戳或先前时间戳的dt2t小于d3max时,人们都歌词 将图像对象信息(如分类)传输到也不活动传感器的对象。然后,人们都歌词 首先使用DST作为等式( 12 ),将转移的分类c——i和自含分类cSj融合为c——Sj。假若,人们都歌词 使用DST作为等式( 13 ),将当前分类和先前分类进行融合。

4、实验结果

A.实验装置

所有物体感知实验回会西安交通大学开发的“发现号”自动驾驶车辆研究平台上进行。该平台旨在满足一般自主驾驶研究的要求,一并也在努力应对环境感知的挑战。“发现”在2017年赢得了中国智能车辆未来挑战( IVFC )。如图3 ( a )所示,“发现号”安装有一台德尔菲ESR MMW雷达、一台单目点灰色摄像机和一台ibeo LUX - 8L。图3 ( b )示出了有一有有二个 传感器的具体感知范围。表I列出了之类种生活传感器的类型、视场( FOV )、范围和更新速率单位单位。

实验中使用的数据集是由安放进西安市城市道路“发现号”上的多个传感器派发的。摄像机和雷达的捕获速率单位单位为10fps,激光雷达的捕获速率单位单位为6.25fps。人们都歌词 机会一并捕获了45287帧的同步数据集,包括相机、激光雷达和雷达数据。从数据集中,人们都歌词 选泽有一有有二个 会话来测试建议的最好的依据,如表所示

图3 : XJTU自动驾驶车辆研究平台“发现号”的传感器配置

人们都歌词 机会预正确处理了有一有有二个 选定的会话。MMW雷达目标直接从雷达传感器读取,图像目标由单镜头多盒检测器( SSD ) [ 20 ]模型检测,激光雷达数据由基于密度的带噪声应用空间聚类( DBSCAN ) [ 21 ]正确处理。雷达和激光雷达的目标分别被卡尔曼滤波器跟踪。

B.时光图片 证据生成的结果

与文献[6]中提出的时光图片 证据生成最好的依据相比,本文提出的时光图片 证据生成最好的依据从目标检测的假阴性率和假阳性率两方面对该最好的依据进行了评价。机会位于有一有有二个 对象,则将其与全局轨道相融合。假若,为了评估位于性融合的性能,人们都歌词 分别计算了目标检测的全局假阴性率和假阳性率。

在人们都歌词 的工作中,人们都歌词 为Steg最好的依据选泽了一组参数,d1max=d2max=d3max=2.2m;ε=0:0001。该最好的依据还要通过改变目标检测的参数来调整目标检测的假阴性率和假阳性率。假若,人们都歌词 选泽了两组参数,即不带STEG 1的参数,与STEG最好的依据之类的假阳性率参数和不带步骤2的参数,与STEG最好的依据的假阴性率之类。表三列出了前面最好的依据的两组参数。雷达信任度是激光雷达传感器的感知范围。在感知范围内,机会雷达传感器检测到目标,而激光雷达传感器老出故障,则原因目标的不位于。

如图4所示,在之类假阳性率的情况表下,所提出的STEP最好的依据比不带STG的最好的依据降低了目标检测的假阴性率0.06;在之类假阴性率的情况表下,与没办法 STIG的最好的依据相比,该最好的依据降低了0.08%的假阳性率。

图4:STEG检测精度比较

C.独立视觉通道的结果

图5 :对象ID变化比较的示例

较高的误检率会原因全局目标轨迹的识别号(ID)位于较大的变化。IVC最好的依据还要减少假阴性率和ID变化次数。图5(A)示出交通场景,其中正面汽车(标记为红色边框)正在移动。图5(B)分别示出了该最好的依据与IVC提供的汽车轨道的ID变化比较,以及不使用IVC的最好的依据,其中部分颜色代表有一有有二个 ID。所提出的IVC最好的依据提供的轨迹ID在20秒内不位于变化,但在没办法 IVC的情况表下,该最好的依据提供的ID变化了两次。图6示出了目标检测的假阴性率和假阳性率的比较。比较结果表明,与不含IVC的最好的依据相比,采用IVC的最好的依据可使假阴性率降低0.01。觉得对目标检测的假阴性率的提高相对较小,但还要减少ID的平均变化次数,从而有效地提高了分类融合的效果。

本文采用基于DST的分类融合最好的依据,利用现有的传感器证据和以往的全局分类证据来选泽目标的分类。假若,当对象ID位于变化时,会丢失然后的分类证据,从也不原因分类正确率较低。图7示出了对象id的平均变化时间和正确的分类率。结果表明,该最好的依据的平均变化次数为0.67,比无IVC的最好的依据低3倍以上。该最好的依据的正确分类率为0.78,比不含IVC的最好的依据高0.19。

图6:IVC检测精度比较

图7 : IVC分类精度比较

4、结论

在这篇论文中,人们都歌词 提出了一种生活最好的依据来改进用于目标感知的轨道级融合。首先,人们都歌词 提出了一种生活时光图片 证据生成最好的依据,用于目标位于概率融合,以降低误报率和误报率。其次,人们都歌词 提出了一种生活独立的视觉通道最好的依据来改进跟踪-跟踪融合和分类融合。最后,通过从实际交通环境中派发的多传感器数据集对所提出的最好的依据进行了评估。实验结果表明,该最好的依据在检测精度和分类精度方面均可显著提高多传感器轨道级融合。在未来的工作中,人们都歌词 将考虑使用摄像机对道路场景的理解来帮助物体融合感知。

REFERENCES

[1] S. Sivaraman and M. M. Trivedi, “Lookingat vehicles on the road: A survey of vision-based vehicle detection, tracking,and behavior analysis,” IEEE Transactions on Intelligent TransportationSystems,vol. 14, no. 4, pp. 1773–1795, 2013.

[2] S. Pietzsch, T. D. Vu, O. Aycard, T.Hackbarth, N. Appenrodt, J. Dickmann, and B. Radig, “Results of a precrashapplication based on laser scanner and short-range radars,” IEEE Transactionson Intelligent Transportation Systems, vol. 17, no. 7, pp. 584–593, 4009.

[3] N. Kaempchen, M. Buhler, and K. Dietmayer,“Feature-level fusion for free-form object tracking using laserscanner andvideo,” in IEEE Intelligent Vehicles Symposium, 4005, pp. 453–458.

[4] M. Aeberhard and N. Kaempchen,“High-level sensor data fusion architecture for vehicle surround environmentperception,” in International Workshop on Intelligent Transportation, 2011.

[5] M. Aeberhard, S. Schlichtharle, N.Kaempchen, and T. Bertram,“Track-to-track fusion with asynchronous sensors using information matrixfusion for surround environment perception,” IEEE Transactions on IntelligentTransportation Systems, vol. 13, no. 4, pp. 1717–1726, 2012.

[6] M. Aeberhard, S. Paul, N. Kaempchen,and T. Bertram, “Object existence probability fusion using dempster-shafertheory in a highlevel sensor data fusion architecture,” in IEEE IntelligentVehicles Symposium, 2011, pp. 770–775.

[7] H. Li, F. Nashashibi, B. Lefaudeux, andE. Pollard, “Track-to-track fusion using split covariance intersection filter-informationmatrix filter (SCIF-IMF) for vehicle surrounding environment perception,” inIEEE International Conference on Intelligent Transportation Systems, 2013, pp.14400–1435.

[8] S. Gehrig, A. Barth, N. Schneider, andJ. Siegemund, “A multi-cue approach for stereo-based object confidenceestimation,” in IEEE/RSJ International Conference on Intelligent Robots andSystems, 2012, pp. 40055–400400.

[9] D. Musicki, R. Evans, and S. Stankovic,“Integrated probabilistic data association,” IEEE Transactions on AutomaticControl, vol. 39, no. 6, pp. 1237–1241, 1994.

[10] Y. Bar-Shalom and X. Li, Multitarget-multisensortracking: principles and techniques. Storrs, CT: YBS Publishing, 1995.

[11] H. Chen, T. Kirubarajan, and Y. Bar-Shalom,“Performance limits of track-to-track fusion versus centralized estimation:theory and applica- tion,” IEEE Transactions on Aerospace and ElectronicSystems,vol. 39, no. 2, pp. 386–400, 4003.

[12] S. Nilsson and A. Klekamp, “A comparisonof architectures for track fusion,” in IEEE International Conference onIntelligent Transportation Systems, 2015, pp. 517–522.

[13] T. D. Vu, O. Aycard, and F. Tango, “Objectperception for intelligent vehicle applications: A multi-sensor fusionapproach,” in IEEE Intelligent Vehicles Symposium, 2014, pp. 774–7400.

[14] D. Nuss, M. Thom, A. Danzer, and K. Dietmayer,“Fusion of laser and monocular camera data in object grid maps for vehicleenvironment perception,” in IEEE International Conference on InformationFusion, 2014, pp. 1–8.

[15] M. Aeberhard and T. Bertram, “Objectclassification in a high-level sensor data fusion architecture for advanceddriver assistance systems,” in IEEE International Conference on IntelligentTransportation Systems, 2015, pp. 416–422.

[16] R. O. Chavez-Garcia, T. D. Vu, and O.Aycard, “Fusion at detection level for frontal object perception,” in IEEEIntelligent Vehicles Symposium Proceedings, 2014, pp. 1225–12400.

[17] R. O. Chavez-Garcia and O. Aycard,“Multiple sensor fusion and classification for moving object detection andtracking,” IEEE Transactions on Intelligent Transportation Systems, vol. 17,no. 2, pp. 525–534, 2016.

[18] X. Wang, L. Xu, H. Sun, J. Xin, and N.Zheng, “On-road vehicle detection and tracking using mmw radar and monovisionfusion,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no.7, pp. 2075–2084, 2016.

[19] H. Cho, Y. W. Seo, B. V. K. V. Kumar,and R. R. Rajkumar, “A multi-sensor fusion system for moving object detectionand tracking in urban driving environments,” in IEEE International Conferenceon Robotics and Automation, 2014, pp. 1836–1843.

[20] L. Wei, D. Anguelov, D. Erhan, C. Szegedy,S. Reed, C. Fu, and A. C. Berg, “SSD: single shot multibox detector,” inEuropean Conference on Computer Vision, 2016, pp. 21–37.

[21] X. Zhang, W. Xu, C. Dong, and J. M.Dolan, “Efcient L-shape tting for vehicle detection using laser scanners,” inIEEE Intelligent Vehicles Symposium, 2017, pp. 54–59.

论文介绍及作者情况表:

This work was supported partly by National Key R&D Program of China

(No. 2017YFC04003907), National Natural Science Foundation of China

(No. 61790563, 91748208), and Joint Foundation of Ministry of Education

of China (No. 6141A020334003)

The authors are with the Institute of Artificial Intelligence and Robotics,

Xi’an Jiaotong University, Xi’an, Shaanxi, 740049 P.R. China

*Corresponding author: Hongbin Sun, hsun@mail.xjtu.edu.cn