缺失数据下的多视角集成学习：计算框架和使用 Safe Autonomous Driving 领域新数据的评估

Jan, 2023

缺失数据下的多视角集成学习：计算框架和使用 Safe Autonomous Driving 领域新数据的评估

Multi-View Ensemble Learning With Missing Data: Computational Framework and Evaluations using Novel Data from the Safe Autonomous Driving Domain

PDF

Ross Greer, Lulua Rakla, Akshay Gopalkrishnan, Mohan Trivedi

TL;DR本文探讨了多传感器融合和集成学习方法在自动驾驶的手部活动识别任务中的应用，展示了采用并行卷积神经网络作为传感器间信息融合的一种迟到融合方法，提出了处理丢失信息的方案，并对该方法进行了比较分析。

Abstract

Real-world applications with multiple sensors observing an event are expected to make continuously-available predictions, even in cases where information may be intermittently missing. We explore methods in ensemble learning and sensor fusion to make use of redundancy and information s

sensor fusion ensemble learning hand activity classification autonomous driving late-fusion approach

发现论文，激发创造

基于多模态传感器融合的深度神经网络用于端到端自主驾驶和场景理解

本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

May, 2020

多视角一致性学习用于异质传感器融合

为了评估机器学习模型单个预测的可信度，我们建立和测试了多视角和单视角的异构传感器融合的模型，这些模型基于相合预测框架，提供了理论上的边际置信保证。通过全面实验，我们证明了多视角模型不仅在准确性性能度量方面（已在多个之前的工作中显示），而且在提供不确定性估计的相合度量方面，比单视角模型表现更好。

Feb, 2024

多模态融合 Transformer 用于端到端自动驾驶

本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

Apr, 2021

自动驾驶感知的多模态传感器融合技术综述

本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

Feb, 2022

自动驾驶中多视角传感器数据融合提升感知和预测

本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

Aug, 2020

多模态驾驶员行为理解的决策级融合比较分析

本文通过对视频驾驶员观察中的决策级别融合策略进行比较和评估，从视觉识别和多模态识别角度提出决策级别融合的方案，旨在指导融合策略的选择。

Apr, 2022

自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战

本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何时融合” 和 “如何融合” 等问题仍然存在争议。本文系统地总结了方法学和讨论了自主驾驶中深度多模式对象检测和语义分割的挑战。

Feb, 2019

利用可解释的传感器融合 Transformer 实现强化安全的自主驾驶

本文提出了一种名为 Interpretable Sensor Fusion Transformer (InterFuser) 的安全增强自动驾驶框架，可完全处理和融合来自多模态多视角传感器的信息，实现全面的场景理解和对抗事件检测，在 CARLA 基准测试中表现优异，并提供了中间可解释特征用于更好地限制行动。

Jul, 2022

超越一模型适配所有：用于自动驾驶汽车的集成深度学习

通过研究探索多种神经网络模型在自动驾驶中的应用，本研究提出了三种独特的模型并评估了它们在不同驾驶场景中的重要性和局限性。结果表明集成模型的性能优于单个模型，并强调了利用多个模型实现强大性能的重要性，为未来的自动驾驶研究提供了发展方向。

Dec, 2023

自主驾驶的单视图和多视图深度的自适应融合

本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统，同时提出了一个自适应融合深度估计系统，通过动态选择两个分支之间的高置信度区域进行融合，以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法，并在挑战性基准（KITTI 和 DDAD）上实现了最先进的性能，假设具有准确的位姿估计。

Mar, 2024