连接自动化车辆中的混合特征融合协同语义占用预测

Feb, 2024

连接自动化车辆中的混合特征融合协同语义占用预测

Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion in Connected Automated Vehicles

Rui Song, Chenwei Liang, Hu Cao, Zhiran Yan, Walter Zimmer...

TL;DR介绍一种用于协同 3D 语义占据预测的方法，通过混合特征融合和车辆之间共享的压缩正交注意力特征来改进本地 3D 语义占据的预测，结果表明我们的协同语义占据预测在精确度和路面环境中的语义感知方面都优于单车的结果，并在后续感知应用中超越了最先进的协同 3D 检测技术。

Abstract

collaborative perception in automated vehicles leverages the exchange of information between agents, aiming to elevate perception results. Previous camera-based collaborative 3D perception methods typically employ 3D bounding boxes or bird's eye views as representations of the environm

collaborative perception 3d semantic occupancy prediction hybrid fusion collaborative perception dataset semantic-awareness

发现论文，激发创造

自主驾驶中基于视觉的三维占用预测：综述与展望

自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

May, 2024

自动驾驶中的占用感知调查：信息融合视角

3D 占用感知技术是观察和理解自动驾驶车辆的密集 3D 环境的一项目标。本调查报告回顾了最新的 3D 占用感知研究，提供了对各种输入模态的方法论的深入分析，总结了网络流程、信息融合技术以及有效的网络训练，评估了现有算法在最流行的数据集上的性能，并讨论了挑战和未来研究方向，希望激发学术界对 3D 占用感知的更多研究工作。

May, 2024

可学习通信的自动驾驶系统协同式三维物体检测

本文提出一种新的协同三维物体检测框架，通过利用空间分布式传感器所提供的信息来辅助自动驾驶系统中的感知精度，同时避免因事先的通信方案导致通信拥堵和 / 或性能受限的问题。通过两个复杂的驾驶场景的实验结果和带宽使用分析，证明了该方法可以在各种检测困难情况下节省通信和计算成本，并显著提高检测性能。

May, 2022

使用内存高效稀疏卷积的自动驾驶实时三维语义占位预测

自动驾驶车辆中，实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络（Minkowski Engine）进行三维语义占用预测的方法，以解决实时应用中的高计算需求和稀疏场景完整性的问题。

Mar, 2024

Co-Occ: 融合显式特征融合和体渲染正则化的多模态三维语义占据预测

该研究论文提出了一种名为 Co-Occ 的新型多模态 LiDAR - 相机三维语义占据预测框架，通过显式 LiDAR - 相机特征融合和隐式体素渲染正则化，有效地处理了多模态语义占据预测中不同模态数据的异构性、错配性和互作不足问题，从而提高了三维语义占据预测的质量。

Apr, 2024

OVO: 开放词汇占用

本文提出了 Open Vocabulary Occupancy (OVO) 算法，通过知识蒸馏和像素 - 体素筛选两个关键步骤，可以对任意类别进行语义占据的预测，同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上，OVO 与有监督的方法相比具有竞争性的性能。

May, 2023

OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

Mar, 2024

基础设施传感器协同感知驾驶场景中的 3D 物体检测

本文提出了两种单模态传感器的合作式三维物体检测方案，分别为早期融合方案和后期融合方案，并通过在 T 形路口和环岛等复杂驾驶情境中创建的协作数据集对两种方案及其混合策略进行了性能评估。评估结果表明，早期融合方案在检测精度上表现优异，能识别 95% 以上的物体，而后期融合方案在传输开销上表现更加经济实用。文章同时研究了传感器数量及配置如何影响系统性能。

Dec, 2019

利用先验信息和语义辅助占据栅格地图进行车辆运动预测

通过将场景表示为动态占据栅格图（dynamic occupancy grid maps，DOGMs），将语义标签与占用的栅格单元关联并结合地图信息，我们提出了一个结合深度学习的时空和概率方法的新型框架来预测车辆行为，并通过与真实注释进行评估，在真实世界的 NuScenes 数据集上验证了我们的结果，表明我们的模型相对于传统的 OGM 预测方法，能够更准确地预测静态和动态车辆的行为，此外，我们进行了消融研究，并评估了语义标签和地图在架构中的作用。

Aug, 2023

场景作为占用

通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

Jun, 2023