本文系统地总结介绍了低成本稳定的 2.5/3D 视觉感知器件在计算机视觉领域中如何应用于室内环境中的视觉场景理解，包括数据表示，核心技术，场景理解任务，性能评价以及面临的挑战。

Mar, 2018

本文对多模态 3D 场景理解的最新进展进行了系统调查，介绍了各种多模态任务的背景和困难，分类了现有方法，并对它们的优势和限制进行了探索，提供了在几个基准数据集上的对比结果和深入分析，最后讨论了未解决的问题并提出未来研究的几个潜在方向。

Oct, 2023

本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

Apr, 2015

我们提出了一种在室内环境中获取语义分割和目标实例检测伪标签的成本效益标注方法，旨在为各种下游任务训练轻量级模型提供便利，通过多视图标注融合阶段，识别和纠正单视图不一致现象，并通过与人工注释的比较和目标导航等下游任务的效果评估，证明了该方法的有效性。

Nov, 2023

该研究提出了一种深度多任务架构，用于在单眼图像中全自动进行 2D 和 3D 人体感应，包括识别和重建，通过多任务损失支持所有组件的联合训练以提高准确性和鲁棒性，实验结果显示该模型在所有处理水平上均可达到最先进的结果且在野外表现不亚于基于 RGB-D 数据的最先进商用 Kinect 系统。

Jan, 2017

本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

Jun, 2021

该研究提出了一种成本效益高且精确的道路分割解决方案，通过在多任务学习架构中整合来自多个传感器的数据，利用多模态系统比单模态系统能够产生更可靠的结果，使用原始传感器输入而非高预处理成本的架构，同时将 RGB 和 LiDAR 深度图像作为网络的输入，与 IMU/GNSS 惯性导航系统数据进行聚合，实验证明该方法在 KITTI 数据集和 Cityscapes 数据集上都取得了快速且高性能的解决方案，可以与不同的传感器模态一起使用，推理时间非常适合实时实验。

Aug, 2023

本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。

May, 2020

本文研究场景理解问题，通过使用计算机图形学生成合成 3D 场景，以解决手动收集大量数据问题，从而避免了收集数据的麻烦和昂贵成本。通过使用深度数据作为输入仅使用 RGB-D 系统的深度数据，我们在 NYUv2 数据集上的表现相当于最先进的 RGBD 系统，并在 SUN RGB-D 数据集上设置了基准。文章还探讨了生成合成图像或视频数据，以及分析影响性能增益的不同因素。

Nov, 2015

利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

Mar, 2023