Aug, 2023

Occ²Net: 基于三维占空比估计的鲁棒图像匹配算法应用于遮挡区域

PDF
TL;DR本文提出 Occ$^2$Net，一种新颖的图像匹配方法，利用 3D 占用来建模遮挡关系，并推断出遮挡区域中的匹配点。通过在 Occupancy Estimation (OE) 模块中编码归纳偏差，简化了多视图一致的 3D 表示的引导启动，以便从多个视图中集成信息。结合 Occlusion-Aware (OA) 模块，它使用注意层和旋转对齐实现遮挡点和可见点之间的匹配，经过在真实和模拟数据集上的评估，展示了该方法在多个指标上的卓越性能，特别是在遮挡场景中。
发现论文，激发创造
  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • MonoOcc: 单目语义占据预测深入研究

    提出了一种名为 MonoOcc 的方法，通过在框架的浅层引入辅助语义损失作为监督和利用图像条件下的交叉注意力模块来改进单目占据预测框架，并利用较低的硬件成本将时间信息和更丰富的知识从更大的图像主干传输到单目语义占据预测框架，从而取得了基于相机的 SemanticKITTI 场景完成基准测试中的最佳性能。

    Mar, 2024

  • GEOcc：几何增强的三维占据网络与隐式 - 显式深度融合和上下文自监督

    本文提出了 GEOcc，一种适用于仅使用视觉的全景视图感知的几何增强占用网络，它通过将环视图图像转换为密集的三维网格内的集成几何和语义表示来实现对三维占用的感知，解决了目前模型面临的两个主要挑战：在二维至三维视图变换阶段准确建模深度，以及由于稀疏的 LiDAR 监督引起的泛化问题的缺乏。

    May, 2024

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • EFFOcc: 融合效率的三维占据网络的最小基线

    提出了一种高效的三维占据网络 (EFFOcc)，通过使用简单的 2D 算子和两阶段主动学习策略，最小化网络复杂性和标注要求，实现了业界领先的准确性，并支持改进的视觉占据预测。

    Jun, 2024

  • 窥探被遮挡关节：一种新的群体姿势估计框架

    研究提出了一种新的基于图像感知的渐进 GCN 模块，用于从推理角度估计不可见关节的姿态估计问题，并且通过提出一种新的带有 9k 个注释图像的 Occluded Pose (OCPose) 数据 集的 OPEC-Net 框架来解决在 occlusions 中的定位挑战。

    Mar, 2020

  • Shape-Net: 利用知识蒸馏和 3D 形状作为额外输入的全景图像鲁棒遮挡房间布局估计

    该论文提出了一种名为 Shape-Net 的方法，通过将 2D 全景和 3D 信息提供给模型，引入 3D IoU 损失来解决遮挡问题，同时通过从同时利用图像和 3D 信息训练的模型中提取知识来解决实际情况下缺乏建筑图纸的问题。该模型是基于现有模型进行改良，实现了对房间布局的精确估算，同时能够有效处理具有遮挡的情况。

    Apr, 2023

  • OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

    基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

    Mar, 2024

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • OctreeOcc: 高效的多粒度 Octree 查询方法进行占据预测

    OctreeOcc 是一种创新的 3D 占用预测框架，通过利用八叉树表示来自适应地捕捉 3D 中的有价值信息，以适应不同尺寸和复杂度的对象形状和语义区域。通过改善初始八叉树结构的准确性和设计有效的矫正机制来优化八叉树结构。在广泛的评估中，OctreeOcc 不仅在占用预测方面超越了最先进的方法，而且与基于密集网格的方法相比，还减少了 15%-24% 的计算开销。

    Dec, 2023