May, 2024

通过自我监督辅助深度估计学习增强目标跟踪

PDF
TL;DRRGB-D 跟踪大大提高了物体追踪的准确性，但其对真实深度输入的依赖性和多模态融合的复杂性限制了其在各种场景中的适用性。我们提出了一种名为 MDETrack 的新方法，通过受监督或自监督辅助单眼深度估计学习，训练一个具有理解场景深度能力的跟踪网络，将 MDETrack 统一特征提取器的输出分别输入到并行的跟踪头和辅助深度估计头中。请参考我们在多个数据集上使用各种训练策略评估了我们的模型，结果显示即使没有真实的深度数据，我们的模型在物体追踪准确度上有所提升，从这些发现中我们突出了深度估计在提高物体追踪性能方面的潜力。
rgb-d trackingobject trackingdepth informationmdetrackdepth estimation
发现论文，激发创造
  • 自监督单目深度估计的对抗训练：抵抗物理攻击

    该论文提出了一种基于视图合成的新型对抗训练方法，用于针对无实际深度信息的自监督 MDE 模型，通过 L0 范数约束来提高对物理世界攻击的鲁棒性，并通过与基于监督学习和对比性学习方法的比较，证明我们的方法可以在几乎不降低良性性能的情况下实现更好的鲁棒性。

    Jan, 2023

  • 自监督对抗训练单目深度估计抵抗现实世界攻击

    我们提出了一种新颖的自监督对抗训练方法，通过利用视图合成以增强单眼深度估计模型对真实世界攻击的对抗鲁棒性，而无需真实深度的地面真值。我们的方法在两个代表性的单眼深度估计网络上进行实验证明，相比于特别设计用于单眼深度估计的监督学习和对比学习方法，具有更好的鲁棒性，对良性性能影响最小。

    Jun, 2024

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 从单目深度图像进行目标检测和语义分割

    本研究证明，在计算机视觉中，利用单目图像估计出深度信息与 RGB 图像结合能够显著提高目标检测和语义分割的精度。

    Oct, 2016

  • 用于半监督单目深度估计的 RGB-D 大型数据集

    使用基于学生 - 教师策略、数据集成和立体信心引导回归损失的方法，可以提高单目深度估计的精度，并用于高级视觉任务，如室外场景的驾驶情境等。

    Apr, 2019

  • DID-M3D: 单目 3D 物体检测中实例深度解耦

    本文提出了一种将实例深度复杂度降低的方法，即将实例深度重新定义为实例表面视觉深度（视觉深度）和实例属性深度（属性深度）的组合，并将 3D 定位不确定性分解为视觉深度不确定性和属性深度不确定性，取得了 KITTI 数据集的最新的最佳结果

    Jul, 2022

  • 基于隐式线索的深度估计自监督联合学习框架

    本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架，其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议，并通过引入高维注意力模块来提取清晰的全局变换。实验证明，所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。

    Jun, 2020

  • 基于自监督学习的单目图像深度估计

    这个研究探讨了如何通过使用卷积神经网络和其它技术来优化和扩展基于深度学习的深度估计模型，以提高相机获取的图像的三维深度感知的精度。

    Apr, 2023

  • 单目深度估计的深度相关自注意力

    提出了一种名为 RElative Depth Transformer（RED-T）的深度估计模型，使用相对深度作为自注意力的指导，通过分配高关注权重来使类似深度的特征更加相似而不易被误用的视觉线索来提高深度估计的准确性，并在数据集上取得了竞争性的结果。

    Apr, 2023

  • 医学图像中的深度分析：一项比较研究

    评估新发布的 Depth Anything 模型在医疗内窥镜和腹腔镜场景的零样本性能，与在一般场景训练的其他单目深度估计模型以及在内窥镜数据上训练的领域内模型的准确性和推理速度进行比较。发现虽然 Depth Anything 的零样本能力相当令人印象深刻，但在速度和性能方面并不一定优于其他模型。希望本研究能引发在医学场景中应用基础模型进行单目深度估计的进一步研究。

    Jan, 2024