Apr, 2022

SurroundDepth：用于自监督的多摄像机深度估计的环绕视图纠缠

PDF
TL;DR本文提出了一种名为 SurroundDepth 的新型深度估计方法，运用多摄像头技术以及跨视图变换器，实现了在自动驾驶中对深度地图的精准预测，且在多视角实现机体运动一致性，取得了 DDAD 和 nuScenes 两个数据集的最佳成绩。
depth estimationself-supervised learningmulti-cameratransformerautonomous driving
发现论文，激发创造
  • 多摄像机全景单深度

    通过使用广义时空上下文、姿势一致性约束和精心设计的光度损失掩蔽，我们将自监督单目深度和自我运动估计扩展到大基线多摄像机装置，从而学习生成密集、一致且具有尺度感的点云，这种点云与典型的 LiDAR 扫描仪具有相同的完整全景 360 度视场，并且我们提出了一种新的尺度一致评估指标更适用于多摄像头设置。

    Mar, 2021

  • M${^2}$Depth: 自监督的双帧多摄像头度量深度估计

    该研究论文提出了一种新颖的自监督双帧多摄像头度量深度估计网络 (M^2Depth)，旨在预测自动驾驶中可靠的具有尺度感知的周围深度。与以往使用单个时间步的多视图图像或单个相机的多个时间步图像不同，M^2Depth 采用多个相机的时间相邻的两帧图像作为输入，并生成高质量的周围深度。我们首先在空间和时间域中构造成本体积，并提出一个融合空间 - 时间信息的模块来生成强大的体积表示。我们还将 SAM 特征的神经先验与内部特征相结合，以减少前景和背景之间的模糊性并加强深度边缘。在 nuScenes 和 DDAD 基准测试上的大量实验证明，M^2Depth 实现了最先进的性能。更多结果可以在此 https URL 中找到。

    May, 2024

  • 鲁棒自监督外在自校准

    自动驾驶车辆和机器人需要在各种不同的场景中高效而安全地完成任务。本研究介绍了一种基于自我监督单目深度和自我运动学习原理的外参标定新方法，其利用单目深度估计器和姿态估计器结合速度监督对外参进行估计，并联合学习附加在移动车辆上的一组重叠相机的外参标定。实验结果表明，与传统的基于视觉的姿态估计流水线相比，我们的方法能够在各种场景中稳健且高效地实现自我标定，并展示了通过联合优化改进深度估计的外参自校准的优势。

    Aug, 2023

  • EGA-Depth: 自监督多摄像头深度估计的高效引导注意力

    本研究提出了一种新颖的自我学习多摄像机深度估计引导 - 注意力结构 EGA-Depth，可在自动驾驶中取得更好的效果，实现高效和准确的深度估计。

    Apr, 2023

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 自主驾驶中基于自我监督学习的深度预测

    自主驾驶中深度预测的挑战和应用的研究，使用单目自监督学习方法，提出了条件生成对抗网络以及一种基于变换器的刚性场景和未来深度预测方法，以及视频到视频深度映射模型，用于改进对环境几何和动态物体运动的理解和决策。

    Mar, 2024

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 时间机会主义者：自监督多帧单目深度

    提出 ManyDepth，一种自适应的、可以在测试时间利用序列信息的深度估计方法，通过深度自监督训练基于端到端代价体系积攒的方法，鼓励网络忽略不可靠的代价体以及针对静态相机场景的增强方案。实验证明此方法在 KITTI 和 Cityscapes 上表现优于其他单帧和多帧的自监督基线模型。

    Apr, 2021

  • $S^3$Net：基于语义感知的自监督单目视频和合成数据深度估计

    本文介紹了一種自監督學習的深度估計方法，在使用合成數據和真實數據訓練的同時，利用幾何、時間和語義約束，實現了單目視頻深度估計的新的最先進技術，相較其他自監督和合成方法提高了 15% 到 10% 不等。

    Jul, 2020

  • 用于自动驾驶的联邦无监督单目深度估计器的学习

    提出了一种新的方法 FedSCDepth，结合联邦学习和深度自监督，能够以与当前最先进的方法相媲美且更高效的方式进行单目深度估计的学习。在 KITTI 数据集上进行的评估实验表明，所提出的方法在测试损失低于 0.13，平均仅需要 1.5k 个训练步骤，并且每轮每辆自动驾驶车辆的权重数据传输量最多为 0.415 GB，达到了近乎最新技术的性能水平。

    Oct, 2023