Mar, 2022

DepthFormer：利用长程相关性和局部信息进行准确的单眼深度估计

PDF
TL;DR该研究提出了一种基于 Transformer 和 CNN 特征组合的分层聚合模型，以解决有监督单目深度估计的问题，实验结果表明，该模型在 KITTI、NYU 和 SUN RGB-D 等数据集上均超越了现有的有监督单目深度估计方法，特别是在 KITTI 深度估计基准测试上实现了最具竞争力的结果。
supervised monocular depth estimationtransformerhierarchical aggregationcnn featuresdepthformer
发现论文，激发创造
  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • 自监督单目深度估计泛化性的深入挖掘

    本文研究使用自监督单目深度估计算法的主干网络（如 CNNs，Transformers 和 CNN-Transformer 混合模型）在广泛的公共数据集上的泛化性能，观察到 Transformers 具有很强的形状偏差，而 CNNs 则具有很强的纹理偏差，同时提出了一种新的 CNN-Transformer 混合网络，名为 MonoFormer，该模型具有最佳的广义性能和分类性能。

    May, 2022

  • 深度邻居层聚合轻量级自监督单目深度估计

    我们提出了一种全卷积深度估计网络，利用上下文特征融合，采用高分辨率和低分辨率特征来保留小目标和高速移动物体的信息，进一步在解码器阶段采用基于卷积的轻量级通道注意力来优化深度估计结果，降低参数数量同时保持准确性。

    Sep, 2023

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 基于混合 Transformer 的自监督单目深度估计的多先验表示学习

    通过利用多个先验知识来增强表示能力，我们提出了一种新颖的自监督单目深度估计模型，以综合提高深度估计的准确性和可靠性。

    Jun, 2024

  • ROIFormer：用于高效自监督单目深度估计的语义感知关注区 Transformer

    通过基于语义信息的几何启示本文提出了一种高效的本地自适应注意方法来增强几何意识的表示，使得其在 KITTI 数据集上建立了新的最前沿，证明了本方法在自监督单目深度估计任务上的有效性。

    Dec, 2022

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 跨架构知识蒸馏促进卷积神经网络在高效单目深度估计中的应用

    提出了一种名为 DisDepth 的跨体系结构知识蒸馏方法，用于增强具有卷积结构的高效卷积神经网络模型的性能，并且通过教师模型传递有价值的信息以改进单目深度估计的准确性。

    Apr, 2024

  • CompletionFormer：基于卷积和 Vision Transformers 的深度完成

    本文提出了一个联合卷积注意力和 Transformer 块的深度完成模型，其在建筑物深度完成基准和室内 NYUv2 数据集上最新的 CNNs 方法实现较高的效率，相比之下，有效地降低了 1/3 FLOPs。

    Apr, 2023