Nov, 2020

使用 Transformer 从序列到序列视角重新思考立体深度估计

PDF
TL;DR本文介绍了一种名为 STereo TRansformer (STTR) 的方法，采用序列到序列的对应关系角度来进行立体深度估计，使用位置信息和注意力机制来进行密集像素匹配，克服了固定视差范围的限制，识别遮挡区域和提供置信度估计，并在合成和真实数据集上取得了良好的结果。
发现论文，激发创造
  • 基于 Transformer 的双目图像立体感知三维物体检测

    本文提出 TS3D，一种基于 Transformer 的立体感知 3D 物体检测器，其中包括一种新颖的视差位置编码模型（DAPE）和 Stereo Reserving Feature Pyramid Network（SRFPN），使其在 KITTI 测试集上取得了 41.29％的平均精度。

    Apr, 2023

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • DynamicStereo：来自立体视频的一致动态深度

    本文提出了一种新颖的基于 Transformer 的 DynamicStereo 结构来解决从双目摄像机中重构动态场景的问题，并介绍了 Dynamic Replica 数据集来提供更贴近实际应用的训练和评估数据。

    May, 2023

  • 基于令牌共享 Transformer 的轻量级单目深度估计

    提出了一种使用 Transformer 来进行单目深度估计的 Token-Sharing Transformer（TST）架构，该架构通过全局令牌共享，在嵌入式设备中达到高吞吐量的准确深度预测，并在 NYU Depth v2 数据集上优于现有的轻量级单目深度估计方法。

    Jun, 2023

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022

  • STS：多视角三维检测的全景时空立体视觉

    利用 Surround-view Temporal Stereo 技术结合单眼深度算法实现深度学习，通过时间轴上的帧之间的几何对应来提高准确性，从而显著提高 3D 检测能力。

    Aug, 2022

  • 边缘感知一致性立体视频深度估计

    通过使用双目输入，引进左右一致性损失函数，并提出一种保存边缘特征的损失函数来改善测试时训练中的深度模糊问题，提出了一种稠密的双目视频深度估计方法，调研结果表明该模型精度可靠。

    May, 2023

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022

  • 基于 Transformer 的深度腹腔镜立体匹配

    本文提出了一种新的混合深度立体匹配框架（HybridStereoNet），使用 Transformer 实现特征表示学习，并结合 CNN 用于代价汇聚，旨在提高立体视觉匹配精度和泛化能力。实验结果表明，与其他选项相比，本文方法收敛更快，准确率更高，能够在 Sceneflow，SCARED2019 和 dVPN 数据集上实现卓越的性能。

    Jul, 2022

  • 使用极线时空网络的多视角深度估计

    本文提出了一种针对多视角深度估计的新方法，使用 Epipolar 时空变换器和混合专家模型，实现与 SOTA 方法相比更高的估计精度和速度。

    Nov, 2020