MMAug, 2021

利用 Shadow Transformer 进行多视角检测（及视角一致的数据增强）

PDF
TL;DR本文介绍了一种新型的多视图检测器，MVDeTr，并使用新的视觉一致性的数据增强方法，以及采用阴影变换技术来聚合多视图信息，提取目标特征，超过了现有最佳方法，能更准确地进行多视图检测。
multiview detectionmultiview aggregationshadow transformerconvolutiondata augmentation
发现论文，激发创造
  • 特征透视变换在多视角检测中的应用

    本研究提出了一种新的多视角检测系统 MVDet，采用基于鸟瞰图的无 Anchor 盒方法来聚合视图信息并在地平面特征图上应用大内核卷积。在新引入的合成数据集 MultiviewX 上的结果表明，相比于现有方法在 Wildtrack 数据集上的最新技术，该方法提高了 14.1% 的 MODA 性能。

    Jul, 2020

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • 三元协同视频阴影检测

    本文介绍了一个用于动态场景下阴影检测的新视频数据集 ViSha，并在此基础上开发了一种新型模型 TVSD-Net，该模型通过三个并行网络的协同学习来提高单一视频和不同视频之间的判别表示，以及利用辅助相似性损失来挖掘不同视频之间的语义信息。实验表明，该模型在阴影检测方面优于 SOTA 竞争对手。

    Mar, 2021

  • 具有 Transformer 的多视角立体

    本文介绍了一种称为 MVSTR 的网络，利用 Transformer 提取拥有全局上下文和三维一致性的密集特征，对于 Multi-View Stereo（MVS）可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题，提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块，并在实验中获得了最佳性能。

    Dec, 2021

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018

  • 多视角变换器用于视频识别

    本研究提出了一种名为 Multiview Transformers for Video Recognition 的模型，通过实现不同空间和时间的分辨率，利用多个 encoder 对视频进行建模，从而在六个标准数据集上取得了最优秀的结果。

    Jan, 2022

  • 单目动态视角合成：现实检验

    本文研究单目视频的动态视图合成，并通过提出有效的多视图因素、新的评估指标和数据集，揭示了现有方法的不足之处，证明了缺乏多视图信息会影响动态视图合成的质量。

    Oct, 2022

  • 视频阴影检测的时间特征扭曲

    本文提出了一种基于光流变形模块和深度网络层的信息检索方法，来更好地聚合时间信息，以提高视频阴影检测的性能，在 ViSha 数据集上测试表明模型的 BER 从 16.7 降低到 12.0，且优于当前最先进的视频阴影检测方法 28％。

    Jul, 2021

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • MVTN：学习多视角转换的三维理解

    本研究提出了一种名为 MVTN 的多视图转换网络，利用可微分渲染确定最佳视点进行三维形状识别，将其集成到新颖的自适应多视图流程中，在几个基准测验中表现出 3D 分类和形状检索的最先进性能，并展示了相对于其他方法更好的遮挡鲁棒性，并探讨了 MVTN 的其他方面，如二维预训练和其用于分割，同时公开了使用多视图投影进行 3D 理解和生成的 PyTorch 库 MVTorch。

    Dec, 2022