ICCVDec, 2022

MVTN：学习多视角转换的三维理解

PDF
TL;DR本研究提出了一种名为 MVTN 的多视图转换网络，利用可微分渲染确定最佳视点进行三维形状识别，将其集成到新颖的自适应多视图流程中，在几个基准测验中表现出 3D 分类和形状检索的最先进性能，并展示了相对于其他方法更好的遮挡鲁棒性，并探讨了 MVTN 的其他方面，如二维预训练和其用于分割，同时公开了使用多视图投影进行 3D 理解和生成的 PyTorch 库 MVTorch。
multi-view projection techniques3d shape recognitionmulti-view transformation networkadaptive multi-view pipelinepytorch library
发现论文，激发创造
  • MVTN：用于三维形状识别的多视角转换网络

    本文介绍了一种基于多角度变换的深度学习网络架构，通过改变视角，以使得机器在 3D 形状识别任务中取得更好的性能。该网络框架在静态视角方法的基础上，实现了自适应动态视角模式，将深度学习与可微渲染技术相结合，并在三个公开数据集上取得了较高的识别精度。

    Nov, 2020

  • 三维视觉对接的多视图 Transformer

    这篇论文提出了一种基于多视角变换器（MVT）的方法，将 3D 场景投影到多视角空间中，学习一种更为稳健的多模态表示形式，从而消除特定视角的依赖，并在实验中表现出比现有方法更好的性能。

    Apr, 2022

  • PVNet: 一种基于点云和多视图的联合卷积网络用于三维形状识别

    本文介绍了一个新的 3D 形状识别框架：Point-View Network（PVNet），该框架整合了点云和多视角数据，并利用深度学习和嵌入式注意融合方案提高了 3D 形状的准确识别。

    Aug, 2018

  • MVF-Net: 多视角 3D 人脸可塑模型回归

    本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

    Apr, 2019

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • 具有 Transformer 的多视角立体

    本文介绍了一种称为 MVSTR 的网络，利用 Transformer 提取拥有全局上下文和三维一致性的密集特征，对于 Multi-View Stereo（MVS）可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题，提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块，并在实验中获得了最佳性能。

    Dec, 2021

  • 多视角组变换器与空间编码的三维形状分析

    最近，基于视图的三维形状识别方法的结果已经饱和，而具有出色性能的模型由于参数规模巨大无法部署在内存有限的设备上。为了解决这个问题，我们提出了一种基于知识蒸馏的压缩方法，可以在尽可能保持模型性能的同时大大减少参数数量。

    Dec, 2023

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • M&M3D: 多数据集训练和高效网络用于多视角 3D 目标检测

    提出了一种使用相机数据和鸟瞰图的多视角三维物体检测的网络结构，通过域适应和可视数据传输解决了当前的关键挑战。

    Nov, 2023

  • 多视角卷积神经网络用于 3D 形状识别

    本研究论述了通过 CNN 架构识别单个和多个渲染图像视角的 2D 视图图集能够在 3D 物体识别方面表现出更好的性能，提出并证明 CNN 架构结合多个视角信息可提供更好的识别性能，同样适用于人手绘图的物体识别。

    May, 2015