ICCVSep, 2023

DeFormer: 集成可变形模型的变压器用于从单张图片中进行三维形状抽象

PDF
TL;DR本文提出了一种名为 DeFormer 的新型双通道 Transformer 架构，通过参数化的可变形模型同时估计原语的全局和局部变形，以实现复杂对象形状的抽象化，在使用较少的原语的同时提供更广泛的几何覆盖范围和更精细的细节，并引入了力驱动的动态拟合和循环一致的投影损失来优化原语参数，在 ShapeNet 上的广泛实验表明，DeFormer 在重建准确性方面优于现有技术，并且通过一致的语义对应关系实现了可解释性的提升。
3d shape abstractioncomputer visiongraphicstransformer architecturedeformer
发现论文，激发创造
  • 3Deformer：一种基于图像引导的网格变形的通用框架

    我们提出了 3Deformer，这是一个用于交互式三维形状编辑的通用框架。通过利用语义图像对源网格进行形状引导，同时尽可能保持源拓扑结构的刚性，3Deformer 能够精确编辑源网格。我们的方法不需要高成本的三维训练数据集，只需利用易得的语义图像作为监督，并且可以在各种不受数据集限制的对象上进行编辑。通过引入分层优化架构和各种策略和损失函数，我们克服了使用简单的二维图像对复杂三维形状进行引导所带来的挑战，从而提高了准确性、平滑度和刚性。大量实验证明，我们的 3Deformer 能够产生令人印象深刻的结果，并达到了最先进水平。

    Jul, 2023

  • DeformNet: 基于自由形变网络的单图像 3D 形状重建

    本论文提出了一种新的深度学习模型 DeformNet，利用自由形变层和形状检索来实现从单张图片中进行 3D 重建，相较于其他现有方法有更好的表现。

    Aug, 2017

  • GeoDeformer：基于几何变形的动作识别变压器

    本文提出了一种新的方法 GeoDeformer，它将几何理解直接集成到 ViT 架构中，用于捕捉动作视频中固有的几何变异，实验证明该方法在 UCF101、HMDB51 和 Mini-K200 数据集上取得了显著的准确度提升，并且能够有效表现几何变形及最小化几何变异。

    Nov, 2023

  • 深度可变形模型：通过部分一致性学习 3D 形状抽象

    本论文研究了精确形状抽象的显著和高效的基本描述符，提出了一种名为 Deep Deformable Models (DDMs) 的方法。DDM 利用全局变形和微分同胚本地变形来抽象复杂的物体形状，使用较少的基本图元提供更广泛的几何覆盖和更精细的细节，并能学习基于部位的语义对应关系。DDM 在形状重建和部位一致性方面的实验结果表明，较现有方法具有显著优势。

    Sep, 2023

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了 ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目 3D 人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了 SOTA 水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • LegoFormer：面块级别多视角三维重构的变形器

    LegoFormer 是一种基于 transformer 模型的体素 3D 重建技术，通过使用自注意力层在所有计算阶段分享视角之间的信息，并将输出分解为低秩矩阵，从而实现对各个独立结构的预测和聚合，具有竞争性的性能和可解释性的优点，可用于现实数据的广义重建任务。

    Jun, 2021

  • DeformerNet: 学习三维可变形物体的双手操作

    该研究论文介绍了一种新的神经网络结构 DeformerNet，可以帮助机器人处理和变形 3D 有弹性物体的操作，从而可靠地完成手术子任务，无需事先制作特定形状。

    May, 2023

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • DIG3D: 高斯扩散融合可变形变换用于单张图像三维重建

    利用单视角 RGB 图像进行三维重建及新视角合成的研究中，提出了一种名为 DIG3D 的新方法，该方法利用编码 - 解码框架，通过编码器的深度感知图像特征指导解码器生成三维高斯图像，具体来说，引入了可变形变换器，通过三维参考点和多层细化适应来进行高效且有效的解码。通过利用三维高斯图像的优势，我们的方法为从单视角图像进行三维重建提供了高效且准确的解决方案。我们在 ShapeNet SRN 数据集上对方法进行了评估，在汽车和椅子数据集上获得了分别为 24.21 和 24.98 的峰值信噪比（PSNR），结果比最近的方法提高了约 2.25％，证明了我们方法在实现优越结果方面的有效性。

    Apr, 2024