Mar, 2024

T-Pixel2Mesh: 使用全局和局部变换器从单张图像生成 3D 网格

PDF
TL;DR基于传统的像素到网格变形方法 Pixel2Mesh，本文提出了一种名为 T-Pixel2Mesh 的新型转换增强架构，通过全局 Transformer 控制整体形状和局部 Transformer 逐步细化局部几何细节，结合基于图的点上采样，在真实世界的数据上展示了最先进的性能和普适性能力。
pixel2mesh3d shapesmesh deformationgraph convolution networktransformer-boosted architecture
发现论文，激发创造
  • 从单 RGB 图像生成 3D 网格模型的 Pixel2Mesh

    本文提出了一种基于图卷积神经网络的端到端深度学习架构，从单个彩色图像中生成三角网格的 3D 形状，并采用粗到细的策略、不同级别的网格相关损失来保证生成的几何形状具有良好的视觉效果和物理精度。

    Apr, 2018

  • Pixel2Mesh++: 多视角下基于变形的 3D 网格生成

    使用图卷积网络从多角度图像中预测一系列形状变形，以进一步提高 3D 网格表征的形状质量，从而获得高精确度、高可靠性且具有普适性的 3D 模型。

    Aug, 2019

  • 网格 Graphormer

    本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

    Apr, 2021

  • JGR-P2O: 基于联合图推理的基于像素偏移预测网络，用于从单个深度图像估计三维手部姿势

    本研究提出一种基于像素预测的手部姿态估计方法，采用图卷积网络进行关节图形化推理并将像素偏移量预测与直接关节回归统一进行端到端训练，实现了最先进的准确度，并且在单个 NVIDIA 1080Ti GPU 上以约 110fps 的速度高效运行。

    Jul, 2020

  • Pix2Pose：用于物体 6D 姿态估计的像素级坐标回归

    提出了一种基于自编码器、Pix2Pose 的 6D 姿态估计方法，可以精确地检测对称目标并处理部分遮挡的问题，无需依赖专家知识或特殊扫描设备进行 3D 建模，且在三个基准数据集上表现优于现有方法。

    Aug, 2019

  • 基于网格式记忆的 Transformer 图像字幕生成

    使用 M$^2$ - Meshed Transformer with Memory for Image Captioning 的架构，改进了图像编码和语言生成步骤；通过测试，证明该架构在单模型和集成配置上达到了新的最佳状态，尤其是在描述训练集中看不见的对象时表现优异。

    Dec, 2019

  • 本地 - 全局变压器增强展开网络用于全色锐化

    本文报道了一种名为 LGTEUN 的可解释深度学习网络来提高低分辨率多光谱图像。该网络基于迭代算法，并使用 Local-Global Transformer 模块来同时建模局部和全局依赖关系，从而提高图像的分辨率和降噪水平。实验结果表明，LGTEUN 相对于现有的方法具有更高的效果和效率。

    Apr, 2023

  • MeT：用于三维网格语义分割的图变换器

    提出了一种基于 Transformer 以及 Laplacian 特征编码的多边形网格的语义分割方法，并在 Shape COSEG 数据集、人类分割数据集以及 ShapeNet 基准上实现了最先进的性能。

    Jul, 2023

  • TP3M: 基于 Transformer 的伪 3D 图像匹配带参考

    本论文提出了一种基于 Transformer 的伪三维图像匹配方法，通过引入参考图像将源图像的 2D 特征升级为 3D 特征，并通过由粗到细的三维匹配与目标图像的 2D 特征进行匹配，从而提高了在具有大视角或光照变化或低纹理的场景中的匹配性能。实验结果表明，所提出的方法在同态估计、姿态估计和视觉定位任务中，在具有挑战性的场景中达到了最先进的水平。

    May, 2024

  • P2M2-Net：基于部件感知的引导式多模态点云补全

    我们提出了一个基于提示的点云补全框架，名为 P2M2-Net，用于更可控和多样化的形状补全。通过使用 Transformer 模型，我们的框架能够高效地融合多模态特征并按照提示指导生成多样化的结果。我们在一个新的大规模 PartNet-Prompt 数据集上训练 P2M2-Net，并在两个具有挑战性的形状补全基准上进行了广泛实验。定量和定性结果表明了引入提示进行更可控的部分感知点云补全和生成的有效性。

    Dec, 2023