May, 2024

PT43D：基于单一高度模糊 RGB 图像生成三维形状的概率变换器

PDF
TL;DR提出了一种基于 Transformer 的自回归模型，根据可能以高度模糊的观测图像为基础的 RGB 图像，生成 3D 形状的概率分布，该模型采用交叉注意力机制，有效地识别形状生成的最相关兴趣区域，并在合成数据和真实数据上得到优于现有方法的结果。
3d shapesrgb imagesautoregressive modelocclusioncross-attention
发现论文，激发创造
  • 三视图遇上高斯点云投影：使用 Transformer 快速且可推广的单视图 3D 重建

    通过前向推理，我们介绍了一种从单张图像高效生成三维模型的新方法，利用基于 Transformer 的网络，即点解码器和三面解码器，通过混合的 Triplane-Gaussian 中间表示重建三维物体，从而在渲染速度和渲染质量上实现了平衡，并比之前的技术在质量和运行时间方面取得了更好的效果。

    Dec, 2023

  • 基于概率重建网络的单张图片 3D 形态推断

    使用基于概率推理的重建框架，探索了基于不同形状表示和适当的学习架构的端到端学习策略，从而实现了从单个图像推断三维形状。通过我们的 Probabilistic Reconstruction Networks，使用基本的体素网格表征，实现了在 ShapeNet 数据集上的新的交集和移动距离评估指标的最新成果。

    Aug, 2019

  • 单张图像的三维物体重建点集生成网络

    使用深度神经网络从单一图像中重建 3D 点云坐标，设计了面对真实世界几何转换不变性和地面真实性模糊的问题的新型方法，包括条件形状采样器，能够预测多个可能的 3D 点云。在实验中表现优异，不仅在单图像 based 3D 重建基准测试中胜过现有技术，也在形状补全方面表现出强大性能，有望在多个可能性预测方面表现出色。

    Dec, 2016

  • 使用遮挡感知纹理回归的概率化注意力模型进行三维手部重建

    该研究提出一种基于概率模型和注意力机制的框架来提高单幅图像中的三维手部重建精度和抗噪性，其中模型基于网络的先验概率分布和关节节点之间的依赖关系，通过关节与网格顶点之间的关联来改进特征表示，同时使用学习型自遮挡感知的手部纹理回归模型来获得高保真度的纹理重建。实验结果显示该概率模型在单张图像中实现了三维手部和纹理重建的最新技术，包括在有严重遮挡的情况下的情况。

    Apr, 2023

  • DIG3D: 高斯扩散融合可变形变换用于单张图像三维重建

    利用单视角 RGB 图像进行三维重建及新视角合成的研究中，提出了一种名为 DIG3D 的新方法，该方法利用编码 - 解码框架，通过编码器的深度感知图像特征指导解码器生成三维高斯图像，具体来说，引入了可变形变换器，通过三维参考点和多层细化适应来进行高效且有效的解码。通过利用三维高斯图像的优势，我们的方法为从单视角图像进行三维重建提供了高效且准确的解决方案。我们在 ShapeNet SRN 数据集上对方法进行了评估，在汽车和椅子数据集上获得了分别为 24.21 和 24.98 的峰值信噪比（PSNR），结果比最近的方法提高了约 2.25％，证明了我们方法在实现优越结果方面的有效性。

    Apr, 2024

  • T3VIP: 基于变换的三维视频预测

    为了实现机器人的自主技能获取，本文提出了一种基于转化的 3D 视频预测（T3VIP）方法，通过将场景分解为其对象部件并预测其相应的刚性变换，从自身的过去经验中明确地模拟 3D 运动，预测未来的可行结果，并具备自适应超参数优化技术，是首个提供固定摄像头的 RGB-D 视频预测的生成模型。

    Sep, 2022

  • Pix2Pose：用于物体 6D 姿态估计的像素级坐标回归

    提出了一种基于自编码器、Pix2Pose 的 6D 姿态估计方法，可以精确地检测对称目标并处理部分遮挡的问题，无需依赖专家知识或特殊扫描设备进行 3D 建模，且在三个基准数据集上表现优于现有方法。

    Aug, 2019

  • AutoSDF: 用于 3D 完善、重建和生成的形状先验

    该研究提出了一种基于自回归先验的方法来解决三维形状完形、重建和生成等多模态三维任务，该方法可以在一个任意集合的空间查询位置上对三维形状建模，从而在不同的条件下执行形状补齐。

    Mar, 2022

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和 3D-aware 转换器、编码器 / 解码器来处理大规模的 3D 资源生成任务，该研究提出了一个更强的 3D 生成模型，以增强多样性、语义和质量。

    May, 2024

  • 推动自回归模型的 3D 形状生成能力与可扩展性

    通过扩展自回归模型到三维领域并改进其容量和可扩展性，本文提出了一种名为 Argus3D 的新框架，利用离散表示学习基于潜在向量的三维形状生成，大大降低计算成本并保留几何细节，同时通过简单地连接各种条件输入来实现条件生成能力。经过广泛实验验证，Argus3D 在多个类别上能够合成多样化和真实的三维形状，并取得了显著的性能提升。

    Feb, 2024