Mar, 2024

基于 RGB 的一次性视角规划中利用来自 3D 扩散模型的先验知识

PDF
TL;DR通过利用扩散模型的强大的 3D 生成能力作为先验，我们提出了一种新颖的一次性视图规划方法，从而实现了仅通过对象的单个 RGB 图像开始进行高效的一次性视图规划，以平衡对象重建质量和移动成本。
发现论文，激发创造
  • 使用指导视角规划器进行主动物体重建

    该论文提出了一种基于深度学习的主动重建模型，利用引导视图规划来重建一个三维模型，其中包括了信息获取模型的学习和信息聚合的方法，实验表明该模型比其他方法更能提高重建精度和预测一个更具信息性的视图序列来完成对象重建。

    May, 2018

  • 单视图三维重建的视角先验学习

    该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

    Nov, 2018

  • 基于先验知识的单幅图像 3D 重建的少样本泛化

    本文提出一种新的模型架构，将单视角三维重建重新定义为分类无关的先验纠正学习，初步结果表明该模型可以从提供的少至一组三维形状开始对目标物品进行分类再建，无需重新训练，且对于多视角的立体成像也有较好表现。

    Sep, 2019

  • 3D 物体重建中下一最佳视角的监督学习

    本文提出了一种基于监督深度学习的最佳视角规划方案，该方案包括自动生成数据集的算法和原始三维卷积神经网络 (3D-CNN)，用于学习下一个最佳视角，并与类似网络进行了比较，并进行了多个实验验证了该方案的有效性，以实现对不知名对象的重建。

    May, 2019

  • ViVid-1-to-3：带视频扩散模型的新视角合成

    利用预训练的视频扩散模型，我们演示了一种非常简单的方法，通过合成互补视角的扫描视频来生成新视角，从而实现高度一致的新视图合成。

    Dec, 2023

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • 基于变分分布先验和显著性地图回放的连续三维重建融合

    单图像三维重建是一个研究挑战，针对从单视图图像预测三维物体形状的任务。本文提出了一种基于持续学习的三维重建方法，通过使用变分先验设计模型，即使在训练新类别后仍能合理地重建以前见过的类别。这种方法利用变分先验表示抽象形状以防止遗忘，并利用显著图以更少的存储空间保存对象属性。另外，引入基于显著图的经验回放来捕捉全局和独特的对象特征。通过彻底的实验，证明了与现有方法相比在数量和质量上都具有竞争力的结果。

    Aug, 2023

  • 使用 3D 卷积神经网络进行下一个最佳视角回归

    本文提出了一种基于卷积神经网络的数据驱动方法来解决 3D 物体重建中的下一个最佳视角问题，验证实验表明，该方法在预测下一个最佳视角、提高物体重建覆盖率和提高运算速度等方面，都有很高的性能表现。

    Jan, 2021