Aug, 2023

基于变分分布先验和显著性地图回放的连续三维重建融合

PDF
TL;DR单图像三维重建是一个研究挑战，针对从单视图图像预测三维物体形状的任务。本文提出了一种基于持续学习的三维重建方法，通过使用变分先验设计模型，即使在训练新类别后仍能合理地重建以前见过的类别。这种方法利用变分先验表示抽象形状以防止遗忘，并利用显著图以更少的存储空间保存对象属性。另外，引入基于显著图的经验回放来捕捉全局和独特的对象特征。通过彻底的实验，证明了与现有方法相比在数量和质量上都具有竞争力的结果。
single-image 3d reconstructiondata acquisitioncontinual learningvariational priorssaliency maps
发现论文，激发创造
  • 基于形状先验的单视角三维物体重建

    本文提出一种名为 Mem3D 的新方法，通过构建形状先验和使用基于 LSTM 的形状编码器，以及使用 Voxel Triplet Loss 函数来重建包含噪声和遮挡的 3D 物体形状，该方法在 ShapeNet 和 Pix3D 数据集上表现优异。

    Mar, 2020

  • 单视图三维重建的视角先验学习

    该研究提出了一种训练鉴别器和重构器的方法，在重构器中使用先验知识来纠正未被观察到的视角，以便从任意视角重新构建形状。与目前最先进的方法相比，实验结果表明该方法在合成和自然图像数据集上表现更好。

    Nov, 2018

  • 学习形状先验用于单视图 3D 补全和重建

    本文提出 ShapeHD，将深度生成模型与马赛克技术相结合，解决了单视角 3D 形状补全和重建的两个层面的问题，并在多个真实数据集上取得了比现有技术领先很多的表现。

    Sep, 2018

  • 学习从未见过的类别重建形状

    本研究提出一种通用重建算法（GenRe），利用深度和轮廓等 2.5D 表示方法和球形和体素表示方法，旨在捕捉更通用，不受特定类别约束的形状先验知识，实验结果表明该算法可以很好地解决从单张图像还原 3D 形状，并且能够泛化到未在训练中见过的多种不同类别的新物体。

    Dec, 2018

  • 通过学习局部和全局形状先验层次来促进单视图 3D 重建的泛化

    该文利用不同层次的位置先验信息从输入的深度图中提取详细的局部信息并进行组合，从而改进了新颖形状的泛化能力，具有更好的泛化性能。

    Apr, 2021

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 领域自适应的单视角三维重建

    本文提出了一种基于对抗训练的框架来解决单视角 3D 形状重建中存在的挑战，该框架通过降低自然和合成图像之间的差异、迫使重建在逼真的物体形状流形上以及实施其他约束来改进性能。实验结果表明，该方法优于基线模型，且采用简化模型即可达到与最先进方法相当的结果。

    Dec, 2018

  • 基于先验知识的单幅图像 3D 重建的少样本泛化

    本文提出一种新的模型架构，将单视角三维重建重新定义为分类无关的先验纠正学习，初步结果表明该模型可以从提供的少至一组三维形状开始对目标物品进行分类再建，无需重新训练，且对于多视角的立体成像也有较好表现。

    Sep, 2019

  • 基于体素的单图像多物体三维检测和重建

    该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

    Nov, 2021

  • 多视角 3D 物体重建和不确定性建模与神经形状先验

    通过神经对象表示学习对象形状分布并将其映射到潜在空间，我们利用不确定性感知编码器直接从单个输入图像生成具有不确定性的潜在代码以模拟 3D 物体重建领域中的不确定性，并在贝叶斯框架下提出增量融合方法来融合多视角观测的潜在编码，从而提高 3D 对象重建的准确性。

    Jun, 2023