利用HOG的微分来实现直接前像重建和姿态估计的区别
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019
本文提出了DIB-R,一种可微的渲染框架,使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算,在单幅图像的3D对象预测和3D纹理对象生成中得到应用。
Aug, 2019
使用不同iable渲染技术,利用几何对应场将深度神经网络从RGB图像中学到的知识传递到3D坐标系中,以优化3D姿态估计,并成功地在Pix3D数据集上实现了相对于现有方法高达55%的改进。
Jul, 2020
本文介绍了一种新的分析合成技术,通过鲁棒的粗到细优化和基于物理的可微分渲染,能够重新构建现实世界对象的形状和外观,统一处理几何和反射的优化,利用图像梯度获得物理精度的梯度估计。
Mar, 2021
本文提出一种称为“Fuzzy Metaballs”的紧凑且可解释的表示形式的近似可微渲染器,该渲染器主要通过深度图和轮廓渲染形状,相对于网格的可微渲染器,我们的方法具有更高的效率和质量,可用于解决视觉任务,评估中我们发现,我们的方法是唯一可以与传统技术媲美的,适用于姿态估计和轮廓重建。
Jul, 2022
我们引入了Diff-DOPE,这是一种6自由度姿态微调器,其输入为图像、一个物体的3D纹理模型和物体的初始姿态。这种方法使用可微渲染来更新物体姿态,以减小图像与模型投影之间的视觉误差,我们展示了这种简单且有效的想法能在姿态估计数据集上达到最先进的结果。我们的方法与最近的方法有所不同,最近的方法中姿态微调器是在大型合成数据集上训练的深度神经网络,用于将输入映射到微调步骤,而我们的可微渲染的使用使我们能够完全避免训练。我们的方法可以同时进行多个梯度下降优化,使用不同的随机学习率,以避免对称对象、相似外观或错误步长的局部最小值。可以使用各种模态,例如RGB、深度、强度边缘和物体分割掩码。我们进行了一系列实验,研究了各种选项的效果,结果表明,当RGB图像与物体掩码和深度图像一起用于引导优化过程时,能获得最佳的结果。
Sep, 2023
通过优化序列的几何任务,我们提出了一种称为PRAGO的求解相机位姿的方法,该方法通过在无序图像上进行目标位置的细化来优化旋转和绝对位置,实现了在小型稀疏场景中相比于非可微求解器更好的性能。
Mar, 2024
该研究提出了一种基于NeuS2物体表示的流水线,通过自动化程序学习Structure-from-Motion(SfM)和物体无关分割,利用NeuS2的新视图合成和简单的剪切-粘贴增强生成真实感物体渲染,从而训练基于对应关系的SurfEmb姿态估计器。在多个数据集上进行评估,证明了该方法在无CAD模型和有限真实图像输入的情况下具有与基于CAD模型和PBR数据的方法竞争性能,且对轻微遮挡具有更好的准确性和鲁棒性。
Jul, 2024