Pix2Vex:使用平滑可微分渲染器进行图像到几何重建
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑战性的任务。
Apr, 2019
本文利用可微分渲染器提取并分离生成模型中的 3D 知识,将生成对抗网络作为多视图数据生成器,使用现成的可微分渲染器训练逆向图形网络,并将训练好的逆向图形网络作为教师,将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究,并显示分离的 GAN 作为可控的 3D “神经渲染器”,补充传统的图形渲染器。
Oct, 2020
本文提出了 DIB-R,一种可微的渲染框架,使得基于梯度的机器学习技术可以对图像中的所有像素进行分析计算,在单幅图像的 3D 对象预测和 3D 纹理对象生成中得到应用。
Aug, 2019
本文提出了一种使用通用的不可微分渲染器训练来自 2D 数据的 3D 生成模型的可扩展方法,该方法引入了一个代理神经渲染器来匹配不可微分渲染器的输出。我们进一步提出鉴别器输出匹配以确保神经渲染器学习适当地平滑栅格化。当用纯 2D 图像进行训练时,我们的模型可以比现有模型更好地学习生成更好的 3D 形状。
Feb, 2020
本文介绍了一种新的分析合成技术,通过鲁棒的粗到细优化和基于物理的可微分渲染,能够重新构建现实世界对象的形状和外观,统一处理几何和反射的优化,利用图像梯度获得物理精度的梯度估计。
Mar, 2021
提出了一种名为 Pix2Vox 的新框架,采用精心设计的编码器 - 解码器生成每个图像的粗略 3D 体积,再引入上下文感知融合模块自适应地选择不同粗略 3D 体积中每个部分(例如桌腿)的高质量重构,以获得融合的 3D 体积,并通过一个细化器进一步精化融合的 3D 体积以生成最终输出,该方法在 3D 重建方面的实验结果表明,Pix2Vox 不仅性能较其它现有算法更优,而且退推时间比 3D-R2N2 快 24 倍,而且该方法具有强大的通用性。
Jan, 2019
本文研究了可微分渲染器相关的各个基础组件的需求,提出了一种广义的可微分渲染器,并利用不同的平滑分布进行了实例化,通过在 ShapeNet 3D 重建基准测试上的多种尝试,分析了结果的影响。令人惊讶的是,在 13 个类别中的平均结果上,简单的均匀分布效果最好;然而,通常来说,最佳的分布选择很大程度上取决于任务。
Apr, 2022
提出了基于 Projective Spatial Transformer module 的可微分体绘制新方法,适用于医学应用。通过这种方法,可以 end-to-end 训练图像处理和投影模型,以近似与姿势参数相关的图像相似度函数,并通过梯度下降进行有效优化。这是空间变换器第一次用于投影几何,代码将在出版后公开。
Mar, 2020
本文介绍了 RenderNet,这是一种具有新颖投影单元的可微渲染卷积网络,能够从三维形状渲染出二维图像,并自动编码空间遮挡和着色计算。实验表明,RenderNet 可以成功学习实现不同的着色器,并可用于从单个图像估计形状、姿态、照明和纹理的反演渲染任务。
Jun, 2018
提出了一种名为 Pix2Vox ++ 的新框架,用于从单视角或多视角图像恢复 3D 物体,使用编码器 - 解码器生成初始 3D 体积,并引入了多尺度上下文感知融合模块自适应地选择高质量的重建部分,以获得融合的 3D 体积,并进一步采用提炼器来选择性地探测出融合的 3D 体积中错误恢复的部分,最终得出鲁棒性和有效性均优于现有方法的结果。
Jun, 2020