Mar, 2015

深度卷积逆图形网络

PDF
TL;DR本文提出了 Deep Convolution Inverse Graphics Network（DC-IGN）模型，用于学习图像的可解释表示，该表示与平面外旋转和光照变化等变换无关，模型采用多层卷积和反卷积操作，并使用随机梯度变分贝叶斯算法进行训练，我们提出了一种训练程序，以鼓励图形代码层的神经元表示特定的变换（例如姿势或光照）。给定一个单一的输入图像，我们的模型可以生成同一对象的新图像，其中包含姿态和光照的变化，本文提供了模型学习 3D 渲染引擎的定性和定量结果。
deep convolution inverse graphics networkinterpretable representationconvolutionde-convolutionstochastic gradient variational bayes
发现论文，激发创造
  • 对抗反演图形网络：从非配对式监督中学习二维到三维转换和图像转换

    利用 Adversarial Inverse Graphics networks 构建弱监督的神经网络模型实现对图像的转换，重建与估计，优于只有配对注释的监督模型。

    May, 2017

  • 基于可微分渲染的图像 GAN 逆向图形学和可解释的 3D 神经渲染

    本文利用可微分渲染器提取并分离生成模型中的 3D 知识，将生成对抗网络作为多视图数据生成器，使用现成的可微分渲染器训练逆向图形网络，并将训练好的逆向图形网络作为教师，将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究，并显示分离的 GAN 作为可控的 3D “神经渲染器”，补充传统的图形渲染器。

    Oct, 2020

  • 通过反向图形学进行 3D 感知场景操作

    本文提出了一种名为 3D-SDN 的深度生成模型，该模型可以生成可解释的、富有表现力的、分离的场景表示，能够支持 3D 感知场景操作，并证明该模型比其 2D 版本表现更优秀。

    Aug, 2018

  • 基于图数据的反卷积神经网络

    该研究提出了一种名为图解卷积网络（GDN）的解决方案，旨在通过组合频谱域中的逆滤波器和小波域中的去噪层，实现对由图解卷积网络（GCN）平滑的图形数据的重建操作，同时解决信号中的噪声干扰问题，它在图特征补全和图结构生成等多项任务中展示出了有效性。

    Oct, 2021

  • 基于图形的等度不变表示学习

    本文介绍了一种新颖的基于图的变换不变性网络（TIGraNet），该网络可以学习基于图的特征，并对几何变换具有不变性，通过图谱卷积和动态图池化层替代经典的卷积和池化层，能够有效提高对于数据变异的鲁棒性和在有限的训练集上保持持续性能。

    Mar, 2017

  • 反向传输网络

    本研究提出了逆向传输网络作为学习体系结构，以解决逆渲染问题，其中我们通过给定输入图像测量值来推断物理场景参数，如形状、材料和光照。我们还创建了一个通用的物理精确可微分渲染器，并证明了逆向传输网络可以有效地进行训练，并且在出现从未见过的场景时有更好的泛化性能。

    Sep, 2018

  • 条件幂等生成网络

    我们提出了条件幂等生成网络（CIGN），这是一种新颖的方法，扩展了幂等生成网络（IGN）以实现条件生成。CIGN 通过引入条件机制来解决 IGN 的限制，使用户能够控制生成数据的内容。我们在理论上建立了 CIGN 的基础，概述了其范围、损失函数设计和评估指标。然后，我们提出了两种潜在的用于实现 CIGN 的架构：通道条件和滤波器条件。最后，我们讨论了在 MNIST 数据集上的实验结果，展示了这两种方法的有效性。我们的研究结果为进一步探索在更大的数据集和更强大的计算资源上进行 CIGN 的优化实现策略铺平了道路。

    Jun, 2024

  • 通过逆识别标记神经表示

    我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值，强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性，包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。

    Nov, 2023

  • 通过学习隐式相机模型翻转成像过程

    本文介绍了一种新型的深度神经网络模型 —— 隐式相机模型，可以模拟相机成像过程，在多段曝光和多对焦的影响下，生成高质量的全景照片和高动态范围图像。

    Apr, 2023

  • 图形胶囊：从 2D 图像学习层级的 3D 人脸表示

    本文提出了逆向图形胶囊网络 (IGC-Net)，通过图形胶囊这种新型胶囊进行层级建模和无监督学习，从大规模无标注图像中学习人脸的层级 3D 表示。通过该网络的学习，揭示了神经网络如何将人脸理解为 3D 模型的层次结构。此外，利用学习到的部分可以对无监督的人脸分割任务进行评估，并且具有明确物理含义的部分级描述提供了一些有关人脸分析的洞见。

    Mar, 2023