CVPRDec, 2021

GAN 监督下的密集视觉对准

PDF
TL;DR本研究提出了 “GAN 监督学习” 框架，该框架通过 GAN 生成的训练数据，同时学习判别模型，以及针对密集视觉对准问题的 GANgealing 算法，该算法采用 Spatial Transformer 将 GAN 生成的未对准数据随机样本映射到共同学习的目标模式上实现数据对准。实验结果表明此方法成功地对齐了复杂的数据，并发现了密集的对应关系。与过去的自监督对应算法相比，GANgealing 显著提高了效果，并在几个数据集上表现出色。该方法取得了与最先进的有监督对应算法相当甚至超过符合度，而且不需要使用任何对应关系监督或数据增强，仅在 GAN 生成的数据上进行训练。在精确对应方面，与最先进的有监督方法相比，我们的方法提高了多达 3 倍。此外，我们还展示了将其应用于增强现实、图像编辑和提前处理图像数据集以进行下游 GAN 训练等方面的应用。
gansupervised learningvisual alignmentspatial transformercorrespondence algorithms
发现论文，激发创造
  • 使用深度惩罚重建紧密对齐数百万图像

    该论文提出了一种基于稠密融合的空间变换器网络和低容量自编码器的无监督联合对准方法，能够在 MNIST 和 LFW 数据集中高精度、鲁棒地对齐数百万张图像，比现有方法具有更好的对齐质量和初始鲁棒性。

    Aug, 2019

  • DA-GAN：基于深度注意机制生成对抗网络的实例级图像翻译

    该论文提出了一种利用 Deep Attention GAN（DA-GAN）进行实例级图像翻译的新框架，可以在高度结构化的潜空间中将来自两个集合的样本进行转换，实例级的对应关系可以通过在学习到的实例对上进行注意力来发现，该方法在应用方面表现出了很好的效果。

    Feb, 2018

  • 端到端弱监督语义对齐

    本文提出了一种基于卷积神经网络和不同 iable soft inlier scoring 模块的语义对齐方法，该方法无需繁琐的手工标注就能实现对不同但具有语义相关性的图像进行参数学习，并从几何上一致的对应关系计算对齐质量，达到了基于多个标准基准的语义对齐的最先进表现。

    Dec, 2017

  • 基于注意力引导的生成对抗网络的无监督图像转换

    本文提出了基于注意力机制的生成对抗网络 AGGAN，在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化，训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失，实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。

    Mar, 2019

  • 具有共面感知 GAN 的无监督单应性估计

    本研究提出了一种新的方法 HomoGAN，用于引导无监督的单应性估计关注主平面，并利用多尺度变换网络和图像生成对抗网络来解决来自平面诱导视差引起的问题以及验证其有效性。

    May, 2022

  • 提升几何建模能力的自监督学习在三维感知生成对抗网络中的应用

    通过自监督学习技术，我们提出了一种适用于任何 3D-GAN 的辅助损失，旨在改进其 3D 几何建模能力，并通过综合实验证实了该方法的有效性。

    Dec, 2023

  • AlignGAN：使用有条件的生成对抗网络学习对齐跨域图像

    本论文提出了一种基于条件 GAN 的方法，可以在缺少配对样本的情况下成功地对齐跨域图像，并且还提出了一种利用多个信息条件（如域信息和标签信息）进行标签传播的模型，并给出了一个用于学习该模型的两步交替训练算法。

    Jul, 2017

  • 三维形态一致化：野外三维感知图像对齐

    我们提出了 3D Congealing 方法，这是一个新颖的问题，即对于捕捉到语义相似物体的 2D 图像进行 3D 感知对齐。我们的目标是将输入图像中的共享语义部分与 2D 图像中的知识聚合到共享的 3D 规范空间中，通过一个不依赖于形状模板、姿态或任何相机参数的通用框架来完成此任务。该框架的核心是一个将几何和语义信息封装在内的规范 3D 表示。优化过程结合了每个输入图像的规范表示和姿态，以及将 2D 像素坐标映射到 3D 规范框架以解决形状匹配的位置坐标映射。优化过程融合了来自预训练图像生成模型的先验知识和来自输入图像的语义信息。前者在这个限制条件下为任务提供了强大的知识引导，而后者则提供了减轻预训练模型中训练数据偏差所需的信息。我们的框架可用于各种任务，如对应匹配、姿态估计和图像编辑，在具有挑战性的光照条件下以及在野外在线图像集合中取得了优异的结果。

    Apr, 2024

  • 通过自监督学习学习 GAN 基于视频生成的时间相干性

    本文提出了一种使用时间自我监督的算法，采用 GAN 生成视频的方式解决了时间关系难以探索的问题，同时提出了 Ping-Pong loss 用来改善长期时间一致性问题，并且介绍了一组评估模型的定量指标。

    Nov, 2018

  • 双层特征对齐用于多功能图像翻译和操作

    本文介绍了一种新的图像翻译和操作框架，通过明确地建立一种对应关系，在图像生成中实现准确的语义和风格引导，并设计了一个新的特征对齐策略，解决了建立密集对应关系所引发的计算复杂度问题。

    Jul, 2021