Jul, 2020

从单个扩增训练样本进行图像形状操作

HTML
PDF
TL;DR本文介绍了 DeepSIM ，这是一种基于单个图像的生成模型，用于条件图像操作。我们发现广泛的数据增强是实现单个图像训练的关键，并整合了 thin-plate-spline 作为有效的数据增强。我们的网络学会了将图像的原始表示映射到图像本身。基于不同的原始表示形式进行的操作对易用性和表达能力都产生重大影响，可以是自动的（例如图像边缘），手动的（例如分割）或混合的。在操作时间，通过修改原始输入表示并通过网络映射它，我们的生成器允许进行复杂的图像更改。我们的方法在图像操作任务上表现出了出众的性能。
发现论文，激发创造
  • 深度表示的对抗性操纵

    使用深度神经网络(DNN)的内部表示，通过微小和无法察觉的扰动来操作图片的表示来模仿其他自然图片的表示，从而生成一类新的对抗性图片，这种现象提出了关于DNN表示和自然图片本身属性的问题。

    Nov, 2015

  • 自然图像流形上的生成视觉操作

    本文提出了一种基于生成对抗神经网络的自然图像流形的学习方法，以及一类图像编辑操作及其在学习到的流形上的实时约束优化方法以实现逼真的图片编辑与生成。

    Sep, 2016

  • 条件对抗网络下的图像翻译

    我们研究了有条件的对抗性网络作为图像转换问题的通用解决方案，并展示了这种方法在从标签地图中合成照片，从边缘地图中重建对象和彩色化图像等任务中的有效性。

    Nov, 2016

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成2048x1024的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除/添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 生成、分割与细化：通向通用操作分割

    本研究提出一种图像生成过程来创建真实的操纵图像样本，从而解决当前缺乏标签数据的问题，该方法利用图像混合等传统工作并提出新型生成器，在训练中强制算法关注边界伪影，并取得了强有力的实验结果。

    Nov, 2018

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 轻量级生成对抗网络用于文本引导的图像操纵

    我们提出了一种新颖的轻量化生成对抗网络，使用自然语言描述来进行有效的图像操作。我们提出了一种新的单词级别鉴别器，为生成器提供细粒度的单词级别训练反馈，以便训练一个轻量级生成器，该生成器具有少量参数，但仍然能够正确地关注图像的特定视觉属性，然后进行编辑，而不会影响其他未在文本中描述的内容。与现有技术相比，我们的方法具有更少的参数数量，但仍然实现了有竞争力的操作性能。广泛的实验结果表明，我们的方法能够更好地解耦不同的视觉属性，然后正确地将它们映射到相应的语义词汇，从而使用自然语言描述实现更准确的图像修改。

    Oct, 2020

  • 放弃GAN：支持最近邻补丁作为单图像生成模型

    本文提出了一种不需要训练的基于补丁的优化框架，比单个图像GAN方法快1000~10000倍，并产生比任何以前的方法（无论是基于GAN还是基于经典补丁的方法）更优越的结果和更真实的整体结构，应用广泛，如图像编辑和重塑大小。

    Mar, 2021

  • 潜空间操纵的代理梯度场

    本文提出了一种基于替代梯度场算法的方法，通过操纵关键点和说明文字等多维条件，搜索新的潜在编码，使得编辑后的图像符合目标条件。实验结果表明该方法在人脸属性调整任务方面表现优异，能够更好地处理图像属性的分离问题。

    Apr, 2021

  • PetsGAN：重新思考单张图像生成的先验

    通过引入正则化的潜在变量模型并设计基于先验的端到端训练GAN(PetsGAN)，本文改进了SinGAN解决其可生成性和训练时间方面的限制问题，丰富的实验结果证明了方法在图像质量、多样性和训练速度上的优越性。

    Mar, 2022