IJCAIJan, 2022

能否在深度生成网络中找到导致不真实图像的神经元？

PDF
TL;DR本研究分析了通过使用 “顺序消蚀法” 对生成对抗网络 (GANs) 的输出图像上的缺陷进行修复的可行方法，并探索了稀疏激活神经元如何导致图像中的 “缺陷物体” 出现问题。
generative adversarial networksgansartifactsneuron activationsequential ablation
发现论文，激发创造
  • 生成神经网络中生成伪影的内部单元的无监督理解方法

    本研究提出了一个新的概念 local activation，通过测量 local activation，可以检测出 GANs 生成的有缺陷的图像。经过实验证明，本方法可以应用于不同数据集的 GANs 中，帮助用户检测和纠正有缺陷的生成图像。同时，通过几何分析，部分揭示了本研究的概念与低视觉保真度之间的关系。

    Dec, 2021

  • GAN 剖析：可视化并理解生成对抗网络

    本文提出了一种分析框架，旨在通过单元、对象和场景级别的可视化来理解生成对抗网络的内在表示，揭示其形成图像的因果关系，探究其结构选择对 GAN 学习的影响，提出了移除图像错乱因素的方法，并提供开源的理解工具。

    Nov, 2018

  • 关于 GAN 单元的研究 (扩展摘要)

    研究了生成对抗网络（GANs）在内部如何表示我们的视觉世界，探讨了 GANs 结果中众所周知的人工痕迹是如何引起的，并展示了一个可视化和理解 GANs 的分析框架，旨在使研究者和从业者更好地理解其模型并进行实际应用，例如跨不同层，模型和数据集比较内部表示，定位和移除人工痕迹引起的单元，以及交互式操纵场景中的对象。

    Jan, 2019

  • 生成模型的频率偏差

    该研究通过对生成对抗网络的结构进行分析，提出了一些关于频率偏差和高频伪影的新发现，并尝试分析了一些现有的提高生成质量的方法，但没有实现完美的改进。最后，该研究建议，提升鉴别器的质量将是解决频率伪影问题的关键。

    Nov, 2021

  • CAN: 创新敌对网络，通过学习风格并偏离风格规范生成 “艺术

    本研究提出了一种利用生成对抗网络通过增加生成的艺术品的新颖性从而实现创造性创作的新系统，研究表明该系统生成的艺术品与当代艺术家创作的艺术品在多个方面得到了人类受试者的高度评价。

    Jun, 2017

  • 利用生成对抗网络增强角色设计师的创造力

    本文使用生成对抗网络的生成结果作为认知组件，以增强角色设计师在为不同的多媒体项目概念化新角色时的创造力。同时，本文通过在新的可视化角色数据集上使用单个图形处理器从头开始训练不同的 GAN 架构（包括转移学习和数据增强技术），并使用混合方法评估了生成视觉品质对角色设计师机构概念化新角色的认知价值。研究表明，本方法对该上下文的实施非常有效，将作为一个由人与机器共同设计的工作流程进一步评估。

    May, 2023

  • 使用生成对抗网络合成逼真的神经群体活动模式

    使用生成对抗网络 (GAN) 的模型 Spike-GAN，可以模拟神经元人群的联合活动，并生成符合实验数据统计学特征的尖峰火箭信号。在与其他主流神经科学建模方法的比较中表现出类似的性能，此方法提供了一种更灵活，易于使用的神经活动合成技术，并可用于确定尖峰火箭信号中的重要特征之间的关系。

    Mar, 2018

  • 反事实生成网络

    通过深度生成建模，我们将图像生成过程分解成独立的因果机制，从而产生反事实图像，提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明，这些反事实图像能够提高模型的抗干扰性，而且这个模型能在单 GPU 上高效训练。

    Jan, 2021

  • GAN 伪图像中伪造物的检测和模拟

    本文提出了一个可以模拟多个流行 GAN 模型的 GAN 模拟器 AutoGAN，并基于频域的特性提出了一种分类器模型，从而即使在自主学习时无法看到目标 GAN 模型生成的假图像，也可以在检测流行 GAN 模型生成的假图像方面实现最先进的表现。

    Jul, 2019

  • 基于生成式对抗网络的专辑封面艺术图片生成

    本文研究机器学习中生成对抗网络（GANs），特别关注艺术方面的应用，以最先进的 StyleGAN2 为例，尝试生成专辑封面并通过艺术风格进行个性化定制。

    Dec, 2022