Dec, 2021

基于专家乘积生成式对抗网络的多模态条件图像合成

PDF
TL;DR本研究提出了一种基于 Product-of-Experts Generative Adversarial Networks（PoE-GAN）框架的条件图像合成方法，可以在多种输入模态或其任意子集上生成图片，并通过精心设计的训练方案学习了如何以高质量和多样性生成图像。实验结果表明，PoE-GAN 不仅在以多模态输入进行条件图像合成方面取得了进步，甚至在单模态条件图像合成方面也优于现有的最佳方法。
conditional image synthesismultimodal user inputsgenerative adversarial networksmultiscale projection discriminatortraining scheme
发现论文，激发创造
  • MEGAN: 多模态图像生成的混合专家生成对抗网络

    我们提出一种混合专家 GAN （MEGAN）方法，它使用多个生成器网络进行集成学习，并通过门控网络在不同条件下选择适当的网络，以生成具有特定子集的模式的图像。我们证明各自利用数据的不同部分，达到较高的多尺度结构相似性分数和竞争性的无监督内在分数。

    May, 2018

  • 探索稀疏 Mixture of Experts 在基于文本的图像合成中的应用

    Aurora 是一种基于 GAN 的文本到图像生成器，利用一组专家进行特征处理学习，并使用稀疏路由器来选择每个特征点最合适的专家，以实现对采样随机性和文本条件的忠实解码，该模型在 64x64 图像分辨率下，使用 LAION2B-en 和 COYO-700M 数据集进行训练，在 MS COCO 上达到了 6.2 的零样本 FID 指标。

    Sep, 2023

  • 多模态条件下的三维感知图像生成和编辑

    本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

    Mar, 2024

  • 基于条件隐式极大似然估计的多模态图像合成

    本文提出了基于 IMLE 的新型多模式条件图像合成方法，并在两个任务中演示了更好的多模式图像合成性能，即单幅图像超分辨率和从场景布局中的图像合成。

    Apr, 2020

  • 在线多视图异常检测与解耦专家模型

    本文提出了一种新颖的多视角变分自编码器模型 dPoE，通过多视角学习、解耦表示学习和生成模型的思想，使用产品 - 专家层、总校正鉴别器和联合损失函数解决多视角数据中的异常检测问题，并且在控制视角通用和视角特定表示方面设计了理论信息界限，大量实验表明，所提出的 dPoE 模型优于基线模型。

    Oct, 2023

  • 使用置换不变编码器和更紧的变分界限学习多模态生成模型

    通过多模态数据，在机器学习研究中设计深度潜变量模型一直是一个长期的主题。本文考虑了一种可以严密下界数据对数似然的变分约束，同时发展了更灵活的聚合方案，通过组合不同模态的编码特征与置换不变神经网络。数值实验表明了多模态变分约束和各种聚合方案之间的权衡。我们展示了当我们想近似已鉴别模型中观察到的模态和潜变量的真实联合分布时，更紧密的变分约束和更灵活的聚合模型可能会带来益处。

    Sep, 2023

  • 一种统一 GAN 框架实现的一致多模式生成

    研究如何使用单个生成模型生成多模式图像输出，并使用 StyleGAN3 架构，通过获取每种模式的质量鉴别器和跨模式一致性鉴别器来解决图像一致性问题，并在 Stanford2D3D 数据集上展示了实际和一致的 RGB、深度和法线图像的生成。

    Jul, 2023

  • 利用 GANs 协调最大似然函数进行多模态有条件生成

    提出一种使用替代重构损失（moment reconstruction losses）的训练方案的条件图像生成方法，通过在 Cityscapes 和 CelebA 数据集上进行实验验证，证明该方法在保留或提高生成样本的视觉保真度的同时，实现了输出样本的多样性。

    Feb, 2019

  • 模块化生成对抗网络

    本文介绍了一种名为 ModularGAN 的多领域图像生成和图像到图像转换的方法，利用可复用和可组合的不同功能模块（例如编码、解码、变换）同时训练，并在测试时根据具体的图像转换任务组合这些模块，以显著提高生成（或转换为）任何所需领域图像的灵活性，并在多领域面部属性转移方面胜过现有方法。

    Apr, 2018

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017