基于条件隐式极大似然估计的多模态图像合成
本文研究了条件图像合成中的多样性问题,提出了基于 IMLE 框架的新方法,用于从语义分割映射生成具有不同外观的图像,并能够生成更多样化的图像,同时产生更少的伪影,具有合理的潜在空间结构。
Nov, 2018
提出一种使用替代重构损失(moment reconstruction losses)的训练方案的条件图像生成方法,通过在 Cityscapes 和 CelebA 数据集上进行实验验证,证明该方法在保留或提高生成样本的视觉保真度的同时,实现了输出样本的多样性。
Feb, 2019
本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型,通过纯噪声、文本和参考图像等多种条件输入,在 3D 生成对抗网络(GANs)的潜在空间中深入研究并提出解缠特性较好的生成策略,同时采用统一框架进行灵活的图像生成和编辑任务,实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明,该方法在图像生成和编辑方面在质量和数量上均优于替代方法。
Mar, 2024
本文主要介绍了使用生成对抗网络(GAN)进行医学图像合成的研究。作者总结了最近应用 GAN 进行交叉模态大脑图像合成的进展,包括 CT 合成 PET、CT 合成 MRI、MRI 合成 PET 以及相反的方向。
May, 2023
我们提出一种混合专家 GAN (MEGAN)方法,它使用多个生成器网络进行集成学习,并通过门控网络在不同条件下选择适当的网络,以生成具有特定子集的模式的图像。我们证明各自利用数据的不同部分,达到较高的多尺度结构相似性分数和竞争性的无监督内在分数。
May, 2018
使用条件生成对抗网络(conditional GANs)从语义标签图中合成高分辨率照片般真实的图像,并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构,生成 2048x1024 的视觉吸引力结果。此外,我们将我们的框架扩展到与两个额外功能的交互式视觉操作,它们是:将对象实例分割信息整合进去以进行对象操作(如删除 / 添加对象和更改对象类别),以及提出一种方法,可以在给定相同输入的情况下,生成不同的结果,允许用户交互式地编辑对象外观。人的意见研究表明,我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。
Nov, 2017
我们提出了一种基于顺序生成对抗网络(GAN)和半监督学习的双模医学图像合成方法,该方法包括两个生成模块,用于按顺序合成两种模式的图像。通过度量合成复杂性的方法自动确定顺序,首先合成较低复杂度的模式图像,然后再生成较高复杂度的模式图像。我们的顺序 GAN 在半监督方式下进行端到端训练,通过监督训练,从两种模式的真实配对图像中明确最小化真实和合成图像之间的重建损失来学习双模医学图像的联合分布;为了避免过拟合有限的训练图像,在无监督训练中,通过最小化真实图像和合成图像的 Wasserstein 距离学习每种模式的边际分布。我们通过基于三种评估指标和用户研究的两个合成任务全面评估了我们提出的模型。视觉和定量结果证明了我们的方法相对于现有方法的优越性,以及良好的视觉质量和临床重要性。代码公开可用于此 URL。
Aug, 2023
本研究提出了一种基于 Product-of-Experts Generative Adversarial Networks(PoE-GAN)框架的条件图像合成方法,可以在多种输入模态或其任意子集上生成图片,并通过精心设计的训练方案学习了如何以高质量和多样性生成图像。实验结果表明,PoE-GAN 不仅在以多模态输入进行条件图像合成方面取得了进步,甚至在单模态条件图像合成方面也优于现有的最佳方法。
Dec, 2021
该论文提出了一种新的统一的多模式图像综合方法,包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态,并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性,实验结果表明该方法在处理多种综合任务时具有优越的性能。
Apr, 2023
本文提出了生成潜在近邻(GLANN)的新方法,以代替不稳定的敌对训练,并比传统的 GAN 和 VAE 方法生成的图像质量更好,同时也被证明可以用于非对抗无监督图像翻译。
Dec, 2018