May, 2021

M6-UFC: 基于非自回归生成变压器的多模态控制统一条件图像合成

PDF
TL;DR本文提出了一个新的两阶段结构 M6-UFC，将多模态控制统一表示为离散符号序列，并采用了非自回归生成模式加强了图像整体一致性、支持保留指定的图像块并提高合成速度，通过设计的评估器评估合成结果的符合性和合成图像的可信度，M6-UFC 能够合成高保真度、符合灵活多模态控制的图像。
conditional image synthesismulti-modal controlsm6-ufcnon-autoregressive generationimage fidelity
发现论文，激发创造
  • M6-Fashion：高保真多模态图像生成与编辑

    本文提出了一种统一的两阶段框架 ——M6-Fashion，将样式先验知识和多模态控制的灵活性融合在一起，实现时尚设计中的实用 AI 辅助，取得了优秀的成果。

    May, 2022

  • 面向灵活、可扩展和自适应的多模态条件人脸合成

    最近在多模态条件下的人脸合成方面取得的进展使得创造出了视觉上引人注目且准确对齐的面部图像成为可能。然而，当前的方法在可扩展性、灵活性和对控制强度的一劳永逸的处理上仍然面临问题，没有考虑不同模态之间条件熵（在给定某个条件下数据的不可预测性）的差异。为了解决这些挑战，我们引入了一种新颖的单模态训练方法，利用模态仿真器，并结合一种熵感知的模态自适应调制，以支持灵活、可扩展且可扩展的多模态条件下的人脸合成网络。我们的单模态训练通过仅利用单模态数据的模态仿真器，用模态特定的特征修饰条件并作为不同模态之间的链接器，完全学习了面部合成过程中的每个模态控制以及不同模态之间的协作。熵感知的模态自适应调制可根据模态特定的特征和给定条件精细调整扩散噪声，使得沿着去噪轨迹有良好的信息化步骤，最终导致高保真度和高质量的合成结果。我们的框架改进了在各种条件下的多模态人脸合成，通过我们全面的实验结果证明，超过了当前方法在图像质量和保真度方面的表现。

    Dec, 2023

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 多模态条件下的三维感知图像生成和编辑

    本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

    Mar, 2024

  • 可控图像翻译的统一生成对抗网络

    该研究提出了一种基于生成对抗网络的统一方法，实现可以由可控的结构来指导的多种图像转换任务，包括手势转换和跨视角图像转换，其性能显著优于其他基于深度学习的方法

    Dec, 2019

  • MMoT: 混合模态词元变换器用于组合多模态条件图像合成

    提出了一种基于混合多模态令牌变换器的组合多模态条件图像合成技术，解决了多模态控制信号协调问题和不平衡问题，实现了在复杂多模态条件下的高质量和忠实的图像合成。

    May, 2023

  • 通过多模态调节进行视频综合的展示和说明

    使用多模态生成框架，结合文本和图像训练双向变压器等多重输入来预测离散视频表示，同时提供改进的样本视频代币和文本增广，以及支持分割掩码、绘图和部分遮挡图像等不同视觉模态，可以通过文本提示生成对应视频，并在四个数据集上取得了最新的生成结果。

    Mar, 2022

  • 无参考用户可控语义图像合成

    本研究提出了一种名为 RUCGAN 的模型，以单一颜色表示特定语义区域的风格，通过将颜色作为用户期望的样式注入每个语义布局，实现无参考语义图像合成，并能合成具有不寻常颜色的语义图像，其在各种具有挑战性的数据集上的实验性结果表明，该方法优于现有方法，并且我们提供了交互式用户界面，以展示我们的方法的样式可控性优势。

    Jun, 2023

  • FlexEControl: 文本到图像生成的灵活高效多模控制

    提出了一种新颖的灵活高效的可控文本到图像生成方法 FlexEControl，其核心是一种独特的权重分解策略，能够有效地整合不同类型的输入，提高了生成图像与控制之间的准确性，同时显著降低了与多模态条件相关的计算开销。相比 Uni-ControlNet，该方法在可训练参数和内存使用方面分别减少了 41% 和 30%，且能够灵活生成在多种输入条件下引导的图像。

    May, 2024

  • MasaCtrl: 无需调参实现图像合成和编辑的自注意力控制

    提出了一种名为 MasaCtrl 的调整无需微调的方法，能够同时实现一致的图像生成和复杂的非刚性图像编辑。具体来说，该方法将扩散模型中的自我注意力转换为相互自我注意力，以便对源图像进行一致的局部内容和纹理查询。同时，还提出了一种掩码引导的相互关注策略，可减轻前景和背景之间的查询混乱。大量实验证明，该方法可以在一致的图像生成和复杂的非刚性真实图像编辑方面产生令人印象深刻的结果。

    Apr, 2023