Mar, 2024

OMG: 扩散模型中的遮挡友好型个性化多概念生成

PDF
TL;DR个性化是文本到图像生成中的重要主题，尤其是具有挑战性的多概念个性化。本文提出了一种名为 OMG 的遮挡友好型个性化生成框架，旨在在单个图像中无缝集成多个概念，解决身份保留、遮挡和前景与背景的和谐性问题。通过提出的两阶段采样解决方案，OMG 表现出在多概念个性化方面的卓越性能。
发现论文，激发创造
  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • Gen4Gen：生成式多概念组合的生成数据管道

    该研究介绍了一种基于 Gen4Gen 的半自动数据集创建流程，并提出了一种综合指标以更好地量化多概念个性化文本到图像扩散方法的性能。研究通过改善数据质量和提示策略，将实现多概念个性化图像生成质量的显著提高，而无需对模型架构或训练算法进行任何修改。

    Feb, 2024

  • 扩散模型中定制概念的非混淆生成

    通过文本引导的扩散模型解决了组合概念生成中的常见挑战 —— 概念之间的视觉混淆，并针对定制概念的生成提出了一种简单有效的解决方案 CLIF：对比图像 - 语言微调，实验证明其在防止多定制概念生成中的混淆方面非常有效。

    May, 2024

  • OMG：通过混合控制器实现开放词汇的动作生成

    基于 OMG 框架，我们通过预训练和微调将文本转动作的生成过程进行改进，并引入 motion ControlNet 和 Mixture-of-Controllers 模块，实现了针对零样本文本生成动作的显著提升。

    Dec, 2023

  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 文本与图像个性化解耦的注意力校准

    我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

    Mar, 2024

  • 扩散模型模块定制的正交适应

    通过引入正交适应方法，我们解决了一个名为模块化定制的新问题，旨在高效合并独立为个别概念进行微调的定制模型，从而在一幅图像中联合合成概念，同时保持保真度且不增加计算开销，这一方法在效率和身份保持方面始终优于相关基线。

    Dec, 2023

  • MS-Diffusion：基于布局引导的多主体零样本图像个性化

    我们的研究引入了 MS-Diffusion 框架，用于基于布局指导的零样本图像个性化处理多主题，融合了引用令牌和特征重采样以保持细节的准确性，并通过跨主题注意力来实现各自主题条件对特定区域的影响，通过全面的定量和定性实验，证明该方法在图像和文本的准确性方面优于现有模型，推动个性化的文本到图像生成的发展。

    Jun, 2024

  • 大规模扩散先验下的概念中心个性化

    通过将广阔规模扩散模型与概念中心的个性化相结合，提出了一种新的任务 —— 定制大规模扩散先验。采用通用无分类器引导（GCFG）的方法实现了条件引导的分离，从而解决了指导预测灾难性遗忘的问题，并开发了面向此任务的引导解耦个性化框架。文中还提出了一种无文本的概念中心扩散模型，用于学习概念引导。

    Dec, 2023