May, 2024

个性化内容合成的扩散模型调查

PDF
TL;DR近年来生成模型的发展对内容创作产生了重大影响，引发了个性化内容合成（PCS）的出现。本文以扩散模型为重点，全面调研 PCS，并介绍了 PCS 研究的通用框架，即基于优化和基于学习的方法。文中进一步分析这些方法的分类及技术，并讨论了其优势、局限性以及关键技术。此外，还深入探讨了领域内的特殊任务，如个性化对象生成、人脸合成和风格个性化，并突出了它们面临的独特挑战和创新。尽管进展令人鼓舞，但我们还对过拟合、主题忠实度和文本对齐之间的权衡等挑战进行了分析。通过这一详细的概述和分析，我们提出了促进 PCS 发展的未来方向。
generative modelspersonalized content synthesisdiffusion modelsoptimization-based approacheslearning-based approaches
发现论文，激发创造
  • Gen4Gen：生成式多概念组合的生成数据管道

    该研究介绍了一种基于 Gen4Gen 的半自动数据集创建流程，并提出了一种综合指标以更好地量化多概念个性化文本到图像扩散方法的性能。研究通过改善数据质量和提示策略，将实现多概念个性化图像生成质量的显著提高，而无需对模型架构或训练算法进行任何修改。

    Feb, 2024

  • 使用扩散模型进行无偏面部合成：我们已经达到目标了吗？

    利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。

    Sep, 2023

  • 利用渐进条件扩散模型推动姿势引导的图像合成

    该研究论文提出了一种渐进条件扩散模型（PCDMs），通过三个阶段逐渐弥合目标姿势和源姿势下的人像之间的差距，并生成高质量、高保真的综合图像。

    Oct, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 多主题个性化

    创意故事插图需要多个字符或对象的一致互动，然而传统的文本到图像模型在生成具有多个个性化主题的图像时面临挑战，如主题渲染失真或文本描述无法呈现一致的主题互动。我们提出了多主题个性化（MSP）以减轻其中的一些挑战，通过使用稳定扩散实现 MSP，并将其与其他文本到图像模型进行评估，展示了其一致生成代表预期主题和互动的高质量图像。

    May, 2024

  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 图像合成个性化的生成式主动学习

    该研究提出了一项旨在将传统上应用于判别模型背景下的主动学习方法应用于生成模型的试点研究，重点关注图像合成个性化任务。通过引入锚定方向的概念，将查询过程转化为半开放问题，并提出了一种基于方向的不确定性采样策略来实现生成式主动学习并解决开发 - 探索的问题。通过大量实验验证了我们方法的有效性，表明开源模型在性能上可以比大公司开发的封闭模型（如 Google 的 StyleDrop）取得更好的结果。

    Mar, 2024

  • 高保真人物中心的主体到图像合成

    人物为中心的图像生成方法由于对常规预训练扩散进行微调导致训练不平衡，同时学习场景和人物生成会降低质量。本文提出了 Face-diffuser，一个协作生成管道，通过专门的预训练扩散模型和新颖的机制 (SNF) 消除训练不平衡并提高生成质量。

    Nov, 2023

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • 从朋友那里学习：基于社交网络的少样本个性化对话系统

    本文提出了一种利用社交网络进行少样本个性化对话的元学习方法，并说明了该方法相较于传统的对话生成方法在适应性、多样性和与说话人的一致性等方面的优势。

    May, 2021