Aug, 2023

ConceptLab：使用扩散先验约束的创造性生成

PDF
TL;DR这篇论文介绍了创造性文本到图像生成的任务，并使用未经研究的扩散先验模型来解决此问题，同时通过一个问题回答模型来逐渐发现越来越独特的创作，最后展示了先验约束不仅作为强大的混合机制，还能引入更多的灵活性。
text-to-image generative modelscreative text-to-image generationdiffusion prior modelsprior constraintsquestion-answering model
发现论文，激发创造
  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 艺术生成的扩散式创意探索

    利用最新的扩散模型生成创意艺术，通过将文本文档与粗略草图作为辅助信息进行模型训练，取得了令人满意的实验结果。

    Jul, 2023

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • 文本为基础的人类图像生成中人本先验在扩散模型中的有效应用

    该研究论文探索将人类中心先验直接整合到模型微调阶段，通过人类中心对齐损失强化文本提示中的人类相关信息，以及通过扩散过程中的比例感知和逐步约束确保语义详细性和人类结构准确性，从而提高了合成基于用户编写提示的高质量人类图像的方法。

    Mar, 2024

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 离散图扩散中不同收敛先验的复杂偏好

    本研究探讨了不同的离散扩散核对于图生成模型的性能的影响，发现使用的先验对生成的图的质量有很大影响，而最优选择并不可由明显的统计或度量来解释。

    Jun, 2023

  • Gen4Gen：生成式多概念组合的生成数据管道

    该研究介绍了一种基于 Gen4Gen 的半自动数据集创建流程，并提出了一种综合指标以更好地量化多概念个性化文本到图像扩散方法的性能。研究通过改善数据质量和提示策略，将实现多概念个性化图像生成质量的显著提高，而无需对模型架构或训练算法进行任何修改。

    Feb, 2024

  • 扩散模型作为即插即用先验

    该论文探讨了在先验概率和一个基于 $x$ 和 $y$ 的不等式约束条件下利用高维数据推断潜在结果。通过使用一个独立训练的去噪扩散生成模型和不同的不等式约束，该方法能应用于各种不同领域的任务，例如条件生成、图像分割以及求解组合优化问题等。

    Jun, 2022

  • 大规模扩散先验下的概念中心个性化

    通过将广阔规模扩散模型与概念中心的个性化相结合，提出了一种新的任务 —— 定制大规模扩散先验。采用通用无分类器引导（GCFG）的方法实现了条件引导的分离，从而解决了指导预测灾难性遗忘的问题，并开发了面向此任务的引导解耦个性化框架。文中还提出了一种无文本的概念中心扩散模型，用于学习概念引导。

    Dec, 2023