Feb, 2024

CustomSketching：基于草图概念提取的草图图像合成和编辑

PDF
TL;DR使用个性化技术的大型文本到图像（T2I）模型允许用户从参考图像中融入新概念。本文旨在通过探索一种新颖的任务，即草图概念提取，通过两阶段框架 CustomSketching 实现草图概念的提取，以实现基于草图的图像合成和编辑。
personalization techniqueslarge text-to-image modelssketch concept extractionsketch-based image synthesiscustomsketching
发现论文，激发创造
  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023

  • 你将永不独行：细粒度图像检索的草图与文本二重奏

    这篇论文提出了通过合成模型和文本来改进细粒度图像检索的方法，创新性地将素描和文本结合起来，从而实现了以往无法实现的精确检索，同时提供了解决各种实际场景的解决方案。

    Mar, 2024

  • 草图胜千言：带文本和草图的图像检索

    本文介绍了一个基于文本及草图的图像检索模型，该模型称为 “TASK-former”，并采用了类似于 CLIP 的融合编码器的方法，众多实验表明，使用草图可以明显提高图像检索的召回率。

    Aug, 2022

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 从图像中推断轮廓素描

    本文提出了一种基于学习的方法，采用新的数据集进行轮廓图的生成和处理，可以精确定位视觉场景的轮廓和边界，相对于传统的边界检测方法有更好的性能表现，并且在 BSDS500 上取得了最新的性能成果。

    Jan, 2019

  • 深度分解反素描技术

    本文针对人类无限制手绘素描建模，尝试将图标式手绘转化为更几何实际的物体轮廓，并分离显著的特征细节，以实现更好的对象匹配，最终提出了一种基于无监督图像风格转移模型的深度 FG-SBIR 模型，通过定量和定性评估，证明了其在风格转移和 FG-SBIR 方面优于现有方法。

    Aug, 2018

  • FreeCustom：无需调整参数的多概念组合定制图像生成

    提出一种基于参考概念的无需微调的方法生成多概念组合的定制图像，仅需每个概念一幅图像作为输入。通过引入多参考自注意力机制和加权蒙版策略，产生与给定概念一致且更好地与输入文本对齐的图像。与其他基于训练的方法相比，在多概念组合和单概念定制方面，方法表现优秀且更简单。

    May, 2024

  • 从一张图像中提取多个概念

    本文提出了一种文本场景分解任务，并介绍了一种基于掩模增强的输入方法和一个新颖的两阶段自定义过程，用于针对生成图像中的特定概念进行微调，并使用多种自动度量标准和用户研究，验证了该方法的有效性。

    May, 2023

  • 针对细粒度素描图像检索的跨模态层次建模

    本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

    Jul, 2020

  • 抽象概念的文本到图像生成

    通过利用三层艺术理论的建议，我们提出了一种用于抽象概念的文本到图像生成的框架，该框架通过将抽象概念转化为明确的意图、从 LLMs 中提取的语义相关的物体和依赖于概念的形式来生成图像。人类评估结果和我们设计的概念评分指标的评价结果证明了我们的框架在表达抽象概念方面的有效性。

    Sep, 2023