Mar, 2022

CoGS：从草图和风格进行可控生成和搜索

PDF
TL;DR使用 CoGS 方法，通过输入手绘草图和样式编码图像生成图像，实现对图像结构和外观的粗粒度控制；进一步通过将码簿表示映射到向量空间，实现对多个综合选项的精细控制；同时，该方法还融合了搜索和综合任务，使用户可以根据搜索结果进一步优化图像的细节。
cogssketch-driven synthesisimage generationtransformer-based encodervqgan
发现论文，激发创造
  • 可控高斯点云投影

    使用 CoGS 方法可以直接操纵场景元素，实现对动态场景的实时控制，且在视觉保真度方面始终优于现有的动态和可控神经表示方法。

    Dec, 2023

  • 基于人类概念代表的可控视觉刺激生成

    理解人类是如何处理视觉对象的是认知科学的一个核心问题，这篇研究利用 Concept based Controllable Generation (CoCoG) 框架，通过两个组成部分 —— 提取可解释概念并预测人类在视觉相似性判断任务中的决策行为的 AI 代理以及给定概念生成视觉刺激的条件生成模型，评估了 CoCoG 的性能，结果显示 CoCoG 能够准确预测人类行为、生成多样的对象以及通过干预关键概念操纵人类相似性判断行为，为深入理解人类认知中的因果关系提供了具有控制概念的视觉对象。

    Apr, 2024

  • QC-StyleGAN -- 品质可控的图像生成与操作

    本文提出了一种新的 GAN 结构 QC-StyleGAN，可以控制生成图像的质量以及处理低质量图像，包括去噪、去模糊、去压缩等。其基于 StyleGAN 家族模型，可以实现图像剪裁、转移、插值等应用。

    Dec, 2022

  • SketchyCOCO: 由自由形手绘场景草图生成图像

    本文提出了一种通过免费手绘的草图实现控制式图像生成的方法，使用由属性向量桥接的生成对抗网络进行高质量的对象级图像内容生成，在称为 SketchyCOCO 的大规模混合数据集中验证了该方法的运用和效果并证明了其生成逼真复杂的场景级图像的能力。

    Mar, 2020

  • SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

    通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

    Dec, 2021

  • 弱监督图像生成中的风格和语义控制

    我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

    Dec, 2019

  • 基于语义解释的组成泛化挑战 ——COGS

    评估语言处理架构的组成能力的语义解析数据集 COGS 表明现代标准 NLP 模型在其组成泛化能力上存在局限性，而将 COGS 定位为衡量进展的好方法。

    Oct, 2020

  • SofGAN：一种具有动态风格的肖像图像生成器

    提出了一种 SofGAN 图像生成器来将肖像的潜在空间分解为几何空间和纹理空间，在经过一系列实验后，展示了该系统可以生成具有对几何和纹理属性具有独立可控性的高质量肖像图像。

    Jul, 2020

  • 组合生成对抗网络：学习图像条件下的二元组合

    本文提出 Composition-by-Decomposition 网络，采用两个独立分布的物体生成具有真实纹理和形状的合成图像，以此捕捉多物体之间的空间相互作用关系，从而在生成场景方面获得更好的效果。

    Jul, 2018

  • 使用一手素描定制 StyleGAN

    通过能量学习和借助 CLIP 进行跨域语义监督，我们的工作提出了一种使用单个用户素描控制 StyleGAN 图像的框架，该模型在合成数据集上的定量评估表明，与先前的方法相比，我们的方法在单次测试中性能显著提高，无需额外的训练数据和单个素描输入。

    Oct, 2023