CVPRApr, 2024

条件感知神经网络对图像的控制生成

PDF
TL;DR使用 Condition-Aware Neural Network（CAN）方法，通过动态操纵神经网络的权重来控制图像生成过程，CAN 在 ImageNet 上的类别条件图像生成和 COCO 上的文本到图像生成方面实现了显著的改进。
condition-aware neural networkimage generative modelsconditional control methodsclass-conditional image generationdiffusion transformer models
发现论文，激发创造
  • 具有条件卷积层的 cGANs

    本文提出了一种称为条件卷积层的卷积神经网络方法，该方法通过不同的权重生成不同的特征图，并通过简单而有效的方法进行条件调整，从而可以更有效地处理条件特征，金实验结果表明，使用提出的条件卷积层的生成模型可以比使用标准卷积层更好地生成类别相关的图像。

    Jun, 2019

  • 多域文本分类的条件对抗网络

    本文提出了条件对抗网络 (CANs) 框架，旨在探索共享特征和标签预测之间的关系，以对共享特征施加更多的可辨识性，用于多领域文本分类 (MDTC)。CAN 引入了一个条件域鉴别器，同时对共享特征表示和类别感知信息建模，采用熵条件保证共享特征的可转移性。我们提供了 CAN 框架的理论分析，证明 CAN 的目标等价于最小化共享特征和标签预测的多个联合分布之间的总发散。因此，CAN 是一个理论上良好的对抗网络，其可以判别多个分布。在两个 MDTC 基准测试上的评估结果表明，CAN 优于之前的方法。进一步的实验表明，CAN 具有将学习到的知识推广到未见领域的良好能力。

    Feb, 2021

  • 条件可逆神经网络辅助图像生成

    通过使用一种新的网络模型，即条件可逆神经网络，我们可以对特定条件下的自然图像生成进行有效的前处理，以便于训练出不会出现模式崩溃并生成多样化图像的模型。同时，我们利用双向 cINN 架构探索和操作潜在空间的新特性，例如通过直观方式改变图像风格。

    Jul, 2019

  • 可控的文本到图像生成

    该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

    Sep, 2019

  • 条件生成对抗网络

    本文介绍了一种新颖的生成模型 —— 条件生成对抗网络，可以通过给生成器和判别器同时提供我们希望对条件进行的数据 y 来构建。本文展示了这个模型可以根据类别标签生成 MNIST 数字，并提供了一个多模态的模型应用示例，演示了如何生成不属于训练标签的描述性标签。

    Nov, 2014

  • OmniControlNet：双阶段整合的条件图像生成

    我们提供了一种双向集成的方法，将外部条件生成算法整合到一个密集预测方法中，并将其单独训练的图像生成过程合并到一个模型中。我们提出的 OmniControlNet 通过任务嵌入引导和文本嵌入引导，将条件生成和图像生成过程整合到一个模型中，从而显著降低了模型复杂性和冗余，并能够生成与条件文本到图像生成相媲美的图像。

    Jun, 2024

  • 全卷积适应网络用于语义分割

    本文提出了一种全卷积自适应网络（FCAN）用于语义分割，该网络综合了外观适应网络（AAN）和表示适应网络（RAN），通过对领域适应的视觉外观级别和表示级别进行改进，实现了从合成图像到真实世界图像的领域适应。论文进行了广泛的实验，在 GTA5 到 Cityscapes 和 BDDS 领域不需要监督地自适应，实现了优于现有技术的结果，并在 BDDS 上获得了新的记录 —— 无监督的 mIoU 为 47.5％。

    Apr, 2018

  • CANet：带有迭代精化和关注少样本学习的类别无关分割网络

    本文提出 CANet，一种无类别限制的语义分割网络，可以在只有少量标注图像的情况下用于新类别的分割，网络采用两个分支的密集比较模块进行多层特征比较，并采用迭代优化模块进行预测结果的迭代优化，并引入注意机制来对 k-shot 学习中的多个支持样本信息进行有效融合，实验结果在 PASCAL VOC 2012 数据集上表明，在 1-shot 和 5-shot 分割中取得 55.4％和 57.1％的平均 IoU 分数，分别比现有最佳方法高出 14.6％和 13.2％。

    Mar, 2019

  • C3Net：复合条件控制网络用于多模态内容生成

    我们提出了 Compound Conditioned ControlNet（C3Net），这是一种新颖的生成神经架构，它从多种模态中获取条件并同时合成多模态内容（例如图像、文本、音频）。C3Net 将 ControlNet 架构适应到一个可生产的扩散模型及其可训练副本上。使用基于对比训练的模态特定编码器，C3Net 首先将多模态条件对齐到相同的语义潜空间，然后基于对齐的潜空间生成多模态输出，其语义信息使用称为 Control C3-UNet 的 ControlNet 类似架构进行组合。我们的模型通过学习和解释多模态条件而不仅仅在潜空间上进行线性插值，从而提供了一种改进的联合模态生成解决方案。此外，由于我们将条件对齐到统一的潜空间，C3Net 只需要一个可训练的 Control C3-UNet 来处理多模态语义信息。我们的模型在条件对齐阶段进行了单模态预训练，在相对稀缺的训练数据上优于未经预训练的对齐，从而展现了高质量的复合条件生成能力。我们提供了第一个高质量的三模态验证集，可定量验证 C3Net 在多模态生成方面优于或与最先进的方法相媲美。我们将发布我们的代码和三模态数据集。

    Nov, 2023

  • ControlNet++：通过高效一致性反馈改进条件控制

    通过像素级别的循环一致性优化生成的图像与条件控制之间的一致性来提高图像的可控性。

    Apr, 2024