CVPRApr, 2023

具有类别亲和性传递的小样本语义图像合成

PDF
TL;DR采用转移学习方法，使用大规模数据源自动估算源类和目标类之间的关系，建立类亲和矩阵并将其作为源模型的第一层，然后将源模型进一步微调来适应目标领域，并应用于基于 GAN 和扩散的体系结构，实现语义图片合成技术的迁移，该方法在现有的生成图像模型的迁移方法上实现了显著改进。
semantic image synthesisper-pixel label mapstransfer learningclass affinity matrixgans
发现论文，激发创造
  • 基于图像级别监督学习像素级语义相似性用于弱监督语义分割

    本文提出了一种用于弱监督下的图像标注的全新框架 ——AffinityNet。该框架通过训练一个深度神经网络，使其能够预测一对相邻图像坐标之间的语义亲和性，从而通过随机游走来实现语义的传播，以生成图像的分割标签。实验表明，使用我们的方法生成的分割标签训练的 DNN，甚至比其它依赖于更强监管的模型表现更为优秀。

    Mar, 2018

  • 减轻语义级别转移：一种用于语义分割的半监督域自适应方法

    本文提出了一种半监督的方法 ASS 来处理域自适应问题，使用语义级别的对抗学习来提高全局和局部特征的分布一致性，从而更好地减轻源域和目标域之间的数据分布差异。实验结果表明，使用少量的注释样本，ASS 可以显著优于目前的无监督方法，并可以通过增加目标域的注释样本克服针对源域的过度拟合.

    Apr, 2020

  • 迭代亲和力学习弱监督语义分割

    该研究提出了一种基于迭代算法的学习方法，利用像素点之间的强关联性来生成密集分割地图，并通过信任区域来确保像素关联的可靠性以在没有准确标记的情况下学习亲和力矩阵，实验表明该方法在 PASCAL VOC 2012 和 COCO 数据集上性能优越。

    Feb, 2020

  • 跨域语义分割的亲和空间自适应

    本文提出了基于结构语义分割输出中成对像素协同模式的特征不变性，利用源域和目标域之间的亲和力空间进行领域自适应，提出了两种亲和力空间自适应策略，在多个具有挑战性的语义分割问题上，所提出的方法优于现有方法。

    Sep, 2020

  • 通过对抗学习进行语义图像合成

    本文提出了一种使用自然语言描述直接合成逼真图像的方法，它有很多有用的应用，例如智能图像操作。我们提出了一种端到端的神经架构，利用对抗学习自动学习隐式损失函数，实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验，我们证明了我们的模型能够合成符合描述要求的逼真图像，同时仍保留原始图像的其他特征。

    Jul, 2017

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 面向城市场景实用语义图像合成

    本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

    May, 2023

  • 图像到图像翻译的语义关系保持知识蒸馏

    本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法，该方法在 5 个数据集和 3 个教师 - 学生模型对的实验中，证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。

    Apr, 2021

  • 利用亲和力学习辅助任务进行弱监督语义分割

    提出了一种利用弱监督学习的多任务、利用显著性检测和多标签图像分类作为辅助任务的新型网络框架 AuxSegNet，借助显著性检测作为辅助任务提高了基于图像级原始标注来执行语义分割任务的准确度，实现了在 PASCAL VOC 2012 和 MS COCO 数据集上表现最佳的弱监督分割性能。

    Jul, 2021

  • 通过膨胀亲和力改进语义分割

    该论文介绍了一种使用直接监督的简单、快速但有效方法来利用结构信息来提高语义分割模型的性能，该方法要求网络显式地预测语义分割以及扩张亲和力，后者是一种稀疏版本的成对像素亲和力，能够直接建立像素间的关系并增强分割质量。

    Jul, 2019