May, 2023

基于小波的无监督标签到图像转换

PDF
TL;DR本文提出了一种新的无监督学习范例 (Unsupervised Paradigm for SIS, USIS)，通过使用自监督分割损失和基于整个图像小波的鉴别方法，结合在小波域中的生成器结构，使得语义图像合成 (SIS) 在不需要大量的配对数据的情况下实现，从而弥补了配对和非配对模型之间的性能差距。在三个具有挑战性的数据集上进行测试，证明了新方法的有效性。
semantic image synthesisgenerative adversarial networksunsupervised paradigmself-supervised segmentation losswavelet domain
发现论文，激发创造
  • 面向城市场景实用语义图像合成

    本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

    May, 2023

  • 无条件生成器的语义图像合成

    通过使用预训练的无条件生成器和重新排列特征图来生成与给定语义掩模相匹配的逼真图像。该方法在各种应用中表现出优势，包括真实图像的自由空间编辑，素描转照片，甚至涂鸦转照片。

    Feb, 2024

  • 面部图像合成的语义部件自动生成

    该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

    Jul, 2023

  • 语义图像分割：二十年的研究

    本调查总结了涵盖二十年的 SiS 研究，并提出了文献综述以及使用转换器的深度学习方法的最新趋势，并强调了 DASiS 技术的影响，其中包括多域学习，域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用，如医学图像分割。

    Feb, 2023

  • 随机条件扩散模型用于语义图像合成

    提出了一种鲁棒的条件扩散模型，用于语义图像合成，通过标签扩散处理噪声标签，同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性，并模拟了现实应用中的人类错误情况。

    Feb, 2024

  • 语义脸部图像合成的对抗性身份注入

    通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构，不仅适用于保护身份，而且在面部识别对抗攻击中也是有效的。

    Apr, 2024

  • 从语义到实例分割：通过语义知识转移和自我优化进行弱监督实例分割

    本文提出一种创新的方法来解决弱监督实例分割任务中的实例定位难题，并使用自我训练方案来改进伪标注，消除语义漂移问题。通过在 PASCAL VOC 2012 和 MS COCO 上广泛实验，证明了该方法的有效性，无需使用与实例或对象有关的预先训练技术。

    Sep, 2021

  • 语义分割的极弱监督图像翻译

    本文旨在将有监督和无监督的图像翻译方法相结合，在像素到像素图像翻译领域取得了重大突破，提出了一种选择非常少的配对训练样本的方法，并在训练过程中同时使用这些配对样本和未配对样本，从而比 Random Selection 获得了更好的性能。

    Sep, 2019

  • 通过表示、变换和补偿增强弱监督图像分割

    弱监督图像分割是计算机视觉中的关键任务，依赖于图像级别的类别标签。我们提出了一种利用具有对比学习的孪生网络改进类别活动图 (CAMs) 质量并实现自我改善过程的新型单阶段 WSIS 方法。我们的方法在 PASCAL VOC 2012 数据集上实验证明其明显优于其他最先进方法，在 PASCAL VOC 2012 验证集和测试集上分别达到了 67.2% 和 68.76% mIoU。此外，我们的方法在弱监督目标定位任务中也展现出竞争力。

    Sep, 2023

  • 重新思考无监督图像语义分割中的对齐和一致性

    本研究提出了一种名为语义关注网络（Semantic Attention Network，SAN）的模型，在无监督的图像语义分割（UISS）任务中采用 “语义关注（Semantic Attention）” 模块生成像素级和语义级特征，该模型具有较好的特征一致性和特征匹配性能，在多个数据集上超过已有方法的分割效果。

    Nov, 2022