Oct, 2023

SemST: 结构纹理对齐的语义一致多尺度图像翻译

PDF
TL;DR通过对比学习和对齐输入和输出的结构和纹理特性，提出了一种名为 SemST 的新型 I2I 方法，用于在保持语义的同时实现语义无损的领域内图像映射，进一步引入多尺度方法增强翻译性能，适用于高分辨率图像领域适应。实验证明，SemST 可以有效减少语义失真，并取得了最先进的性能，同时还探讨了 SemST 应用于领域适应的可能性，初步实验表明 SemST 可作为语义分割任务的有益预训练。
发现论文，激发创造
  • SemI2I：面向遥感数据域自适应的语义一致图像翻译

    本文介绍了一种基于生成对抗网络的数据增强方法，可以有效地解决卷积神经网络在训练和测试数据之间存在领域差异时性能显著降低的问题。实验结果表明，该方法在领域自适应上表现出优异的性能。

    Feb, 2020

  • 面向语义分割领域自适应的语义感知图像翻译

    该论文探讨了解决语义分割领域中的域适应问题，提出了基于生成模型和像素级域对齐的方法，通过实验表明其在解决合成数据到真实场景的语义分割问题上的优越性。

    Sep, 2020

  • S2ST：基于隐变分扩散种子空间的图像到图象翻译

    S2ST 是一个新颖的框架，用于在复杂的照片逼真图像中实现全局图像转换，如汽车场景的日夜或晴雨转换，通过利用由潜在扩散模型学习到的强大图像先验，S2ST 在改善保真度的同时保持了目标领域的外观，并超越了基于 GAN 的图像转换方法和基于扩散的方法，并值得注意的是，S2ST 免除了训练领域特定的转换网络的必要性。

    Nov, 2023

  • 无配对的图像语义数据鲁棒性转化

    针对许多不成对图像翻译应用需要在翻译过程中保持输入内容的语义，而现有的分布匹配方法容易导致翻译出现意义的混淆，本文提出了一种基于对抗学习的方法来实现对输入内容的意义保护，称为 “语义鲁棒性”，该方法使用多尺度特征空间扰动对鲁棒性损失进行优化，能够有效降低输出的语义翻转现象，并在定量和定性方面优于现有方法。

    Dec, 2020

  • 探索非配对图像翻译中的语义一致性，以生成外科应用数据

    探索了无配对图像翻译技术在手术应用中生成具有语义一致性数据的可行性，并发现结构相似性损失和对比学习的简单组合方法取得了最有希望的结果。定量分析表明，使用这种方法生成的数据具有更高的语义一致性，可以更有效地用作训练数据。

    Sep, 2023

  • Sem-GAN：语义一致的图片到图片转换

    Sem-GAN 提出了一种语义一致的 GAN 框架，用于多模态图像翻译任务。该框架引入了约束来保持源域的图像标识，同时确保翻译后的图像具有目标域的外观，还指出使用经 Sem-GAN 翻译的合成图像训练的语义分割模型可显著改善分割结果。

    Jul, 2018

  • 基于预训练 StyleGAN2 网络的无监督图像到图像的翻译

    通过在预训练的 StyleGAN2 模型上进行一系列的模型变换，我们提出了一种新的图像到图像 (I2I) 转换方法，并提出了一种反演方法，以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能，与最先进的作品相比。

    Oct, 2020

  • 结构全知：通过领域间结构信息适应性增强语义分割

    本文提出了一种基于结构内容的无监督领域自适应语义分割方法，通过 Domain Invariant Structure Extraction (DISE) 框架实现跨领域图像转换和标签转移，大量实验证明该方法在无标注数据情况下具有更高的分割性能。

    Mar, 2019

  • 基于扩散的图像转换在领域自适应语义分割中的应用

    通过使用源领域标签作为图像翻译的明确指导，本文提出了一种创新的方法来解决领域自适应语义分割中的语义一致的局部细节保持问题，并利用了渐进翻译学习策略来实现在具有大差距领域中可靠工作的语义梯度引导方法。大量实验证明了我们方法相对于最先进的方法的优越性。

    Aug, 2023

  • ProCST: 基于渐进循环风格迁移的语义分割增强

    提出一种针对图像数据的新型两阶段框架，通过逐步训练多尺度神经网络从源域到目标域执行图像翻译，将生成的新数据作为任何标准 UDA 方法的输入，以进一步降低域差距，达到提高域自适应技术的效果。

    Apr, 2022