Feb, 2024

IRConStyle：使用对比学习和风格迁移的图像修复框架

PDF
TL;DR通过对比学习范式在低级任务上应用（如图像修复）的局限性及有效性的不确定性进行深入分析，提出了三个解决问题的准则，并结合对比学习的灵活性，基于风格转换提出了一种用于图像修复的新模块 ConStyle，并将其高效集成到任何 U-Net 结构的网络中，形成一个图像修复框架 (IRConStyle)，通过在各种图像修复任务上的广泛实验，包括去噪、去模糊、去雨和去雾，验证了 ConStyle 的能力和兼容性，通过替换通用修复网络为基于 transformer、CNN 和 MLP 的网络，ConStyle NAFNet 在 SOTS 户外（去雾）和 Rain100H（去雨）数据集上分别提升了 4.16 dB 和 3.58 dB，并且参数数量减少了 85%。
contrastive learningimage restorationconstylegeneral restoration networkirconstyle
发现论文，激发创造
  • ConStyle v2：一个强大的全方位图像修复提示器

    该论文介绍了 ConStyle v2—— 一个强大的即插即用提示器，旨在输出干净的视觉提示并帮助 U-Net 图像恢复模型处理多种退化。深度训练证明 ConStyle v2 能够增强任何 U-Net 图像恢复模型，成为全能图像恢复模型的优秀引导者。

    Jun, 2024

  • 用 Transformer 和对比学习重新思考任意风格转换

    本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。

    Apr, 2024

  • 基于块状对比样式学习的 Instagram 滤镜去除

    该研究提供了一种基于对比 Instagram 滤镜去除网络（CIFR）的方法，旨在恢复社交媒体图像的原始版本，以提高卷积神经网络在本地化和分割任务中的推断性能。实验结果表明，CIFR 提供的策略比以往的研究取得了更好的定量和定性结果。

    Apr, 2022

  • 通过对比学习增强领域任意图像风格转移

    本文提出一种使用深度对比学习的方法，通过学习图像特征来获得图像的样式表示，并使用生成网络进行样式转移。研究表明，相对于现有的基于二阶统计量的方法，这种方法能够更加有效地获取图像的样式信息并生成更好的结果。

    May, 2022

  • 历史学习：面向任务的模型对比学习用于图像恢复

    通过自适应生成负样本的创新方法，我们提出了一种称为 “根据历史学习” 的适应性负样本生成方法，名为 Self-Prior guided Negative loss for image restoration (SPNIR)。我们的方法是任务不可知和通用的，与任何现有的图像修复方法或任务兼容。通过使用 SPNIR 重新训练现有模型，我们展示了方法的有效性。结果显示，在各种任务和架构中，使用 SPNIR 重新训练的模型在图像修复方面取得了显著的改进。

    Sep, 2023

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • 领域泛化和自适应的样式归一化和恢复

    本文提出了一种新颖的风格规范化和恢复模块（SNR），通过进行实例规范化来过滤出样式变化，并从残差中提取任务相关的判别特征，保证了网络的高可区分性，同时在分类、语义分割和目标检测等计算机视觉任务中验证了 SNR 的有效性。

    Jan, 2021

  • 稳健的无监督 StyleGAN 图像修复

    本文提出了一种基于 GAN 的图像去噪、增强方法，引入了 3 个阶段渐进式潜空间扩展和保守优化器，使该方法对于多种不同水平的退化具有鲁棒性，效果比其他基于 StyleGAN 和扩散方法的方法更好。

    Feb, 2023

  • 基于风格迁移的图像合成作为深度学习中有效的正则化技术

    本文探讨了深度学习在图像分析和分类方面的弱点，提出利用基于神经风格转换的数据增强方法以提高数据集的泛化能力，并通过应用于皮肤病分类案例验证了其潜力。

    May, 2019

  • Restorer: 使用一组参数解决多个图像恢复任务

    通过 Transformer 网络 Restorer，我们设计了一种综合有效的解决方案，能够在去雨、去雪、去雾、去模糊等多种图像修复任务中展现国际领先或可比较的性能，并且在推理时速度更快。

    Jun, 2024