历史学习：面向任务的模型对比学习用于图像恢复

Sep, 2023

历史学习：面向任务的模型对比学习用于图像恢复

Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration

Gang Wu, Junjun Jiang, Kui Jiang, Xianming Liu

TL;DR通过自适应生成负样本的创新方法，我们提出了一种称为 “根据历史学习” 的适应性负样本生成方法，名为 Self-Prior guided Negative loss for image restoration (SPNIR)。我们的方法是任务不可知和通用的，与任何现有的图像修复方法或任务兼容。通过使用 SPNIR 重新训练现有模型，我们展示了方法的有效性。结果显示，在各种任务和架构中，使用 SPNIR 重新训练的模型在图像修复方面取得了显著的改进。

Abstract

contrastive learning has emerged as a prevailing paradigm for high-level vision tasks, which, by introducing properly negative samples, has also been exploited for low-level vision tasks to achieve a compact opti

contrastive learning negative samples adaptive generation image restoration task-agnostic

发现论文，激发创造

针对物理感知的单张图像去雾的课程对比正则化

本研究提出了一种新的课程对比正则化方法，可应用于单幅图像去雾，通过从不同方法的恢复结果和雾图像中选取负样本，获得更好的下界约束。利用基于物理的双分支单元改进特征空间的可解释性，提出了一种名为 C2PNet 的去雾神经网络，该网络在 SOTS 数据集上表现出比现有方法更好的性能。

Mar, 2023

图像修复只需记忆增强

本文介绍了一种结合了三个粒度的内存层和对比学习的 MemoryNet 方法，通过保留图像的深度特征和收敛学习特征以提高恢复性能，并在水雨去除、去阴影、去模糊任务上获得了显著的 PSNR 和 SSIM 增益，以证明恢复图像具有感知逼真性。

Sep, 2023

通过缩放的正负样本对比学习提升组合图像检索

通过构建三元组并利用大型多模态语言模型，提出了解决复合图像检索问题的数据生成方法，并设计了用于优化表示空间的两阶段微调框架，实验结果显示方法在多个数据集上实现了最先进的结果，并在低资源场景下的复合图像检索中表现出色。

Apr, 2024

当硬负采样遇上监督对比学习

提出了一种新的监督对比学习目标 SCHaNe，在细调阶段引入了硬负样本采样，实验结果表明，在各种基准测试中，SCHaNe 在 Top-1 准确率上优于强基准 BEiT-3，少样本学习设置中取得了 3.32% 的显著增益和完整数据集细调中的 3.41% 的显著增益，这一目标在 ImageNet-1k 上取得了 86.14% 的准确率，并且改进的嵌入效果更好，可以解释实验中观察到的改进效果。

Aug, 2023

在野外应用具有控制能力的视觉语言模型进行照片逼真图像修复

采用强大的视觉语言模型和合成降解管道，通过基于扩散模型和后验采样策略的鲁棒训练，提高图片还原质量并解决特定数据集无法恢复模糊、缩放、噪声和 JPEG 压缩等不同降解方式的问题。

Apr, 2024

IRConStyle：使用对比学习和风格迁移的图像修复框架

通过对比学习范式在低级任务上应用（如图像修复）的局限性及有效性的不确定性进行深入分析，提出了三个解决问题的准则，并结合对比学习的灵活性，基于风格转换提出了一种用于图像修复的新模块 ConStyle，并将其高效集成到任何 U-Net 结构的网络中，形成一个图像修复框架 (IRConStyle)，通过在各种图像修复任务上的广泛实验，包括去噪、去模糊、去雨和去雾，验证了 ConStyle 的能力和兼容性，通过替换通用修复网络为基于 transformer、CNN 和 MLP 的网络，ConStyle NAFNet 在 SOTS 户外（去雾）和 Rain100H（去雨）数据集上分别提升了 4.16 dB 和 3.58 dB，并且参数数量减少了 85%。

Feb, 2024

利用失真引导网络的空间自适应图像恢复

本文提出了一种基于补偿放射变形的图像复原方法 SPAIR，该方法结合了损失定位信息和恰当的稀疏卷积，实现了对多种不同空间退化模型的适用，并且在多项实验中均取得了良好的表现。

Aug, 2021

可完全训练和可解释的非局部稀疏模型用于图像恢复

本文提出了一种新的可微分松弛联合稀疏性方法，利用非局部自相似性和稀疏性原则进行图像恢复，经实验证明该方法参数少，性能与现有先进方法相当或更好。

Dec, 2019

面向深度图像恢复的按需学习

本文提出一种基于反馈机制的面向难度级别泛化的深度卷积神经网络图像修复模型自动生成的算法，旨在避免 “固定” 模型对于固定难度级别的训练。实验表明，在四个图像修复任务上，本算法均优于传统训练和课程学习替代方案。

Dec, 2016

基于块状对比样式学习的 Instagram 滤镜去除

该研究提供了一种基于对比 Instagram 滤镜去除网络（CIFR）的方法，旨在恢复社交媒体图像的原始版本，以提高卷积神经网络在本地化和分割任务中的推断性能。实验结果表明，CIFR 提供的策略比以往的研究取得了更好的定量和定性结果。

Apr, 2022