通过 Transformer 网络 Restorer，我们设计了一种综合有效的解决方案，能够在去雨、去雪、去雾、去模糊等多种图像修复任务中展现国际领先或可比较的性能，并且在推理时速度更快。

Jun, 2024

本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

Nov, 2021

从一种大型的 ResNet152 骨干网络开始，本文通过将其从 51 个块降至 5 个块，将参数和 FLOPs 的数量降低了 6 倍以上，同时保留了性能，然后在 3 个块之后将模型分割为多个分支，创建一个子网络组合以提高性能。在 40 个图像分类数据集上的实验证明，本文的技术在与 “经典骨干微调” 相当甚至更好的性能的同时，实现了更小的模型尺寸和更快的推理速度。

Oct, 2023

该研究评估了多个轻量级、预训练的 CNN 骨干网络在各种不同数据集上的性能，包括自然图像、医学图像、星系图像和遥感图像，并提供了关于计算机视觉领域不同骨干网络性能和有效性的可行见解，为模型选择提供指导。

Jun, 2024

通过对比学习范式在低级任务上应用（如图像修复）的局限性及有效性的不确定性进行深入分析，提出了三个解决问题的准则，并结合对比学习的灵活性，基于风格转换提出了一种用于图像修复的新模块 ConStyle，并将其高效集成到任何 U-Net 结构的网络中，形成一个图像修复框架 (IRConStyle)，通过在各种图像修复任务上的广泛实验，包括去噪、去模糊、去雨和去雾，验证了 ConStyle 的能力和兼容性，通过替换通用修复网络为基于 transformer、CNN 和 MLP 的网络，ConStyle NAFNet 在 SOTS 户外（去雾）和 Rain100H（去雨）数据集上分别提升了 4.16 dB 和 3.58 dB，并且参数数量减少了 85%。

Feb, 2024

通过神经架构搜索技术，在两个阶段进行修剪（通用和特定任务），以实现图像修复中多种图像效果的高效生成，并大幅减少 FLOPs 和延迟，从而大大提高任务效率。

Dec, 2020

基于神经网络的计算机视觉系统通常建立在一个预训练或随机初始化的特征提取器 —— 骨干模型上。骨干模型使用不同的算法和数据集进行预训练，对于从分类到目标检测到 OOD 泛化等各种计算机视觉任务，进行多样的预训练模型基准测试 。研究表明，在相同架构和相似大小的预训练数据集上，自我监督学习骨干模型具有很高的竞争力，未来的工作应使用先进的架构和更大的预训练数据集进行自我监督学习预训练。

Oct, 2023

对于深度去雨网络，简化训练数据复杂度有助于提高其的泛化能力，因为网络依靠更简单的元素最小化训练损失，从而避免过度拟合雨滴痕迹，提高了去雨效果。

May, 2023

通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

Jan, 2023

通过对图像修复任务中的 Vision Transformers（ViTs）进行实验，发现其在对抗性攻击方面的性能较差，通过对 Restormer 等模型进行对抗性训练可以提高鲁棒性。

Jul, 2023