Restorer: 使用一组参数解决多个图像恢复任务
本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。
Nov, 2021
我们提出了 Diverse Restormer（DART），一种新颖的图像修复方法，通过有效地整合来自各种来源（长序列、局部和全局区域、特征维度和位置维度）的信息，解决了修复挑战。我们的方法利用了 Transformer 模型在图像修复方面的卓越性能以及注意力机制方面的最新进展，采用定制化的注意力机制增强了整体性能。DART 是我们的新型网络架构，利用窗口化注意力机制模拟了人眼的选择性聚焦机制。通过动态调整接受域，它能够最佳地捕捉对图像分辨率重建至关重要的基本特征。通过引入长序列图像修复的 LongIR 注意力机制，实现了效率和性能的平衡。在特征和位置维度上整合注意力机制能够进一步提高对精细细节的恢复。在五个修复任务上的评估稳定地将 DART 置于领先地位。一旦被接受，我们将致力于提供公开可访问的代码和模型，以确保可复现性并促进进一步的研究。
Apr, 2024
本研究提出了一种基于数据要素导向的方法，通过利用基于提示的学习来实现单模型高效处理多种图像退化任务，结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模，并引入特征融合机制来改善聚合特征，所得到的 CAPTNet 架构能够处理不同类型的退化情况，在大量实验证明与专门的算法相比具有竞争性的表现。
Sep, 2023
通过创新性的 U-Net 架构设计，提出一个称为 M3SNet 的图像恢复系统，通过特征融合中间件和多头注意力中间块，达到保留空间细节，集成上下文信息，并使用不到一半的计算成本，超过了先前的最优模型。
May, 2023
本文提出了一种简单而有效的神经网络层结构，其可以并行执行多个操作并通过注意力机制进行加权，以选择适当的操作来应对多种组合失真。实验结果表明，该方法比以前的方法在恢复具有多个组合失真的图像方面更为有效。
Dec, 2018
本文介绍一种基于 ConvNets 和多模态视觉语言 (VL) 的追踪方法，通过模态混合器（ModaMixer）和不对称的 ConvNet 搜索，学习新颖的统一自适应 VL 表示，仅使用 ConvNets 能够在 SOTA 追踪中表现出色，甚至超过几个基于 Transformer 的 SOTA 追踪器。
Jul, 2022
该研究提出了一种名为 MPRNet 的多阶段架构，使用编码器 - 解码器架构学习上下文信息和高分辨率分支，结合像素自适应设计重新加权本地特征，从而实现复原图像的同时维持空间细节和上下文信息的最佳平衡，该架构在包括图像去雨、去模糊和降噪等多个任务上均表现出较强的性能表现。
Feb, 2021
本研究探讨了多个任务的图像恢复问题，提出了解决不同目标优化和适应性的策略，即顺序学习和提示学习，在 19 个测试集上得出了这些策略能够显著提高普通 CNN 和 Transformer 模型的综合性能，为训练具有更高泛化能力的图像恢复模型提供了新的理论和方法。
Jan, 2024
我们引入 DINO-IR，一种新颖的多任务图像修复方法，利用从 DINOv2 提取的稳健特征，通过使用浅层特征捕捉低级图像特征、深层特征保证鲁棒语义表征且不敏感于退化、并使用专门的组件进行特征集成，包括多层语义融合模块、DINO-Restore 调适与融合模块以及 DINO 感知对比损失，该方法在各种任务上优于现有的多任务图像修复方法，凸显了增强鲁棒特征对于多任务图像修复的优越性和必要性。
Dec, 2023