在这项工作中，我们提出了一种名为 AdaIR 的新框架，通过在自我监督预训练中使用合成降解物来构建通用的恢复网络，然后训练特定的适配器来适应特定的降解物，从而实现低存储成本和高效训练，达到多任务恢复的卓越结果。

Apr, 2024

通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

Aug, 2023

通过 DyNet 动态网络设计的全能图像恢复任务模型，结合权重共享机制和动态预训练策略，在图像去噪、去雨和去雾等多种任务上取得了最新的成果，同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。

Apr, 2024

本文提出了一种名为 REcurrent ADaption (READ) 的轻量级记忆型微调方法，可以在保持高模型质量的情况下，大大降低训练的内存消耗和 GPU 能源使用，特别适用于微调大型 Transformers 模型。

May, 2023

本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

Mar, 2022

提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

Aug, 2023

本文提出了一种名为 E3VA 的参数、内存和时间高效的视觉适配器调节方法，通过梯度反向传播高速公路实现低秩适配器，可以在保持模型性能相当的情况下，节省高达 62.2% 的训练存储器和 26.2% 的训练时间。

Jun, 2023

本文提出了 Conv-Adapter，一种适用于 CV 的参数高效调整方法，通过学习特定任务的高效特征调整使得在各种分类下游任务上表现出色，且具有与传统方法相当的性能，同时适用于检测和分割任务。

Aug, 2022

本文提出了一种高效的参数共享迁移学习 (PROPETL) 方法，它可以在不同层间和任务间共享单一 PETL 模块，然后使用二进制掩码选择共享的原型网络的不同子网络，并将其应用为 PETL 模块进入不同的网络层中，从而达到大幅减少模型参数及存储的效果。实验证明我们提出的模型在各种下游任务上性能优异，模型参数仅为其他 PETL 方法的约 10%。

May, 2023

使用大规模训练数据的预训练模型在各种高层次的计算机视觉任务中表现出色，但在低层次的图像修复任务中的潜力仍未得到充分探索。本文通过引入一个名为 Pre-Train-Guided Refinement Module (PTG-RM) 的轻量级模块，使用预训练模型的特征优化目标图像修复网络的修复结果，并通过各种实验验证了其在降噪、去雨、去模糊和低光照增强等任务中有效提升修复性能。

Mar, 2024