Oct, 2023

Res-Tuning：一种通过与主干结构解耦的灵活高效调优范式

PDF
TL;DR参数高效调优的新范式 Res-Tuning 将调优器与网络解耦，从而实现多样调优策略的灵活组合，并通过实验证明其在效能和效率方面优于现有替代方案。
parameter-efficient tuningres-tuningunbinding formulationflexible combinationefficacy and efficiency
发现论文，激发创造
  • Res-Attn: 一种带有轻量级注意力机制的增强型 Res-Tuning 方法

    基于 Res-Tuning 框架，本研究提出了一种高级高效的调谐器 Res-Attn，利用低秩注意力机制对查询、键和值进行投影，通过训练这个轻量级的注意力模块，实现了对新场景的自适应，并在一系列判别性和生成性任务中展示了与现有方法相比的优越性能。

    Dec, 2023

  • CST: 参数和内存高效迁移学习的校准边调

    通过融合适配器调整和边调整的成功技术，引入了一种轻量级微调策略，即校准侧调整，用于 ResNet，该方法通过最大的过渡校准来提高网络性能，并在保持平稳训练过程的同时利用少量的额外参数。通过在 ResNet 中实施并在五个基准数据集上进行广泛实验，证明了该方法在物体检测网络中优于其他最先进技术，并取得了复杂性和性能之间的更好平衡。

    Feb, 2024

  • 低秩重缩放视觉转换器微调：一种残差设计方法

    利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

    Mar, 2024

  • 残差提示调节：使用残差重参数化改进提示调节

    本研究提出了一种简单而高效的 Residual Prompt Tuning 方法，通过重新参数化软提示嵌入来显著提高 prompt 调整的性能和稳定性，在 SuperGLUE 基准测试中比 prompt 调整表现显著优异，减少提示长度 10 倍不损害性能，且在少样本学习领域也表现良好。

    May, 2023

  • Y-Tuning：一种通过标签表示学习进行大规模预训练模型高效调整的新兴范式

    本文提出了一种高效的 Y-Tuning 方法，用于将已经训练好的大规模模型应用于特定的下游任务，通过对特定任务标签的学习，对大规模 PTMs 进行有效的适应，实现了在 GLUE Benchmark 上 96％以上的性能表现与 2％可调参数和更少的训练成本。

    Feb, 2022

  • 预训练表示的双调谐

    本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。

    Nov, 2020

  • 针对视觉语言模型的任务残差调节

    本篇论文提出了一种名为 Task Residual Tuning 的新的视觉语言模型的高效调整方法，其中通过保留原有分类器权重的方式，针对目标任务调整一组先独立参数作为原有分类器的残差，以实现可靠的先验知识保存和灵活的任务特定知识探索，并在 11 个基准数据集中显著优于当前的高效转移学习方法。

    Nov, 2022

  • 视觉调整

    本文调查了最近的大量工作，提供现有工作和模型的系统性和全面性概述，将最近的视觉微调技术分为五组：提示微调，适配器微调，参数微调和重新映射微调，并提供前瞻性预训练和视觉微调中的各种交互的激动人心的研究方向。

    May, 2023

  • 多任务大模型设备调优

    本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

    Feb, 2023

  • 通过调整输入空间来使用预训练的骨干网络进行持续学习

    本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

    Jun, 2023