Jan, 2024

基于即插即用变压器单元的无监督测试时适应

PDF
TL;DR通过引入 PLUTO（Plug-and-pLay modUlar Test-time domain adaptatiOn）方法，本研究介绍了一种预训练模型通过无监督的测试时自适应方法来选择和组合相关模块，实现了动态适应新领域的能力，从而对于参数高效的调整、领域适应提出了一种新的有效和可伸缩的范式。
parameter-efficient tuningloraadaptervisual prompt tuningpluto
发现论文，激发创造
  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • PVP：预训练的视觉参数高效微调

    本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

    Apr, 2023

  • ExPLoRA：参数高效的扩展预训练用于适应领域偏移的视觉变换器

    通过使用 ExPLoRA 技术，在对卫星图像进行迁移学习时，只使用很少的参数数量，在无监督的预训练阶段只解冻 1-2 个预训练的 ViT 块和所有归一化层，然后通过 LoRA 微调所有其他层，最后只通过 LoRA 在新域上对模型进行微调，获得了基于先前完全训练和微调的 ViTs 的最先进结果。

    Jun, 2024

  • 扰动一致性学习下的测试时自适应

    本文介绍了一种名为 PCL 的简单的测试时间自适应方法，用于解决分布转移问题和提高预测的稳定性。实验结果表明，与强大的 PLM 骨干和先前的 TTA 方法相比，该方法能够在更短的推理时间内实现更高或可比较的性能。

    Apr, 2023

  • UniPT: 通用并行调优的高效参数和内存迁移学习

    提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

    Aug, 2023

  • 可靠的测试时间适应性的解耦原型学习

    通过提出 Decoupled Prototype Learning (DPL) 方法，本研究解决了使用伪标签进行交叉熵损失微调时容易受到标签噪声影响的问题，并引入了基于内存的策略增强小批量处理的鲁棒性，在遇到不确定伪标签的样本时，使用一致性正则化方法转移特征风格以提高测试时自适应（TTA）的可靠性。实验结果表明，我们的方法在领域泛化基准上取得了最先进的性能，并可靠提高图像破坏基准上基于自训练方法的性能。

    Jan, 2024

  • 连续的测试时域自适应

    提出了一个基于权重平均和增强平均预测的持续测试时间自适应方法，在长期内实现了所有神经网络参数的适应，同时有效避免了疾病遗忘和噪声伪标签带来的错误积累，该方法处理的问题主要集中在测试时间域适应和深度学习等领域。

    Mar, 2022

  • 自适应测试时个性化的联邦学习

    通过自适应学习算法（ATP）从分布变化中学习模型适应速率，测试时间个性化联合学习（TTPFL）方法优于传统的测试时间适应方法（TTA），适用于处理各种分布变化的数据集和模型架构。

    Oct, 2023

  • KronA: 具有 Kronecker 适配器的参数高效调整

    本研究提出一种基于 Kronecker 乘积的适配器模块 KronA 以提高预先训练的语言模型 fine-tuning 的效率，应用于 T5 模型的实验表明，该方法在 GLUE 基准测试中表现优于现有的 Parameter Efficient Tuning 方法。

    Dec, 2022

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023