Aug, 2023

通过选择性参数微调克服通用知识丢失

PDF
TL;DR本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。
foundation modelsmodel updateslocalized modificationscontinual learningpre-trained knowledge
发现论文，激发创造
  • 基础模型的参数高效主动学习

    通过在活动学习（AL）框架内应用参数高效微调方法对极限预算限制的分类任务中的采样选择过程进行研究，本研究展示了基础视觉转换模型在图像数据集上表现出色的少样本性能，并突出显示了将参数高效微调方法与基础模型相结合的战略优势，从而改进了这些具有挑战性的数据集上的活动学习性能，为优化 AL 策略做出了贡献，并为在专业领域高效和有效地进行数据注释提供了有前景的研究方向。

    Jun, 2024

  • 特化与泛化：对基础模型微调中灾难性遗忘的实证研究

    为了解决 fine-tuning 中特性和广泛适用性之间的矛盾，我们研究了来自持续学习的多种规范化方法和来自越界通用化的权重平均方法，发现持续学习和 Wise-FT 方法可以有效减轻广泛适用性的损失，其中 Wise-FT 在平衡特性和广泛适用性方面表现最好。

    Sep, 2023

  • 参数高效的鲁棒性全语种持续学习微调

    研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

    Sep, 2022

  • 微调可能削弱基础模型；保留特征可能是解决方案

    通过使用 LDIFS 方法，可以在保持下游任务性能不受明显影响的情况下，显著减少概念遗忘现象。

    Aug, 2023

  • 通过调整输入空间来使用预训练的骨干网络进行持续学习

    本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

    Jun, 2023

  • 定位潜在更新用于微调视觉语言模型

    提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

    Dec, 2022

  • 面向参数高效的迁移学习统一视角

    本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

    Oct, 2021

  • 关于层标准化调整在视觉 Transformer 连续学习中的有效性

    通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在 ImageNet-R 和 CIFAR-100 实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

    Aug, 2023

  • 神经机器翻译的连续学习在低遗忘风险区域内进行

    本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

    Nov, 2022

  • 基础模型的少样本调整研究：多任务微调方法

    基金模型的有效适应新任务，特别是那些有限标签的任务，一直是一个开放性问题，缺乏理论理解。本研究通过理论分析和大量实证证据，研究多任务微调方法的理论验证和任务选择算法，为基金模型在缺少充足标签的新任务上的有效适应提供新的视角。

    Feb, 2024