Feb, 2024

微调预训练模型时应复习哪些预训练样本？

PDF
TL;DR通过轻量级、易于实现的抽样方案 mix-cd，可以有效地识别并优先处理遗忘样本（即 collateral damage），从而减轻预训练知识在微调过程中的遗忘问题，并无需额外的计算成本。
fine-tuningpretrained modelsforgettingsampling schemecollateral damage
发现论文，激发创造
  • 回忆和学习：用更少的忘却对深度预训练语言模型进行微调

    本论文提出了一种召回和学习机制，它采用了多任务学习的思想，联合学习预训练任务和下游任务，通过先简单地回忆预训练任务的知识，然后逐渐关注下游任务的学习，以实现减少忘记的微调。实验表明，该方法在 GLUE 基准上实现了最新的性能，并为 NLP 社区提供了开源的 RecAdam 优化器。

    Apr, 2020

  • 对话响应模型预训练微调中的遗忘问题分析

    本研究探讨预训练 - 微调框架中的微调阶段如何改变预训练神经语言生成模型的行为，发现标准微调后模型遗忘了某些重要的语言生成技巧，提出了一种直观的微调策略 “混合回顾”，能够缓解模型遗忘现象，最终讨论了对话模型的有趣行为及其含义。

    Oct, 2019

  • 预训练模型选择在越界泛化与校准中的实证研究

    我们的研究强调了预训练模型在微调中对于处理分布外泛化性能和推理不确定性的影响，结果突出了预训练模型选择的显着影响，证明了在算法选择方面的性能提高，大型模型表现更好，但记忆化和真正泛化之间的平衡仍需进一步研究，我们的研究强调了预训练模型选择对于提高分布外泛化性能的重要性。

    Jul, 2023

  • 利用自然语言监督改进视觉微调

    本文通过引入一种基于文本监督的微调方法（TeS），旨在缓解预训练模型中的 bias 问题，并在 11 个下游任务上进行了验证。实验结果表明，该方法能够显著提高微调的效果。

    Apr, 2023

  • 再次训练的局限性和优点揭示：持续学习中重访样本的限度和优点

    本文探讨了不断学习中，使用 rehearsal 方法的优点和局限，通过三个基准测试提供了实证证据，指出使用该方法的模型在任务完成后仍然处于较低的损失区域，但有过拟合采样数据的风险从而降低模型的泛化能力，这是一项重要的持续学习研究。

    Apr, 2021

  • 询问您的分布偏移是否适合预训练

    该研究旨在界定预训练在处理数据分布偏移时可以解决的失败模式，发现预训练可以缓解数据外推问题，但对数据集偏见无效；研究结果指出，预训练和干扰同时使用可以增加模型的鲁棒性，也发现在小规模、非多样但去除偏见的数据集上进行微调可以得到比在大规模和多样但有偏见的数据集上进行微调更加鲁棒的模型。

    Feb, 2024

  • 概念级微调对防止负面迁移的重要性

    通过概念微调（Concept-Tuning）方法，可以改善预训练模型的特征表示，减少罕见特征和虚假关联特征的负面影响，进而提高细调方法在各种数据集上的表现。

    Nov, 2023

  • 通过因果推断保留预训练语言模型中的常识知识

    通过在因果图上探索，本文发现灾难性遗忘的关键在于缺失来自预训练数据的因果影响，提出了一种统一的微调目标以恢复因果关系，将该方法实现在常识 QA 上的结果表明其有效性。

    Jun, 2023

  • 通过隐式推理理解语言模型中的灾难性遗忘

    微调语言模型会在特定任务上产生性能提升，但对其他任务可能造成能力抑制。为了恢复预训练能力，通过对任务进行翻译使其远离语言模型微调分布，发现可以恢复上下文学习能力，并使聊天机器人生成有害内容。

    Sep, 2023

  • 数据丢弃：优化卷积神经网络的训练数据

    本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

    Sep, 2018