Jan, 2023

使用计划化解冻提高适配器为基础的跨语言转移的泛化能力

PDF
TL;DR本文旨在通过实验证明一种新的算法（逐步解冻算法），可以提高适配器跨语言迁移的泛化性能，通过分析 Fisher 信息表明，这与标准微调产生了不同的学习动态和跨语言泛化性能的相关性。
发现论文，激发创造
  • 通过慢速和快速调整以提高跨语言迁移的性能

    本文分析了多语言预训练语言模型的微调过程，找出性能差距何时发生以及哪些网络权重对整体性能影响最大，并提出一种名为 Fine-tuning slow and fast 的方法来解决这些问题，实验结果表明该方法优于基准方法。

    May, 2023

  • 参数高效的鲁棒性全语种持续学习微调

    研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

    Sep, 2022

  • 所有编程语言通用适配器？用于代码搜索和摘要的适配器调节

    本研究提出一种在多语言预训练模型中解决遗忘问题的方法 -- 使用结构适配器仅更新 0.6％的总参数进行微调，取得了代码搜索和汇总任务的最新成果，并在跨语言和低资源情景下实现了良好的性能。

    Mar, 2023

  • 在跨语言迁移范式中衡量灾难性遗忘：探索调整策略

    比较两种基于适配器方法和参数微调的跨语言迁移策略，评估其在少资源语言中的性能和跨语言知识遗忘情况，并发现中间训练策略在目标语言上表现优于跨语言验证策略。

    Sep, 2023

  • 多任务学习自适应调度

    研究了不同的任务调度方法以在多个任务（语言）上同时训练神经机器翻译模型，包括现有的非自适应技术和自适应调度技术，并考虑了隐式调度技术。这些方法使得多语言模型在低资源语言对（少量数据的任务）中表现更好，同时最小化对高资源任务的负面影响。

    Sep, 2019

  • 零样本跨语言生成中克服灾难性遗忘

    本文研究如何在只有英文标记数据的情况下，在目标语言中执行生成任务，以 summarization 作为案例研究。研究发现了通用的迁移学习方法在这种情况下存在困难，并且展示通过 prompt tuning 等方法可以实现跨语言生成。

    May, 2022

  • 通过不间断学习探索预训练跨语言模型的微调技巧

    针对 fine-tuning 预训练语言模型后其跨语言能力减弱的问题，该研究提出了一种利用 continual learning 来保持其原有跨语言能力的方法，并在句子检索、跨语言词性标注和命名实体识别等任务中达到更好的性能。

    Apr, 2020

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和 / 或任务，以提高对话系统的性能。

    Sep, 2021

  • 定位潜在更新用于微调视觉语言模型

    提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

    Dec, 2022

  • 用于跨语言迁移的可组合稀疏微调

    本研究提出了一种新的微调方法，使用模板细分，减少模型参数，并结合多种语言的神经网络，取得了优于适配器微调的零 - shot 跨语言转移性能。

    Oct, 2021