SIGIRMay, 2023

跨语言转移开放域对话生成中减轻灾难性遗忘的提示学习

PDF
TL;DR本文探讨了如何在有限数据的情况下，使用少量样本跨语言迁移学习和多任务学习来进行开放域对话生成，同时发现了这两种方法在实验中的灾难性遗忘问题，并提出了一种简单有效的提示学习方法，以应对这一问题。实验结果表明，该方法在六种语言中均表现出了较好的效果。
发现论文，激发创造
  • 零样本跨语言生成中克服灾难性遗忘

    本文研究如何在只有英文标记数据的情况下，在目标语言中执行生成任务，以 summarization 作为案例研究。研究发现了通用的迁移学习方法在这种情况下存在困难，并且展示通过 prompt tuning 等方法可以实现跨语言生成。

    May, 2022

  • 通过多语言提示翻译进行自然语言推理的跨语言迁移

    基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

    Mar, 2024

  • 多任务微调实现跨语言通用化

    研究发现多任务 finetuning 可以帮助大型多语言模型成功推广至非英语任务中，并且使用机器翻译英文为前缀可以获得更好的性能，最终实现零 - shot 的结果。

    Nov, 2022

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 在跨语言迁移范式中衡量灾难性遗忘：探索调整策略

    比较两种基于适配器方法和参数微调的跨语言迁移策略，评估其在少资源语言中的性能和跨语言知识遗忘情况，并发现中间训练策略在目标语言上表现优于跨语言验证策略。

    Sep, 2023

  • LLMs 中并非所有语言的质量相同：通过跨语言思维提示提高多语言能力

    本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估，实验结果显示 XLT 不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。

    May, 2023

  • 多语言模型的离散和软提示

    本文研究表明，在预训练语言模型中，离散和软提示表现良好，且在多语言情况下性能要优于 finetuning，特别是在跨语言传递和多语言自然语言推断方面。

    Sep, 2021

  • 大规模多语言持续学习中克服灾难性遗忘

    本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

    May, 2023

  • 面向零 - shot 跨语言任务驱动对话系统的注意力导向混合语言训练

    该研究提出了 Attention-Informed Mixed-Language Training (MLT) 方法，用于跨语种任务定向对话系统的零样本适应。该方法通过利用极少的任务相关平行词对来生成代码交换句子，并利用注意层给出的分数提取源单词，最终实现了显著的零 - shot 适应性能提升。

    Nov, 2019

  • 持续学习自然语言新任务中预防灾难性遗忘

    该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

    Feb, 2023