May, 2022

跨语言终身学习

PDF
TL;DR论文介绍了跨语言寿命学习（CLL）挑战，其中模型不断进行微调以适应来自不同语言的新数据，分析了不同跨语言持续学习算法的知识保留，累积和泛化能力，并提供了如何测量和平衡不同跨语言持续学习渴求的菜谱。
multilingual learningcross-lingual modelcontinual learningdata distributionknowledge preservation
发现论文，激发创造
  • 多源跨语言模型迁移：学习共享的内容

    利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

    Oct, 2018

  • 面向大型语言模型的终身学习：一项调查

    大语言模型（LLMs）中的终身学习可以不断地适应和学习新知识，并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。

    Jun, 2024

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • 多语言场景文字识别中的跨语言学习

    我们研究多语种场景文本识别的跨语言学习，并发现重要的条件是高资源语言的数据集大小，无论高资源语言的种类如何。

    Dec, 2023

  • 在 CLIP 中通过持续语言学习拥抱语言包容性和多样性

    通过连续语言学习 (CL) 扩展视觉 - 语言预训练模型 (VL-PTMs) 的语言能力，并提出了 CLL-CLIP 模型，其通过仅训练标记嵌入来改善内存稳定性，并通过跨模态和跨语言目标进行优化以学习图像和多语种文本之间的对齐关系，实验证明该方法在多语言图像 - 文本检索性能上具有有效性。

    Jan, 2024

  • 自然语言处理中的持续终身学习：综述

    本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

    Dec, 2020

  • 参数高效的鲁棒性全语种持续学习微调

    研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

    Sep, 2022

  • 基于能力的课程学习法在多语言机器翻译中的应用

    本文提出了一种基于能力的课程学习算法 CCL-M，通过均衡不同语言的学习能力，从而达到在多语言机器翻译中提高低资源语言翻译效果的目的，并且运用该算法在动态平衡采样的基础上，对深度学习的训练集积极剔除并添加。最终在 TED talks 数据集上的实验结果表明，与之前最先进的方法相比，本文方法能够取得平稳显著的性能提升。

    Sep, 2021

  • 大型语言模型的持续学习：一项调研

    该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

    Feb, 2024

  • 语言模型的持续知识学习

    本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

    Oct, 2021