AAAIFeb, 2024

持续学习中自然语言处理的下一个任务和领域的跳转

PDF
TL;DRHOP 方法使用适配器泛化预训练模型、计算嵌入表示分布的高阶矩来区分不同任务和领域的独立和相关统计信息，并使用针对每个最终问题专门设计的辅助头处理丰富的信息，证明了其在 4 个 NLP 应用，5 个基准测试和 2 个 Continual Learning 设置中的有效性。
continual learningnlp tasksknowledge transferadaptershigh-order moments
发现论文，激发创造
  • CoLeCLIP：通过联合任务提示和词汇学习实现开放域持续学习

    本文探讨了在开放领域中视觉语言模型的持续学习问题，介绍了一种名为 CoLeCLIP 的新方法，通过联合学习任务提示和跨领域类别词汇来解决开放领域持续学习中的挑战，实验证明 CoLeCLIP 在开放领域持续学习中超过了最先进的方法。

    Mar, 2024

  • 自然语言处理中的持续终身学习：综述

    本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

    Dec, 2020

  • 自然语言处理任务的持续学习：调查

    本综述全面回顾了自然语言处理领域中持续学习的最新进展，包括现有技术的分类、遗忘和知识迁移问题、未来发展方向。

    Nov, 2022

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 跨领域连续学习

    本研究提出了一种名为交叉领域连续学习（CDCL）的新方法，在一个紧凑的卷积网络中结合了跨任务关注机制，实现了对先前任务特征的对齐，并在相关领域之间进行了无监督的交叉领域学习（UDA）。通过使用一种任务内特定的伪标签方法，确保了有标签和无标签样本的准确输入对，从而增强了学习过程。本方法在公开的 UDA 数据集上进行了广泛实验，显示出在交叉领域连续学习挑战上的良好性能。此外，本研究提出了增量思想，为该领域的进展做出了贡献。

    Feb, 2024

  • 跨领域连续学习的 CLAMP 方法

    我们在这篇文章中提出了一种名为 CLAMP 的跨领域持续学习方法，它集成了一种类感知对抗领域自适应策略，以在复杂变化环境中实现单一模型的部署，避免了额外的标注成本，并且在理论分析和大量实验证明中取得了至少 10% 的显著性优于现有基准算法的效果。

    May, 2024

  • 克服在线连续学习中的领域漂移

    本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

    May, 2024

  • 主动式连续学习：在一系列任务中标记查询

    研究了序列任务中主动持续学习（ACL）问题，其中每个任务都包括未标记数据池和注释预算，并发现了主动学习（AL）算法与 CL 算法之间的有效性和相互作用。实验揭示了忘却旧知识和快速学习 CL 和 AL 之间两个相反目标之间的权衡，并提出了一个遗忘 - 学习剖面来平衡 AL 和 CL 对课程增量方案的影响。

    May, 2023

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023

  • 探索面向代码生成模型的持续学习

    本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

    Jul, 2023