ACLMay, 2022

关于在来自非分布数据流中对模型进行持续细化

PDF
TL;DR该研究提出了一种新的持续学习问题形式 —— 持续模型优化，以更好地适用于动态的离散数据流，并进行了相关的评估和分析，以提高生产部署的自然语言处理模型的长期性能。
natural language processingcontinual learningmodel refinementout-of-distribution dataonline performance
发现论文，激发创造
  • 有条件语言模型的越界检测和选择性生成

    本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。

    Sep, 2022

  • 基于分布外重放的连续学习多头模型

    本文提出了一种基于 Transformer 网络的多头模型，使用类特定的分类器来解决类不断增加的连续学习任务，同时支持不同类别数据的 Out-of-Distribution 检测，实验结果优于现有技术。

    Aug, 2022

  • 在线污染数据流模糊任务边界下的连续学习

    本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法，该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度，实验证明该方法显著优于现有的方法。

    Mar, 2022

  • 跨类别分布偏移对连续学习中遗忘的影响

    本文发现连续学习（CL）中的一种特殊的灾难性遗忘 —— 分布偏移遗忘（OODF），特别影响 CL 方法对类别的识别准确度，并强调开发克服 OODF 风险的方法是非常重要的。

    Jun, 2023

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • 连续学习模型的校准

    持续学习聚焦于在非平稳数据流上最大化模型的预测性能。本文通过第一次对持续学习中校准方法行为的实证研究，展示了持续学习策略并不能自然地学习到校准模型，并设计了一种持续校准方法，该方法通过后处理校准方法在不同基准和持续学习策略范围内提升性能。

    Apr, 2024

  • 极限内存约束下的在线连续学习

    本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

    Aug, 2020

  • 克服在线连续学习中的领域漂移

    本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

    May, 2024

  • 关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

    本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

    May, 2023

  • 在线连续学习中的实时评估：新的希望

    该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

    Feb, 2023