ACLApr, 2021

基于信息解缠正则化的文本分类连续学习

PDF
TL;DR本研究提出了基于信息分离的正则化方法，并引入了两个简单的辅助任务，用于在大规模基准测试中进行不同长度和序列的持续文本分类任务，证明了该方法的有效性。
continual learningnlp modelstext classificationinformation disentanglementauxiliary tasks
发现论文，激发创造
  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 利用信息论指导改进解缠文本表示学习

    通过信息理论，提出了一种能够有效将自然语言进行解缠编码的新方法，产生了在内容和风格保留方面高质量的解缠表示，借助互信息的上界来度量风格和内容之间的相关性，实现对风格和内容嵌入成两个独立的低维空间。

    Jun, 2020

  • 信息论视角下缓解连续文本分类中的灾难性遗忘

    持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方法 InfoCL。该方法利用快慢对比学习和当前 - 过去对比学习来进行互信息最大化，更好地恢复之前学到的表示。另外，InfoCL 还采用了对抗性记忆增强策略来缓解重放的过拟合问题。实验结果表明，InfoCL 有效地减轻了遗忘问题，并在三个文本分类任务上达到了最先进的性能。代码公开可用于此 https URL。

    Oct, 2023

  • 连续学习的正则化不足

    本文研究了 Continual Learning 中基于正则化的方法，通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别，在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。

    Dec, 2019

  • 推动神经信息检索中的持续终身学习：定义、数据集、框架和实证评估

    连续学习模型的任务制定和学习策略在神经信息检索中的有效性及应对主题变化和数据增强的影响进行了概括和评估。

    Aug, 2023

  • 深度流式正则判别分析的持续学习

    我们提出了流媒体版本的正则判别分析算法，与卷积神经网络结合，证明在 ImageNet ILSVRC-2012 数据集上表现优于批量学习和现有的流媒体学习算法。

    Sep, 2023

  • 自然语言处理中的持续终身学习：综述

    本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

    Dec, 2020

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023