May, 2023

主动式连续学习：在一系列任务中标记查询

PDF
TL;DR研究了序列任务中主动持续学习（ACL）问题，其中每个任务都包括未标记数据池和注释预算，并发现了主动学习（AL）算法与 CL 算法之间的有效性和相互作用。实验揭示了忘却旧知识和快速学习 CL 和 AL 之间两个相反目标之间的权衡，并提出了一个遗忘 - 学习剖面来平衡 AL 和 CL 对课程增量方案的影响。
continual learningactive learningannotationtask incremental learningclass-incremental scenario
发现论文，激发创造
  • 利用连续学习技术加速批量主动学习

    本研究提出 Continual Active Learning（CAL）的概念，结合现有和新开发的基于回放的多样化技术，能有效解决 Active Learning 中重新训练以及忘记旧数据等问题，从而能在保持性能的同时大幅度减小训练时间。

    May, 2023

  • 少样本持续主动学习的学习模型

    我们提出了一种称为元持续主动学习的简单而高效的方法，通过使用元学习和经验回放来在解决以前见过的任务时实现稳定性，并在新领域中展现出可塑性。我们的实验结果表明，在解决少样本持续主动学习问题时，随机采样是最好的默认策略，无论是在主动学习还是记忆样本选择方面。

    Nov, 2023

  • 自然语言处理任务的持续学习：调查

    本综述全面回顾了自然语言处理领域中持续学习的最新进展，包括现有技术的分类、遗忘和知识迁移问题、未来发展方向。

    Nov, 2022

  • 自然语言处理中的持续终身学习：综述

    本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

    Dec, 2020

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 序列上的在线持续学习

    本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

    Mar, 2020

  • 持续学习的可学习性和算法

    本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。

    Jun, 2023

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 基于门控增量记忆的连续学习用于序列数据处理

    提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

    Apr, 2020