Apr, 2024

连续学习模型的校准

PDF
TL;DR持续学习聚焦于在非平稳数据流上最大化模型的预测性能。本文通过第一次对持续学习中校准方法行为的实证研究，展示了持续学习策略并不能自然地学习到校准模型，并设计了一种持续校准方法，该方法通过后处理校准方法在不同基准和持续学习策略范围内提升性能。
continual learningmodel calibrationpredictive performancecl strategiesempirical study
发现论文，激发创造
  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 计算预算下的持续学习：什么是最重要的？

    本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

    Mar, 2023

  • 利用连续学习技术加速批量主动学习

    本研究提出 Continual Active Learning（CAL）的概念，结合现有和新开发的基于回放的多样化技术，能有效解决 Active Learning 中重新训练以及忘记旧数据等问题，从而能在保持性能的同时大幅度减小训练时间。

    May, 2023

  • 通过协作学习改进在线持续学习的可塑性

    在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

    Dec, 2023

  • 从 MNIST 到 ImageNet，再回去：连续课程学习的基准测试

    本研究针对机器学习中的不断学习提出了两个新的基准，该基准涉及来自六个图像数据集的多个异构任务，其目的是为了更好地评估当前最先进的 CL 策略，并显示出当前 CL 模型在真实世界场景中表现较差的能力，高水平遗忘并限制了课程任务顺序。

    Mar, 2023

  • 在线连续学习中的实时评估：新的希望

    该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

    Feb, 2023

  • 关于在来自非分布数据流中对模型进行持续细化

    该研究提出了一种新的持续学习问题形式 —— 持续模型优化，以更好地适用于动态的离散数据流，并进行了相关的评估和分析，以提高生产部署的自然语言处理模型的长期性能。

    May, 2022

  • CALM: 连续适应学习的语言建模

    该研究论文提出了 CALM 技术，通过对大型语言表示模型进行连续自适应学习，使其跨领域保留知识，并在生物医学和临床领域的实验中展示了任务特定模型与 CALM 模型性能差距的减小。

    Apr, 2020

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023