Jun, 2024

CLoG: 图像生成模型的持续学习基准测试

PDF
TL;DR在人工智能中，持续学习（Continual Learning）是一个重要的挑战，旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习（CLoG）。研究通过对比传统的基于分类任务的持续学习，系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法，并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析，揭示了有价值的见解，对未来的 CLoG 方法的开发具有重要意义。此外，作者还公开了一个代码库，旨在促进 CLoG 的基准测试和实验，从而在终身学习范 paradigma 内为下一代 AI 生成内容（AIGC）开辟新的道路。
发现论文，激发创造
  • 从 MNIST 到 ImageNet，再回去：连续课程学习的基准测试

    本研究针对机器学习中的不断学习提出了两个新的基准，该基准涉及来自六个图像数据集的多个异构任务，其目的是为了更好地评估当前最先进的 CL 策略，并显示出当前 CL 模型在真实世界场景中表现较差的能力，高水平遗忘并限制了课程任务顺序。

    Mar, 2023

  • 探索面向代码生成模型的持续学习

    本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

    Jul, 2023

  • CLiMB: 用于视觉语言任务的持续学习基准

    本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉 - 语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

    Jun, 2022

  • CLEAR 基准：真实世界图像上的持续学习

    本文介绍了 CLEAR 数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型 CLIP 交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

    Jan, 2022

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 基于标签生成的类增量学习

    本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

    Jun, 2023

  • 从持续学习的角度看生成模型

    本文比较评估了不同生成模型在连续学习时的适用性，主要研究了不同策略下生成模型的记忆及生成质量表现，结论为原始 GAN 模型表现最优，而 generative replay 策略最优。

    Dec, 2018

  • 基于骨骼的动作识别的连续图学习敏感性基准测试

    连续学习是一个研究领域，旨在构建能够在不重新训练的情况下连续积累不同任务知识的机器学习模型。本文提出了第一个用于时空图的连续图学习基准，并将其用于评估在这一新领域中著名的连续图学习方法。通过标准性能指标的基准测试，我们研究了连续图学习方法的类和任务顺序敏感性，以及带有不同宽度和深度的骨干 GNN 架构的连续图学习方法的架构敏感性。我们发现，任务顺序稳健的方法仍可能对类别顺序敏感，并观察到与先前经验观察相矛盾的结果，这些观察促使我们对连续学习的架构敏感性产生了新的认识。

    Jan, 2024

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 计算预算下的持续学习：什么是最重要的？

    本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

    Mar, 2023