Feb, 2024

持续学习是否为现实世界的挑战做好准备？

PDF
TL;DR通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。
continual learningevaluation protocolsreal-world scenarios3d semantic segmentationexperimental protocols
发现论文，激发创造
  • 在线连续学习中的实时评估：新的希望

    该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

    Feb, 2023

  • 嵌入式设备的在线持续学习

    本文研究了使用移动神经网络进行实时嵌入式设备上的在线连续学习的效果，通过测量它们的性能、内存使用、计算要求和对域外输入的泛化能力，验证了实时在设备上执行学习的有效性。

    Mar, 2022

  • 通过生成 3D 虚拟环境评估连续学习算法

    本文提出利用 3D 虚拟环境，通过自动化生成具有逼真外观的充满生命力的动态场景，进而探索在逼真情境下基于持续学习的算法进行更新的可能性，并采用参数化描述实现对视觉输入流的可视化控制。

    Sep, 2021

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 迈向稳健的持续学习评估

    针对目前连续学习研究中存在的实验不够真实的问题，文章提出了连续学习评估的几个重要方面，并介绍了新的实验设计方法，以准确地评估不同的连续学习方法和数据集，建议学界重新分配研究方向。

    May, 2018

  • 机器人的持续学习：定义、框架、学习策略、机遇和挑战

    这篇论文介绍了连续学习的概念和机器学习中面临的挑战，提出了在自主体或机器人中使用连续学习以适应环境和优化学习过程的方法，并介绍了现有的基准和度量标准，并提出了一种框架来评估这些方法的有效性。

    Jun, 2019

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023

  • 持续学习：应用与未来发展

    连续学习是机器学习的一个子领域，本文调查了连续学习研究中的内存受限设置、未解决的问题以及未来的研究方向。

    Nov, 2023

  • 持续学习的三种场景

    本文提出三种不同的持续学习场景，探讨不同的评估方法以及其性能差异；通过研究表明，针对识别任务需要推断类别（即类别增量学习）的场景中，基于正则化的方法失败，需要回放以前经验的表示来解决此问题。

    Apr, 2019

  • 在线持续学习的综合实证评估

    在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

    Aug, 2023