BeGIN: 图连续学习的广泛基准场景和易于使用的框架
连续学习是一个研究领域,旨在构建能够在不重新训练的情况下连续积累不同任务知识的机器学习模型。本文提出了第一个用于时空图的连续图学习基准,并将其用于评估在这一新领域中著名的连续图学习方法。通过标准性能指标的基准测试,我们研究了连续图学习方法的类和任务顺序敏感性,以及带有不同宽度和深度的骨干 GNN 架构的连续图学习方法的架构敏感性。我们发现,任务顺序稳健的方法仍可能对类别顺序敏感,并观察到与先前经验观察相矛盾的结果,这些观察促使我们对连续学习的架构敏感性产生了新的认识。
Jan, 2024
本研究针对机器学习中的不断学习提出了两个新的基准,该基准涉及来自六个图像数据集的多个异构任务,其目的是为了更好地评估当前最先进的 CL 策略,并显示出当前 CL 模型在真实世界场景中表现较差的能力,高水平遗忘并限制了课程任务顺序。
Mar, 2023
在人工智能中,持续学习(Continual Learning)是一个重要的挑战,旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习(CLoG)。研究通过对比传统的基于分类任务的持续学习,系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法,并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析,揭示了有价值的见解,对未来的 CLoG 方法的开发具有重要意义。此外,作者还公开了一个代码库,旨在促进 CLoG 的基准测试和实验,从而在终身学习范 paradigma 内为下一代 AI 生成内容(AIGC)开辟新的道路。
Jun, 2024
最近几年,连续学习技术在从流数据中保留知识的同时进行学习方面取得了重要的进展,但现有的评估框架不适用于具有图结构数据的情况。本研究提出了一个考虑图结构数据的图感知评估框架,解决了以往评估框架的局限性,并在连续学习、连续图学习和动态图学习领域进行了大量实验验证。
Jun, 2024
本文提出了一种适应性动态规划的视角来处理图形的 Continual learning 问题,建立起一种学习新任务和记忆以前学习任务之间的两人博弈模型,并且通过在多个图形基准下的综合消融研究证明了其表现的最先进性。
May, 2023
本文调研了图结构数据上持续学习的问题,并介绍了持续图学习的基本概念及其面临的挑战,分析了最新的面向持续图学习问题的方法,并探讨了现有方法的主要问题和可能的解决方案以及持续图学习的未来研究方向和应用前景。
Jan, 2023
本文提出 vCLIMB 连续学习基准测试,旨在探究在视频领域中,利用深度模型进行随时间增量式学习时出现的挑战,作者提出了一种能应用于基于记忆的连续学习模型的时间一致性正则化方法,能显著提高模型在未修剪连续学习任务中的性能,最高可提高 24%。
Jan, 2022
本论文提出了一种结构学习策略和参数学习策略相结合的图像持续学习方法,并采用强化学习驱动结构学习策略,Dark Experience 回放的概念来应对灾难性遗忘问题。在图持续学习基准问题中得到了验证,并在两个设置中都表现出比最近发布的作品更好的性能。
Sep, 2022
连续图学习研究了从无限的图数据流中学习的问题,将历史知识整合并推广到未来的任务。在当前只有当前的图数据可用。本文提出了一种关系感知自适应模型,并说明了图边缘后面的潜在关系可以被归因为不变因素。通过实验证明,该模型在 CitationNet、OGBN-arxiv 和 TWITCH 数据集上相对于现有方法分别提高了 2.2%、6.9% 和 6.6% 的准确度。
Aug, 2023