在图序列上连续学习 -- 动力系统方法

May, 2023

在图序列上连续学习 -- 动力系统方法

Learning Continually on a Sequence of Graphs -- The Dynamical System Way

Krishnan Raghavan, Prasanna Balaprakash

TL;DR本文提出了一种适应性动态规划的视角来处理图形的 Continual learning 问题，建立起一种学习新任务和记忆以前学习任务之间的两人博弈模型，并且通过在多个图形基准下的综合消融研究证明了其表现的最先进性。

Abstract

continual learning~(CL) is a field concerned with learning a series of inter-related task with the tasks typically defined in the sense of either regression or classification. In recent years, CL has been studied extensively when these tasks are defined using Euclidean data-- data, suc

continual learning noneuclidean data graphs adaptive dynamic programming state-of-the-art performance

发现论文，激发创造

持续图学习：概览

本文调研了图结构数据上持续学习的问题，并介绍了持续图学习的基本概念及其面临的挑战，分析了最新的面向持续图学习问题的方法，并探讨了现有方法的主要问题和可能的解决方案以及持续图学习的未来研究方向和应用前景。

Jan, 2023

图上的持续学习：挑战、解决方案和机遇

连续图学习领域的系统综述，对连续图学习算法的任务设置、模型设计和应用进行分类和比较，分析其与传统连续学习技术的适用性以及存在的挑战和未来方向。

Feb, 2024

图关系感知的持续学习

连续图学习研究了从无限的图数据流中学习的问题，将历史知识整合并推广到未来的任务。在当前只有当前的图数据可用。本文提出了一种关系感知自适应模型，并说明了图边缘后面的潜在关系可以被归因为不变因素。通过实验证明，该模型在 CitationNet、OGBN-arxiv 和 TWITCH 数据集上相对于现有方法分别提高了 2.2%、6.9% 和 6.6% 的准确度。

Aug, 2023

图上的连续学习：综述

综述连续图学习的最新研究进展，从解决灾难性遗忘的角度提出连续图学习的分类方法，探讨在连续改进中应用这些方法所面临的挑战和可能的解决方案，并讨论了对连续图学习发展的开放问题和未来方向以及其对连续性性能改善的影响。

Feb, 2024

基于骨骼的动作识别的连续图学习敏感性基准测试

连续学习是一个研究领域，旨在构建能够在不重新训练的情况下连续积累不同任务知识的机器学习模型。本文提出了第一个用于时空图的连续图学习基准，并将其用于评估在这一新领域中著名的连续图学习方法。通过标准性能指标的基准测试，我们研究了连续图学习方法的类和任务顺序敏感性，以及带有不同宽度和深度的骨干 GNN 架构的连续图学习方法的架构敏感性。我们发现，任务顺序稳健的方法仍可能对类别顺序敏感，并观察到与先前经验观察相矛盾的结果，这些观察促使我们对连续学习的架构敏感性产生了新的认识。

Jan, 2024

动态稀疏训练下的持续学习：探索有效模型更新算法

连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

Aug, 2023

智慧城市的持续学习：一项综述调查

在数字化的现代城市中，大量的数据和强大的计算资源促进了智能模型的快速更新，持续学习是一种新颖的机器学习范 Paradigm，它不断更新模型以适应不断变化的环境，我们的调查综述了在智能城市开发中广泛使用的持续学习方法，内容包括方法学方面、应用方面和挑战方面。

Apr, 2024

探索数据几何在连续学习中的应用

本文从数据几何的角度出发，研究了在不断变化的数据流中的持续学习问题。研究者提出了一种动态扩展底层空间几何结构的方法，配合使用各向异性空间与混合曲率空间对增长的几何结构进行编码。同时，引入了角度正则化损失与近邻抗扰损失的训练方式，在防止旧数据遗忘的前提下，取得了比欧氏空间方案更好的表现。

Apr, 2023

课程学习的培训动态：单语和跨语言 NLU 的研究

本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8.5%。同时，该方法相较于其他难度度量方法更能平滑训练，并且平均速度提高了 20%。

Oct, 2022

基于图的持续学习

本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

Jul, 2020