CVPRApr, 2023

探索数据几何在连续学习中的应用

PDF
TL;DR本文从数据几何的角度出发，研究了在不断变化的数据流中的持续学习问题。研究者提出了一种动态扩展底层空间几何结构的方法，配合使用各向异性空间与混合曲率空间对增长的几何结构进行编码。同时，引入了角度正则化损失与近邻抗扰损失的训练方式，在防止旧数据遗忘的前提下，取得了比欧氏空间方案更好的表现。
continual learningnon-euclidean geometrydata geometrymixed curvature spaceincremental search scheme
发现论文，激发创造
  • 几何深度学习：超越欧几里德数据

    本文主要探讨了几种几何深度学习问题以及目前存在的解决方案、主要困难、应用和未来研究方向。这些问题涉及非欧几里得域，需要使用结构化的深度神经模型来解决。

    Nov, 2016

  • 持续图学习：概览

    本文调研了图结构数据上持续学习的问题，并介绍了持续图学习的基本概念及其面临的挑战，分析了最新的面向持续图学习问题的方法，并探讨了现有方法的主要问题和可能的解决方案以及持续图学习的未来研究方向和应用前景。

    Jan, 2023

  • 在图序列上连续学习 -- 动力系统方法

    本文提出了一种适应性动态规划的视角来处理图形的 Continual learning 问题，建立起一种学习新任务和记忆以前学习任务之间的两人博弈模型，并且通过在多个图形基准下的综合消融研究证明了其表现的最先进性。

    May, 2023

  • 常曲率图卷积网络

    本文介绍了一种通过使用（产品）恒定曲率空间的图神经网络的数学基础来建模非欧几里德几何的方法，并利用类欧几里得的重心坐标来扩展了图卷积网络，实现了对特定真实世界数据特性（例如无标度、分层或循环）的归纳偏差，经实验证明，在符号数据的节点分类和畸变最小化任务中，我们的方法比欧几里得图卷积网络表现出更好的性能。

    Nov, 2019

  • 自主学习的自适应黎曼空间中连续图学习

    本文提出了一种自我监督的自适应黎曼空间图连续学习算法 (RieGrace)，通过设计一个自适应黎曼 GCN (AdaRGCN) 和一个无需标签的洛伦兹蒸馏方法，实现了在可适应曲率变化的黎曼空间中连续地学习来自连续出现的图。实验结果表明这种方法优于现有的基于欧几里得空间和带标签方法，同时也研究了曲率如何随着图序列而变化。

    Nov, 2022

  • 学习三维形状的连续测地卷积

    通过引入局部参考框架和连续卷积核，本文提出了一种神经网络框架，可以从原始网格中学习特征，并在非刚性形状匹配和人体部位分割两项任务中取得了优异的结果。

    Feb, 2020

  • 几何深度学习：网格、群、图、测地线和规范

    通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

    Apr, 2021

  • 图形几何交互学习

    本文提出了一种名为几何交互学习（GIL）的新方法，以利用欧几里得和双曲几何空间的优势，更有效地学习图表的几何特性，并实现节点分类和链接预测任务的优异实验结果。

    Oct, 2020

  • 线性距离度量学习

    本文提出了一种基于连续凸损失优化的简单优雅方法，用于线性距离度量学习，并针对不同的噪声模型推导了相应的损失函数。研究结果表明，即使数据存在噪声，只要样本充足就可以学习到地面事实线性度量，并提供相应的样本复杂度限制。此外，我们还提出了一种有效地将学习模型截断为低秩模型的方法，该方法可证明在损失函数和参数方面都能保持准确性，这是该领域首次出现这种结果。实验结果表明了理论结果的正确性。

    Jun, 2023

  • 基于解缠的连续图表示学习

    研究提出了一种基于分解的连续图表示学习框架 (DiCGRL)，可以有效地减轻连续学习中的灾难性遗忘问题并超越现有的连续学习模型。

    Oct, 2020