CVPRApr, 2024

神经模式：非线性模态子空间的自监督学习

PDF
TL;DR我们提出一种自监督方法，用于学习基于物理的子空间进行实时模拟。通过近似预定义的模拟数据以纯几何方式构建子空间的现有基于学习的方法。然而，这种方法倾向于产生高能量配置，导致了纠缠的潜空间维度，并且在训练集之外的泛化能力较差。为了克服这些限制，我们提出了一种自监督方法，在训练期间直接最小化系统的机械能。我们证明了我们的方法导致了学习到反映物理平衡约束的子空间，解决了先前方法的过拟合问题，并提供可解释的潜空间参数。
self-supervised approachphysics-based subspacesreal-time simulationmechanical energyinterpretable latent space parameters
发现论文，激发创造
  • 无需数据学习简化运动学

    本研究旨在自动识别高维物理系统中低能量状态下的低维子空间，通过使用神经网络来将低维潜在向量映射到完整的配置空间，并提出了对于任意系统兴趣的训练方案，为非线性、弹性体、布料子空间以及碰撞刚性体和连杆等更一般的系统都提供了有效的解决方案，可以用于操纵、标记插值和采样等应用.

    May, 2023

  • 物理感知神经网络的自监督学习 I：星系模型拟合

    本文介绍了一种自我监督的混合网络，将传统的神经网络元素与解析或数值模型相结合，利用内部表示相当于物理模型的参数，进行无监督学习并进行物理参数的估计。同时应用于指数光轮廓的二维模型拟合学习。

    Jul, 2019

  • 深度子空间聚类网络

    本文提出了一种基于深度自编码器的无监督子空间聚类新颖深度神经网络架构，其中引入了一种自相似层，以模拟传统子空间聚类方法中的 “自相似” 属性。该方法能够在非线性方式下对具有复杂结构的数据点进行聚类，并且在实验中表现出优于现有方法的性能。

    Sep, 2017

  • 学习神经网络子空间

    本文通过一次性的方法在神经网络中学习高准确度的线、曲线、和单纯形来寻找各种应对方法，达到了独立训练网络套索并在训练成本上类似的计算成本，增加了分类器的鲁棒性和准确性。

    Feb, 2021

  • 一种将自我监督聚类和能量模型相统一的贝叶斯方法

    通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。

    Dec, 2023

  • 神经协作子空间聚类

    研究介绍了神经协同子空间聚类，一种无需谱聚类辅助即可发现低维子空间中数据点集簇的神经模型。关键在于分类器的构建和两个相关矩阵的协同训练。与其他聚类算法相比性能更优。

    Apr, 2019

  • 物理知识驱动表示学习：用于复杂动态系统中的新兴组织

    通过数据驱动算法和高性能计算，我们构建了一个基于时空光锥的框架，用于实现新现象的自组织，并且本文指出局部因果状态可以在复杂的时空系统中捕捉有序行为和一致结构。在二维湍流方面，我们证明了局部因果状态捕捉了涡旋及其幂律衰减行为，而在应用方面，我们演示了局部因果状态可用于识别已知（飓风和大气河流）和新的极端天气事件，并且可以通过高分辨率气候数据进行时间跟踪。

    Apr, 2023

  • 用于自监督学习的多模聚类网络：来自无标签视频

    本文提出了一个自监督训练框架，通过在训练管道中增加多模态聚类步骤以捕捉跨模态的语义相似性，进而学习一个共同的多模态嵌入空间，并证明其能在文本到视频检索和时间动作定位等两个具有挑战性的领域展示出四个不同数据集上的最新成果.

    Apr, 2021

  • 自监督卷积子空间聚类网络

    提出了一种称为自监督卷积子空间聚类网络（S^2ConvSCN）的端到端可训练框架，该框架将 Convolutional Neural Network 模块（用于特征学习），自我表达模块（用于子空间聚类）和谱聚类模块（用于自我监督）组合到联合优化框架中，实现了同时的特征学习和子空间聚类。

    May, 2019

  • 学习 Koopman 不变子空间用于动态模态分解

    该研究提出了一种基于数据驱动的 Koopman 谱分析方法，该方法通过最小化线性最小二乘回归的残差平方和来估计一组将数据转换为线性回归适合的形式的函数，并采用神经网络实现并在非线性动力系统及其应用中进行了实证评估。

    Oct, 2017