May, 2024

神经等度：驯服等变机器学习的变换

PDF
TL;DR实际几何和 3D 视觉任务充满了令人困惑的对称性，该论文介绍了一种名为神经等距映射的自动编码器框架，它学习将观察空间映射到通用的潜在空间，在这个空间中，当相应的观察在世界空间中有几何关系时，编码是由等距映射相关的。这种方法形成了一个有效的自监督表示学习的基础，并且我们证明了一个在预训练的潜在空间中操作的简单暗箱神经网络能够达到与精心设计的手工网络相媲美的结果，以处理复杂的非线性对称性。此外，等距映射捕捉了世界空间中相应变换的信息，我们展示了这使我们能够直接从相邻视图的编码之间的映射的系数为相机姿态回归。
发现论文，激发创造
  • 基于率失真优化指导的自编码器实现欧几里得潜变量等距嵌入

    为了解决深度生成模型在重现概率分布函数方面的局限性，本文提出了一种基于速率失真优化的自编码器，通过实现等距性质来嵌入数据空间，取得了非常良好的无监督异常检测性能，并且在四个公共数据集上优于现有方法。

    Oct, 2019

  • 等变形状空间学习的帧平均

    本文提出了一种框架，通过引入均变自动编码器和将平面欧几里得运动等价于形状不同部分之间的变换来将均变性纳入编码器和解码器， 在未见过的测试形状上具有最先进的泛化性能。

    Dec, 2021

  • 等距不变和等变图卷积网络

    我们提出了一种基于图卷积网络的一组变换不变和等变模型，称为 IsoGCNs，并证明了该模型在几何和物理模拟数据相关任务上具有竞争性能.

    May, 2020

  • 构建高效表达的三维等变图神经网络的新视角

    本研究提出了用于评估等变图神经网络表现力和表示分子属性任务的本地层次结构编码和框架转换编码模块，并针对未来设计大量发展提出了设计空间。

    Apr, 2023

  • 潜在空间对称性发现

    提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN，该模型可以将数据映射到特征空间，其中对称性变得线性，并同时在特征空间中发现对称性，理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示，该方法可以捕捉到高维观测中的内在对称性，从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。

    Sep, 2023

  • 无监督学习群不变和等变表示

    本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。

    Feb, 2022

  • 学习对称嵌入以实现等变世界模型

    利用学习对称嵌入网络（SENs）的方法能够促进等变网络应用于具有复杂对称性表示的数据，并可能相对于全等变和非等变基线产生精度和泛化方面的改进。

    Apr, 2022

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • 相对表示使零样本隐空间通信成为可能

    本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。

    Sep, 2022

  • 具有几何正则化的可扩展和可逆流形学习自编码器

    本文提出了一种基于自动编码器与流形学习结合的数据探索方法，利用几何正则化项鼓励学习得到的潜在表示沿着数据的内在几何结构发展，并与常规方法相比较，证明该方法在保留内在结构、扩展能力和数据重构方面具有优势

    Jul, 2020