Feb, 2020

将卷积神经网络推广至任意连续数据上的李群等变

HTML
PDF
TL;DR该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法，并展示了该方法在图像、分子数据和Hamiltonian系统等领域的应用。该方法特别适用于Hamiltonian系统，可以保持线性和角动量的精确守恒。
发现论文，激发创造
  • 神经网络中等变性和卷积的推广到紧致群的作用

    本文首先说明深度学习中卷积神经网络在图像识别方面的成功，然后介绍了将此框架推广到其他领域的尝试，并给出了使用表示论和非交换调和分析概念的卷积和等变性的理论证明，证明了卷积结构不仅是充分而且也是必要的对于紧致群作用的等变性的条件，并推导了新的广义卷积公式。

    Feb, 2018

  • 基于PDE的群等变卷积神经网络

    本研究提出了一种基于偏微分方程的框架，该框架可以将几何意义上的PDE系数作为网络层的可训练权重，从而在同一设计中具有内置的旋转和转化等几何对称性，并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.

    Jan, 2020

  • 将对称性纳入深度动力学模型中以提高泛化性能

    该研究提出将对称性引入卷积神经网络中，从而提高其在预测物理动态方面的准确性和泛化能力，该方法在实验和理论上都表现出了对分布转换的鲁棒性，并且在雷利-贝纳对流和真实世界的海洋表现上比传统方法更优秀。

    Feb, 2020

  • LieTransformer：李群中的等变自注意力

    本文提出了LieTransformer，这是一种由LieSelfAttention层组成的网络结构，可以处理不同类型的Lie群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。

    Dec, 2020

  • 群等变条件神经过程

    本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP，其建立在数据集的置换不变性与常规条件神经过程（CNPs）相同，且具有转换等变性；结合群等变性提供了考虑现实世界中的数据对称性的方式，并使用李群卷积层构建体系结构进行实际实现，EquivCNP 在具有等变性的情况下能够实现零样本泛化。

    Feb, 2021

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 构建任意矩阵群等变多层感知器的实用方法

    提供求解矩阵群等变层的通用算法，在多个未曾解决的群中构建具有多个群等变性的多层感知器，优于非等变基线模型，在粒子物理和动力系统中应用。

    Apr, 2021

  • 变形鲁棒的旋转-缩放-平移等变卷积神经网络

    该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN，该网络通过稳定性分析可证明具有变形鲁棒性，能在旋转、缩放和平移等输入畸变的情况下保持等变性，从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。

    Nov, 2021

  • 等变神经网络的李群分解

    使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL(n, R)，以及它们作为仿射变换的表示。通过将`较大的`群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

    Oct, 2023

  • 当前对称群等变卷积框架在表征学习中的应用

    本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题，提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作，揭示了其输入空间和表示之间的内在对称性，具有重要的理论和实践意义。

    Sep, 2024